概述
AWS 資料工程是一門為期三天的中級課程,專為專業人士設計,幫助他們深入探索 AWS 上 的資料工程實務與解決方案。
透過理論、實務實驗室與活動的平衡結合,學員學習如何設計、建置、優化並利用 AWS 服務保障資料工程解決方案的安全。
從基礎概念到實作資料湖、資料倉儲,以及批次與串流資料管線,本課程裝備資料專業人士具備大規模架構與管理現代資料解決方案所需的技能。
為什麼選擇 KORNERSTONE
- 經認證、由實務人員主導的專家證書培訓師,提供高品質的培訓
- 官方訓練資料包含
- 實務、情境導向學習——著重應用,而非僅理論
- 優秀的通過率
涵蓋技能
在本課程中,你將學習以下幾項:
- 了解資料工程的基礎角色與關鍵概念,包括資料角色、資料發現及相關 AWS 服務。
- 識別並解釋對資料工程至關重要的各種 AWS 工具與服務,涵蓋編排、安全、監控、CI/CD、IaC、網路及成本優化。
- 在 AWS 上設計並實作資料湖解決方案,包括儲存、資料擷取、轉換及提供資料供使用。
- 透過實施開放表格格式、安全措施及排除常見問題,優化並保護資料湖解決方案。
- 設計並設置使用 Amazon Redshift Serverless 的資料倉儲,了解其架構、資料擷取、處理與服務能力。
- 在 Amazon Redshift 中,將效能優化技術應用於資料倉儲,包括監控、資料優化、查詢優化與協調。
- 管理 Amazon Redshift 資料倉儲的安全與存取控制,了解認證、資料安全、稽核與合規。
- 設計有效的批次資料管線,使用適當的 AWS 服務來處理與轉換資料。
- 實施全面的批次資料管線策略,涵蓋資料處理、轉換、整合、編目及資料供使用。
- 優化、協調並保護批次資料管線,展現資料處理自動化與安全的高級技能。
先決條件
我們建議參加本課程的學員具備:
- 熟悉基本機器學習概念,如監督與無監督學習、迴歸、分類及分群演算法。
- 具備 Python 程式語言及常見資料科學函式庫如 NumPy、Pandas 和 Scikit-learn 的實用知識。
- 具備基本的雲端運算概念理解及對 AWS 平台的熟悉。
- 建議熟悉 SQL 和關聯式資料庫,但不是強制的。
- 有像 Git 這類版本控制系統的經驗很有幫助,但不是必須的。
目標受眾
本課程專為有興趣使用 AWS 服務設計、建置、優化及保障資料工程解決方案的專業人士設計。
培訓大綱
模組一:資料工程角色與關鍵概念
- 資料工程師的角色
- 資料工程師的主要職能
- 資料角色
- 資料發現
- AWS 資料服務
模組二:AWS 資料工程工具與服務
- 配線與自動化
- 資料工程安全
- 監測
- 持續整合與持續交付
- 基礎設施即程式碼
- AWS 無伺服器應用模型
- 人脈考量
- 成本優化工具
模組三:資料湖的設計與實作
- 資料湖介紹
- 資料湖儲存
- 將資料匯入資料湖
- 目錄資料
- 轉換資料
- 伺服器資料供使用使用
實作實驗室:在 AWS 上建立資料湖
模組 4:優化與保障資料湖解決方案
- 開放表格格式
- 使用 AWS 湖泊地形進行安全
- 與湖層設定權限
- 安全與治理
- 故障排除
實作實驗室:利用 AWS 湖泊地層藍圖自動化資料湖建立
模組 5:資料倉儲架構與設計原則
- 資料倉儲簡介
- 亞馬遜 Redshift 概覽
- 將資料匯入 Redshift
- 資料處理
- 提供資料供消費
實作實驗室:使用 Amazon Redshift Serverless 建立資料倉儲
模組 6:資料倉儲效能優化技術
- 監控與優化選項
- Amazon Redshift 中的資料優化
- Amazon Redshift 中的查詢優化
- 配線選項
模組 7:資料倉儲的安全與存取控制
- Amazon Redshift 中的認證與存取控制
- 亞馬遜紅移的資料安全
- Amazon Redshift 中的稽核與合規
實作實驗室:管理 Redshift 的存取控制
模組 8:設計批次資料管線
- 批次資料管線介紹
- 設計批次資料管線
- AWS 批次資料處理服務
模組 9:批次資料管線策略的實施
- 批次資料管線的元素
- 資料處理與轉換
- 整合與編目您的資料
- 提供資料供消費
實作實驗室:資料工程師的一天生活
模組 10:批次資料管線的優化、協調與安全
- 優化批次資料管線
- 批次資料管線的協調
- 保護批次資料管線
實作實驗室:使用 AWS Step Functions 在 Spark 中協調資料處理
模組 11:串流資料架構模式
- 串流資料管線簡介
- 從串流來源擷取資料
- 串流資料擷取服務
- 儲存串流資料
- 處理串流資料
- 利用 AWS 服務分析串流資料
實作實驗室:利用亞馬遜管理服務串流分析 Apache Flink
模組 12:優化與保障串流解決方案
- 優化串流資料解決方案
- 保護串流資料管線
- 合規考量
實作實驗室:Apache Kafka 的 Amazon 管理串流存取控制
日期與地點

考試與認證
AWS 認證資料工程師-助理。
AWS 認證資料工程師 – 助理認證者驗證核心資料相關 AWS 服務的技能與知識,包括資料匯入與轉換能力、編排資料管線並應用程式設計概念、設計資料模型、管理資料生命週期,並確保資料品質。
考試同時驗證考生完成以下任務的能力:
- 在應用程式設計概念的同時,匯入並轉換資料,並協調資料管線。
- 選擇最佳資料儲存庫、設計資料模型、編目資料結構,並管理資料生命週期。
- 運作化、維護及監控資料管線。分析資料並確保資料品質。
- 實施適當的認證、授權、資料加密、隱私與治理。啟用日誌記錄。





