概述
資料工程師設計解決方案,確保最大彈性與可擴展性,同時符合所有必要的安全控管。
實務體驗設計與建置 Google Cloud 資料處理系統。本課程透過講座、示範與實作實驗室,示範如何設計資料處理系統、建立端到端資料管線、分析資料及實作機器學習。
此 Google Cloud 課程涵蓋結構化、非結構化及串流資料。
為什麼選擇 KORNERSTONE
- 經認證、由實務人員主導的專家證書培訓師,提供高品質的培訓
- 官方訓練資料包含
- 實務、情境導向學習——著重應用,而非僅理論
- 優秀的通過率
涵蓋技能
- 在 Google Cloud 上設計並建置資料處理系統。
- 透過在 Dataflow 上實作自動擴展資料管線來處理批次與串流資料。
- 利用 BigQuery 從超大型資料集中獲取商業洞察。
- 利用 Dataproc 上的 Spark 與機器學習 API 利用非結構化資料。
- 從串流資料中即時獲得洞察。
先決條件
為充分利用本課程,學員應具備:
- 先前使用 Cloud Shell 及從 Google Cloud 控制台存取產品經驗。
- 基本通用查詢語言(如 SQL)能力。
- 具備資料建模及 ETL(擷取、轉換、載入)活動經驗。
- 具備使用常見程式語言如 Python 開發應用程式的經驗。
具備
目標受眾
本課程適合有經驗的開發者,負責管理大數據轉換,包括:
- 資料擷取、載入、轉換、清理及驗證資料。
- 設計資料處理的管線與架構。
- 建立與維護機器學習與統計模型。
- 查詢資料集、視覺化查詢結果及建立報告
培訓大綱
模組 1:資料工程任務與元件
主題
- 資料工程師
- 資料來源與資料同步
- 資料格式
- Google Cloud
- 元資料管理選項 Google Cloud
- 利用 Analytics Hub
的角色
儲存解決方案選項
上的元資料管理選項
分享資料集 模組 2:資料複製與遷移
主題
- 複製與遷移架構
- gcloud 命令列工具
- 資料集
- Datastream
移動
模組 3:資料擷取與載入資料管線模式
主題
- 擷取與載入架構
- bq 命令列工具
- BigQuery 資料傳輸服務
- BigLake
模組 4:擷取、載入與轉換資料管線模式
主題
- 擷取、載入與轉換(ELT)架構
- 資料表
使用 BigQuery
單模組 5 的 SQL 腳本與排程:擷取、轉換與載入資料管線模式
主題
- 擷取、轉換與載入(ETL)架構
- Google Cloud GUI 工具用於 ETL 資料管線
- 使用 Dataproc
- 串流資料處理選項
- Bigtable 與資料管線
的批次資料處理
模組 6:自動化技術
主題
-
流程
- 模式與選項
- 雲端排程器與工作流程
- Cloud Composer
- 雲端執行功能
- Eventarc
自動化
模組 7:資料工程
導論 主題
- 資料工程師的角色
- 資料工程挑戰
- BigQuery
- 資料湖與資料倉儲
- 交易式資料庫與資料倉儲
- 與其他資料團隊
- 資料存取與治理
- 建立生產準備管線
- Google Cloud 客戶案例研究
簡介
的有效合作
管理
模組 8:建構資料湖
主題
-
資料
- 湖
- Google Cloud
- 利用雲端儲存
- 安全雲端儲存
- 儲存各種資料類型
- SQL 作為你的 OLTP 系統
介紹
上的資料儲存與 ETL 選項
建構資料湖
雲端
模組 9:建立資料倉儲
主題
- 現代資料倉儲
- BigQuery
- 入門 資料
- 載入 BigQuery
- 探索架構
- 架構設計
- 巢狀與重複欄位
- 分割與叢集
優化 模組 10:建構批次資料管線
入門 主題
- EL、ELT、ETL
- 品質考量
- BigQuery
- 操作執行方式
- ETL 解決資料品質問題
缺點
模組 11:在 Dataproc
主題上執行 Spark
- Hadoop 生態系統
- 在 Dataproc
- 儲存取代 HDFS
- 優化 Dataproc
上運行 Hadoop雲端
模組 12:無伺服器資料處理與 Dataflow
主題
- 資料流程
- 客戶為何重視資料流
- 資料流程管線
- 與 GroupByKey 與 Combine
- 側輸入與 Windows
- 資料流範本
簡介
的聚合
模組 13:使用 Cloud Data Fusion 與 Cloud Composer
管理資料管線 主題
- 使用 Cloud Data Fusion
元件視覺化建置批次資料管線- UI 概述
- 建立管線
- 使用 Wrangler 探索資料
- 協調 Google Cloud 服務間的工作,包括 Cloud Composer
-
、
- Apache Airflow 環境
- 、DAG 及營運商。
- 工作流程排程
- 、監控與日誌記錄
模組 14:串流資料
處理導論主題
- 流程串流資料
模組 15:無伺服器訊息與發佈/訂閱
主題
- 發佈/訂閱
- 發佈/訂閱推送與拉取
- 發佈/訂閱程式碼
導論
發佈模組 16:資料流串流功能
主題
- 資料處理挑戰
- 資料流視窗
模組 17:高吞吐量 BigQuery 與 Bigtable 串流功能
主題
- 串流至 BigQuery 並視覺化結果
- 高吞吐量串流 Bigtable
- 優化 Bigtable 效能
模組 18:進階 BigQuery 功能與效能
主題
- 解析視窗功能
- GIS 功能
- 效能考量
日期與地點

考試與認證
Google Cloud 專業資料工程師認證
Google 專業資料工程師透過收集、轉換及發布資料,實現以資料驅動的決策。資料工程師應能設計、建置、運作化、安全及監控資料處理系統,特別強調安全性與合規性;可擴展性與效率;可靠性與忠實度;以及彈性與可攜性。資料工程師也應能利用、部署並持續訓練既有的機器學習模型。





