概述
在本課程中,你會學習 Google Cloud 上的資料工程、資料工程師的角色與責任,以及這些角色如何與 Google Cloud 所提供的服務對應。你也會學習如何解決資料工程挑戰的方法。
為什麼選擇 KORNERSTONE
- 經認證、由實務人員主導的專家證書培訓師,提供高品質的培訓
- 官方訓練資料包含
- 實務、情境導向學習——著重應用,而非僅理論
- 優秀的通過率
涵蓋技能
- 了解資料工程師
- 辨識 Google Cloud
- 了解如何在 Google Cloud 上建立與部署不同模式的資料管線
- 識別並運用 Google Cloud 上的各種自動化技術。
的角色
上使用的資料工程任務與核心元件
先決條件
- 具備基礎 Google Cloud 使用 Cloud Shell 及從 Google Cloud 控制台存取產品的經驗。
- 基本通用查詢語言如 SQL 的熟練度。
- 資料建模及 ETL(擷取、轉換、載入)活動經驗。
- 具備使用常見程式語言如 Python 開發應用程式的經驗。
具備
具備
目標受眾
- 資料工程師
- 資料庫管理員
- 系統管理員
培訓大綱
模組一:資料工程任務與組成部分
主題
- 資料工程師
- 資料來源與資料匯
- 資料格式
- Google 雲端儲存解決方案選項
- Google 雲端
- 利用 Analytics Hub
的角色
的元資料管理選項
分享資料集
目標
- 說明資料工程師的角色。
- 了解資料來源與資料匯的差異。
- 說明不同類型的資料格式。
- 說明 Google Cloud 上的儲存解決方案選項。
- 了解 Google Cloud 上的元資料管理選項。
- 了解如何使用 Analytics Hub 輕鬆分享資料集。
- 了解如何使用 Google Cloud 主控台或 gcloud CLI 將資料載入 BigQuery。
活動
- 實驗:將資料載入 BigQuery
- 測驗
模組 2:資料複製與遷移
主題
- 複製與遷移架構
- gcloud 命令列工具
- 資料集移動資料
- 流
目標
- 說明 Google Cloud 資料複製與遷移的基礎架構。
- 了解 gcloud 命令列工具的選項與使用案例。
- 說明 Storage Transfer Service 的功能與使用案例。
- 說明 Transfer Appliance 的功能與使用案例。
- 了解 Datastream 的功能與部署方式。
活動
- 實驗室:資料流:PostgreSQL 複製至 BigQuery(ILT 可選)
- 測驗
模組 3:擷取與載入資料管線模式
主題
- 擷取與載入架構
- bq 命令列工具
- BigQuery 資料傳輸服務
- BigLake
目標
- 解釋基準擷取與載入架構圖。
- 了解 BQ 命令列工具的選項。
- 說明 BigQuery 資料傳輸服務的功能與使用案例。
- 說明 BigLake 作為非擷取載入模式的功能與使用案例。
活動
- 實驗室:BigLake:Qwik Start
- 測驗
模組 4:擷取、載入與轉換資料管線模式
主題
- 擷取、載入與轉換(ELT)架構
- Dataform
- 的 SQL 腳本與排程
使用 BigQuery
目標
- 說明基線的擷取、載入與轉換架構圖。
- 了解 Google Cloud 上常見的 ELT 流程。
- 了解 BigQuery 的 SQL 腳本與排程功能。
- 說明 Dataform 的功能與使用案例。
活動
- 實驗:在 Dataform
- 工作流程測驗
中建立並執行 SQL
模組 5:擷取、轉換與載入資料管線模式
主題
- 擷取、轉換與載入(ETL)架構
- Google Cloud GUI 工具用於 ETL 資料管線
- 使用 Dataproc
- 串流資料處理選項
- Bigtable 與資料管線
的批次資料處理
目標
- 說明基線的擷取、轉換與載入架構圖。
- 了解用於 Google Cloud 上用於 ETL 資料管線的圖形介面工具。
- 說明使用 Dataproc 進行批次資料處理。
- 了解如何使用 Dataproc Serverless for Spark for ETL。
- 說明串流資料處理選項。
- 說明 Bigtable 在資料管線中的角色。
活動
- 實驗:使用 Dataproc Serverless for Spark 載入 BigQuery(ILT 可選)實驗室
- :建立即時儀表板的串流資料管線,並進行資料流程
- 測驗
模組 6:自動化技術
主題
-
流程
- 模式與選項
- Cloud Scheduler 與工作流程
- Cloud Composer
- Cloud Run Functions
- Eventarc
自動化
目標
- 說明管線的自動化模式與選項。
- 了解 Cloud Scheduler 與工作流程。
- 了解 Cloud Composer。
- 了解 Cloud Run Functions。
- 說明 Eventarc 的功能與自動化使用案例。
活動
- 實驗:使用雲端運行函數載入 BigQuery(ILT
- 測驗
可選)
日期與地點

考試與認證
Google 認證助理資料從業員。
助理資料從業員負責在 Google Cloud 上保護並管理資料。此人具備使用 Google Cloud 資料服務進行資料擷取、轉換、管線管理、分析、機器學習及視覺化等任務的經驗。候選人具備基礎架構即服務(IaaS)、平台即服務(PaaS)及軟體即服務(SaaS)等雲端運算概念的基礎理解。
本課程與 GCP-AIMLGC:Google Cloud 上的人工智慧與機器學習導論 ,為助理資料從業人員認證做準備。





