概述

在本課程中,你會學習 Google Cloud 上的資料工程、資料工程師的角色與責任,以及這些角色如何與 Google Cloud 所提供的服務對應。你也會學習如何解決資料工程挑戰的方法。

為什麼選擇 KORNERSTONE

  • 經認證、由實務人員主導的專家證書培訓師,提供高品質的培訓
  • 官方訓練資料包含
  • 實務、情境導向學習——著重應用,而非僅理論
  • 優秀的通過率

涵蓋技能

  • 了解資料工程師
  • 的角色

  • 辨識 Google Cloud
  • 上使用的資料工程任務與核心元件

  • 了解如何在 Google Cloud 上建立與部署不同模式的資料管線
  • 識別並運用 Google Cloud 上的各種自動化技術。

先決條件

  • 具備基礎 Google Cloud 使用 Cloud Shell 及從 Google Cloud 控制台存取產品的經驗。
  • 具備

  • 基本通用查詢語言如 SQL 的熟練度。
  • 具備

  • 資料建模及 ETL(擷取、轉換、載入)活動經驗。
  • 具備使用常見程式語言如 Python 開發應用程式的經驗。

目標受眾

  • 資料工程師
  • 資料庫管理員
  • 系統管理員

培訓大綱

模組一:資料工程任務與組成部分

主題

  • 資料工程師
  • 的角色

  • 資料來源與資料匯
  • 資料格式
  • Google 雲端儲存解決方案選項
  • Google 雲端
  • 的元資料管理選項

  • 利用 Analytics Hub
  • 分享資料集

目標

  • 說明資料工程師的角色。
  • 了解資料來源與資料匯的差異。
  • 說明不同類型的資料格式。
  • 說明 Google Cloud 上的儲存解決方案選項。
  • 了解 Google Cloud 上的元資料管理選項。
  • 了解如何使用 Analytics Hub 輕鬆分享資料集。
  • 了解如何使用 Google Cloud 主控台或 gcloud CLI 將資料載入 BigQuery。

活動

  • 實驗:將資料載入 BigQuery
  • 測驗

模組 2:資料複製與遷移

主題

  • 複製與遷移架構
  • gcloud 命令列工具
  • 資料集移動資料
  • 流

目標

  • 說明 Google Cloud 資料複製與遷移的基礎架構。
  • 了解 gcloud 命令列工具的選項與使用案例。
  • 說明 Storage Transfer Service 的功能與使用案例。
  • 說明 Transfer Appliance 的功能與使用案例。
  • 了解 Datastream 的功能與部署方式。

活動

  • 實驗室:資料流:PostgreSQL 複製至 BigQuery(ILT 可選)
  • 測驗

模組 3:擷取與載入資料管線模式

主題

  • 擷取與載入架構
  • bq 命令列工具
  • BigQuery 資料傳輸服務
  • BigLake

目標

  • 解釋基準擷取與載入架構圖。
  • 了解 BQ 命令列工具的選項。
  • 說明 BigQuery 資料傳輸服務的功能與使用案例。
  • 說明 BigLake 作為非擷取載入模式的功能與使用案例。

活動

  • 實驗室:BigLake:Qwik Start
  • 測驗

模組 4:擷取、載入與轉換資料管線模式

主題

  • 擷取、載入與轉換(ELT)架構
  • 使用 BigQuery

  • Dataform
  • 的 SQL 腳本與排程

目標

  • 說明基線的擷取、載入與轉換架構圖。
  • 了解 Google Cloud 上常見的 ELT 流程。
  • 了解 BigQuery 的 SQL 腳本與排程功能。
  • 說明 Dataform 的功能與使用案例。

活動

  • 實驗:在 Dataform
  • 中建立並執行 SQL

  • 工作流程測驗

模組 5:擷取、轉換與載入資料管線模式

主題

  • 擷取、轉換與載入(ETL)架構
  • Google Cloud GUI 工具用於 ETL 資料管線
  • 使用 Dataproc
  • 的批次資料處理

  • 串流資料處理選項
  • Bigtable 與資料管線

目標

  • 說明基線的擷取、轉換與載入架構圖。
  • 了解用於 Google Cloud 上用於 ETL 資料管線的圖形介面工具。
  • 說明使用 Dataproc 進行批次資料處理。
  • 了解如何使用 Dataproc Serverless for Spark for ETL。
  • 說明串流資料處理選項。
  • 說明 Bigtable 在資料管線中的角色。

活動

  • 實驗:使用 Dataproc Serverless for Spark 載入 BigQuery(ILT 可選)實驗室
  • :建立即時儀表板的串流資料管線,並進行資料流程
  • 測驗

模組 6:自動化技術

主題

    流程
    自動化

  • 模式與選項
  • Cloud Scheduler 與工作流程
  • Cloud Composer
  • Cloud Run Functions
  • Eventarc

目標

  • 說明管線的自動化模式與選項。
  • 了解 Cloud Scheduler 與工作流程。
  • 了解 Cloud Composer。
  • 了解 Cloud Run Functions。
  • 說明 Eventarc 的功能與自動化使用案例。

活動

  • 實驗:使用雲端運行函數載入 BigQuery(ILT
  • 可選)

  • 測驗

讓我們為你努力

找不到合適的日期? 需要訓練整個團隊嗎? 想找折扣嗎?
今天就與我們的培訓顧問聯繫。

日期與地點

考試與認證

Google 認證助理資料從業員。

助理資料從業員負責在 Google Cloud 上保護並管理資料。此人具備使用 Google Cloud 資料服務進行資料擷取、轉換、管線管理、分析、機器學習及視覺化等任務的經驗。候選人具備基礎架構即服務(IaaS)、平台即服務(PaaS)及軟體即服務(SaaS)等雲端運算概念的基礎理解。

本課程與 GCP-AIMLGC:Google Cloud 上的人工智慧與機器學習導論 ,為助理資料從業人員認證做準備。