概述

資料工程師設計解決方案,確保最大彈性與可擴展性,同時符合所有必要的安全控管。

實務體驗設計與建置 Google Cloud 資料處理系統。本課程透過講座、示範與實作實驗室,示範如何設計資料處理系統、建立端到端資料管線、分析資料及實作機器學習。

此 Google Cloud 課程涵蓋結構化、非結構化及串流資料。

 

為什麼選擇 KORNERSTONE

  • 經認證、由實務人員主導的專家證書培訓師,提供高品質的培訓
  • 官方訓練資料包含
  • 實務、情境導向學習——著重應用,而非僅理論
  • 優秀的通過率

涵蓋技能

  • 在 Google Cloud 上設計並建置資料處理系統。
  • 透過在 Dataflow 上實作自動擴展資料管線來處理批次與串流資料。
  • 利用 BigQuery 從超大型資料集中獲取商業洞察。
  • 利用 Dataproc 上的 Spark 與機器學習 API 利用非結構化資料。
  • 從串流資料中即時獲得洞察。

先決條件

為充分利用本課程,學員應具備:

  • 先前使用 Cloud Shell 及從 Google Cloud 控制台存取產品經驗。
  • 具備

  • 基本通用查詢語言(如 SQL)能力。
  • 具備資料建模及 ETL(擷取、轉換、載入)活動經驗。
  • 具備使用常見程式語言如 Python 開發應用程式的經驗。

 

目標受眾

本課程適合有經驗的開發者,負責管理大數據轉換,包括:

  • 資料擷取、載入、轉換、清理及驗證資料。
  • 設計資料處理的管線與架構。
  • 建立與維護機器學習與統計模型。
  • 查詢資料集、視覺化查詢結果及建立報告

培訓大綱

模組 1:資料工程任務與元件
主題

  • 資料工程師
  • 的角色

  • 資料來源與資料同步
  • 資料格式
  • Google Cloud
  • 儲存解決方案選項

  • 元資料管理選項 Google Cloud
  • 上的元資料管理選項

  • 利用 Analytics Hub

分享資料集 模組 2:資料複製與遷移
主題

  • 複製與遷移架構
  • gcloud 命令列工具
  • 資料集
  • 移動

  • Datastream

模組 3:資料擷取與載入資料管線模式
主題

  • 擷取與載入架構
  • bq 命令列工具
  • BigQuery 資料傳輸服務
  • BigLake

模組 4:擷取、載入與轉換資料管線模式
主題

  • 擷取、載入與轉換(ELT)架構
  • 使用 BigQuery

  • 資料表
  • 單模組 5 的 SQL 腳本與排程:擷取、轉換與載入資料管線模式
    主題

  • 擷取、轉換與載入(ETL)架構
  • Google Cloud GUI 工具用於 ETL 資料管線
  • 使用 Dataproc
  • 的批次資料處理

  • 串流資料處理選項
  • Bigtable 與資料管線

模組 6:自動化技術
主題

    流程
    自動化

  • 模式與選項
  • 雲端排程器與工作流程
  • Cloud Composer
  • 雲端執行功能
  • Eventarc

模組 7:資料工程
導論 主題

  • 資料工程師的角色
  • 資料工程挑戰
  • BigQuery
  • 簡介

  • 資料湖與資料倉儲
  • 交易式資料庫與資料倉儲
  • 與其他資料團隊
  • 的有效合作

  • 資料存取與治理
  • 管理

  • 建立生產準備管線
  • Google Cloud 客戶案例研究

模組 8:建構資料湖
主題

    資料

  • 湖
  • 介紹

  • Google Cloud
  • 上的資料儲存與 ETL 選項

  • 利用雲端儲存
  • 建構資料湖

  • 安全雲端儲存
  • 儲存各種資料類型
  • 雲端

  • SQL 作為你的 OLTP 系統

模組 9:建立資料倉儲
主題

  • 現代資料倉儲
  • BigQuery
  • 入門 資料
  • 載入 BigQuery
  • 探索架構
  • 架構設計
  • 巢狀與重複欄位
  • 分割與叢集
  • 優化 模組 10:建構批次資料管線
    入門 主題

  • EL、ELT、ETL
  • 品質考量
  • BigQuery
  • 操作執行方式
  • 缺點

  • ETL 解決資料品質問題
  • 模組 11:在 Dataproc
    主題上執行 Spark

  • Hadoop 生態系統
  • 在 Dataproc
  • 上運行 Hadoop雲端

  • 儲存取代 HDFS
  • 優化 Dataproc

模組 12:無伺服器資料處理與 Dataflow
主題

  • 資料流程
  • 簡介

  • 客戶為何重視資料流
  • 資料流程管線
  • 與 GroupByKey 與 Combine
  • 的聚合

  • 側輸入與 Windows
  • 資料流範本

模組 13:使用 Cloud Data Fusion 與 Cloud Composer
管理資料管線 主題

  • 使用 Cloud Data Fusion
    元件視覺化建置批次資料管線

    • UI 概述
    • 建立管線
    • 使用 Wrangler 探索資料
  • 協調 Google Cloud 服務間的工作,包括 Cloud Composer
      、

    • Apache Airflow 環境
    • 、DAG 及營運商。
    • 工作流程排程
    • 、監控與日誌記錄

模組 14:串流資料
處理導論主題

  • 流程串流資料

模組 15:無伺服器訊息與發佈/訂閱
主題

  • 發佈/訂閱
  • 導論

  • 發佈/訂閱推送與拉取
  • 發佈/訂閱程式碼

發佈模組 16:資料流串流功能
主題

  • 資料處理挑戰
  • 資料流視窗

模組 17:高吞吐量 BigQuery 與 Bigtable 串流功能
主題

  • 串流至 BigQuery 並視覺化結果
  • 高吞吐量串流 Bigtable
  • 優化 Bigtable 效能

模組 18:進階 BigQuery 功能與效能
主題

  • 解析視窗功能
  • GIS 功能
  • 效能考量

讓我們為你努力

找不到合適的日期? 需要訓練整個團隊嗎? 想找折扣嗎?
今天就與我們的培訓顧問聯繫。

日期與地點

考試與認證

Google Cloud 專業資料工程師認證

Google 專業資料工程師透過收集、轉換及發布資料,實現以資料驅動的決策。資料工程師應能設計、建置、運作化、安全及監控資料處理系統,特別強調安全性與合規性;可擴展性與效率;可靠性與忠實度;以及彈性與可攜性。資料工程師也應能利用、部署並持續訓練既有的機器學習模型。