概述
透過 Cloud Data Fusion 釋放數據的力量。
這門為期兩天的 Google Cloud 課程,介紹 Google Cloud 利用 Cloud Data Fusion 整合資料的能力。
在本課程中,我們討論資料整合的挑戰以及對資料整合平台(中介軟體)的需求。接著討論 Cloud Data Fusion 如何有效整合來自多種來源與格式的資料,並產生洞見。我們將探討 Cloud Data Fusion 的主要元件及其運作方式,如何透過視覺化管線設計處理批次資料與即時串流資料,豐富的元資料與資料血統追蹤,以及如何在各種執行引擎上部署資料管線。
為什麼選擇 KORNERSTONE
- 經認證、由實務人員主導的專家證書培訓師,提供高品質的培訓
- 官方訓練資料包含
- 實務、情境導向學習——著重應用,而非僅理論
- 優秀的通過率
涵蓋技能
- 識別資料整合的需求,
- 了解 Cloud Data Fusion 作為資料整合平台所提供的功能,
- 識別可實施的 Cloud Data Fusion 應用案例,
- 列出 Cloud Data Fusion 的核心元件,
- 設計並執行批次及即時資料處理管線,
- 使用 Wrangler 建立資料轉換
- 使用連接器整合來自各種來源與格式的資料,
- 配置執行環境;監控並排除管線執行問題,
- 了解元資料與資料血緣之間的關係
先決條件
為了充分發揮本課程的價值,鼓勵參與者具備:
- 完成「大數據與機器學習基礎」課程
目標受眾
本課程主要針對以下參與者:
- 資料工程師、
- 資料分析師
培訓大綱
模組0:導論
- 介紹課程目標
模組 1:資料整合與雲端資料融合
導論
主題
- 資料整合:什麼、為什麼、挑戰
- 中使用的資料整合工具
- 使用者角色
- 雲端資料融合
- 資料整合關鍵能力
- 雲端資料融合 UI 元件
產業
介紹
目標
- 了解資料整合
- 列出資料整合能協助企業
- 列出可用的資料整合平台與工具
- 識別資料整合
- 了解 雲端資料融合作為資料整合平台
- 建立雲端資料融合實例
- 熟悉 Cloud Data Fusion 的核心框架與主要元件
的需求
的情況與案例
的挑戰
的使用方式
模組 2:建構管線
主題
- 雲端資料融合架構
- 概念資料
- 管線與有向無環圖(DAG)
- 管線生命週期
- 在管線 Studio
核心
中設計管線
目標
- 了解 Cloud Data Fusion 架構
- 定義什麼是資料管線
- 了解資料管線
- 學習使用 Pipeline Studio 及其元件
- 使用 Pipeline Studio
- 部署並執行管線
的 DAG 表示法
設計一條簡單的管線
模組 3:設計複雜管線
主題
- 分支、合併與連接
- 動作與通知
- 處理與巨集
- 管線配置、排程、匯入與匯出
錯誤
目標
- 執行分支、合併與連接操作。
- 使用巨集執行時參數執行管線。
- 使用錯誤處理程式。
- 透過動作與通知
- 程執行管線。
- 匯入與匯出現有管線。
執行管線前後執行。排
模組 4:管線執行環境
主題
- 排程與觸發執行
- 環境:計算設定檔與配置器
- 監控管線
目標
- 了解執行環境的組成。
- 配置管線的執行環境、日誌與指標。
- 了解計算設定檔與配置器等概念。
- 建立計算配置檔。
- 建立管線警示。
- 監控執行中的管線。
模組 5:使用 Wrangler
建立轉換與資料準備
主題
- Wrangler
- 指令
- 使用者定義指令
目標
- 了解 Wrangler 及其主要元件的使用。
- 使用 Wrangler UI 轉換資料。
- 使用指令/CLI 方法轉換資料。
- 建立並使用使用者定義的指令。
模組 6:連接器與串流管線
主題
- 了解資料整合架構。
- 列出各種連接器。
- 使用雲端資料遺失防護(DLP)API。
- 了解串流管線的參考架構。
- 建置並執行串流管線。
目標
- 連接器
- DLP
- 串流應用
- 建構串流管線
參考架構
模組 7:元資料與資料沿承
主題
- 元資料
- 資料沿緣
目標
- 列出元資料類型。
- 區分業務元資料、技術元資料與營運元資料。
- 了解什麼是資料血緣
模組8:摘要
主題
- 課程摘要
目標
- 回顧課程目標與概念
日期與地點

考試與認證
本課程與任何認證無關。





