概述

透過 Cloud Data Fusion 釋放數據的力量。

這門為期兩天的 Google Cloud 課程,介紹 Google Cloud 利用 Cloud Data Fusion 整合資料的能力。

在本課程中,我們討論資料整合的挑戰以及對資料整合平台(中介軟體)的需求。接著討論 Cloud Data Fusion 如何有效整合來自多種來源與格式的資料,並產生洞見。我們將探討 Cloud Data Fusion 的主要元件及其運作方式,如何透過視覺化管線設計處理批次資料與即時串流資料,豐富的元資料與資料血統追蹤,以及如何在各種執行引擎上部署資料管線。

為什麼選擇 KORNERSTONE

  • 經認證、由實務人員主導的專家證書培訓師,提供高品質的培訓
  • 官方訓練資料包含
  • 實務、情境導向學習——著重應用,而非僅理論
  • 優秀的通過率

涵蓋技能

  • 識別資料整合的需求,
  • 了解 Cloud Data Fusion 作為資料整合平台所提供的功能,
  • 識別可實施的 Cloud Data Fusion 應用案例,
  • 列出 Cloud Data Fusion 的核心元件,
  • 設計並執行批次及即時資料處理管線,
  • 使用 Wrangler 建立資料轉換
  • 使用連接器整合來自各種來源與格式的資料,
  • 配置執行環境;監控並排除管線執行問題,
  • 了解元資料與資料血緣之間的關係

先決條件

為了充分發揮本課程的價值,鼓勵參與者具備:

  • 完成「大數據與機器學習基礎」課程

目標受眾

本課程主要針對以下參與者:

  • 資料工程師、
  • 資料分析師

培訓大綱

模組0:導論

  • 介紹課程目標

模組 1:資料整合與雲端資料融合

導論

主題

  • 資料整合:什麼、為什麼、挑戰
  • 產業

  • 中使用的資料整合工具
  • 使用者角色
  • 雲端資料融合
  • 介紹

  • 資料整合關鍵能力
  • 雲端資料融合 UI 元件

目標

  • 了解資料整合
  • 的需求

  • 列出資料整合能協助企業
  • 的情況與案例

  • 列出可用的資料整合平台與工具
  • 識別資料整合
  • 的挑戰

  • 了解 雲端資料融合作為資料整合平台
  • 的使用方式

  • 建立雲端資料融合實例
  • 熟悉 Cloud Data Fusion 的核心框架與主要元件

模組 2:建構管線

主題

  • 雲端資料融合架構
  • 核心

  • 概念資料
  • 管線與有向無環圖(DAG)
  • 管線生命週期
  • 在管線 Studio
  • 中設計管線

目標

  • 了解 Cloud Data Fusion 架構
  • 定義什麼是資料管線
  • 了解資料管線
  • 的 DAG 表示法

  • 學習使用 Pipeline Studio 及其元件
  • 使用 Pipeline Studio
  • 設計一條簡單的管線

  • 部署並執行管線

模組 3:設計複雜管線

主題

  • 分支、合併與連接
  • 動作與通知
  • 錯誤

  • 處理與巨集
  • 管線配置、排程、匯入與匯出

目標

  • 執行分支、合併與連接操作。
  • 使用巨集執行時參數執行管線。
  • 使用錯誤處理程式。
  • 透過動作與通知
  • 執行管線前後執行。排

  • 程執行管線。
  • 匯入與匯出現有管線。

模組 4:管線執行環境

主題

  • 排程與觸發執行
  • 環境:計算設定檔與配置器
  • 監控管線

目標

  • 了解執行環境的組成。
  • 配置管線的執行環境、日誌與指標。
  • 了解計算設定檔與配置器等概念。
  • 建立計算配置檔。
  • 建立管線警示。
  • 監控執行中的管線。

模組 5:使用 Wrangler

建立轉換與資料準備

主題

  • Wrangler
  • 指令
  • 使用者定義指令

目標

  • 了解 Wrangler 及其主要元件的使用。
  • 使用 Wrangler UI 轉換資料。
  • 使用指令/CLI 方法轉換資料。
  • 建立並使用使用者定義的指令。

模組 6:連接器與串流管線

主題

  • 了解資料整合架構。
  • 列出各種連接器。
  • 使用雲端資料遺失防護(DLP)API。
  • 了解串流管線的參考架構。
  • 建置並執行串流管線。

目標

  • 連接器
  • DLP
  • 串流應用
  • 參考架構

  • 建構串流管線

模組 7:元資料與資料沿承

主題

  • 元資料
  • 資料沿緣

目標

  • 列出元資料類型。
  • 區分業務元資料、技術元資料與營運元資料。
  • 了解什麼是資料血緣

模組8:摘要

主題

  • 課程摘要

目標

  • 回顧課程目標與概念

讓我們為你努力

找不到合適的日期? 需要訓練整個團隊嗎? 想找折扣嗎?
今天就與我們的培訓顧問聯繫。

日期與地點

考試與認證

本課程與任何認證無關。