概述

這是一門入門課程，作為學習 Databricks 資料工程的適當入門點。

以下我們將介紹本課程中包含的四個四小時模組。

1. 使用 Lakeflow Connect 進行資料擷取

本課程全面介紹 Lakeflow Connect 作為一種可擴展且簡化的解決方案，用於從多種資料來源將資料匯入 Databricks。您將先探索 Lakeflow Connect 中不同類型的連接器（標準與管理型），學習各種擷取技術，包括批次、增量批次與串流，然後回顧 Delta 表格與 Medallion 架構的主要優勢。

接著，你將獲得實用技能，利用 Lakeflow Connect 標準連接器，透過 CREATE TABLE AS（CTA）、COPY INTO 和 Auto Loader 等方法，有效從雲端物件儲存擷取資料，並了解每種方法的優點與考量。接著你將學習如何在 Databricks 資料智慧平台的 Branz 級資料表中附加元資料欄位。接著是處理已救援資料欄位，該欄位處理與 Bronze 資料表結構不符的紀錄，並包含管理這些已救援資料的策略。

課程同時介紹了擷取與壓扁半結構化 JSON 資料的技術，以及使用 Lakeflow Connect 管理連接器進行企業級資料擷取。

最後，學習者將探索替代的資料擷取策略，包括 MERGE INTO 營運及利用 Databricks 市集，裝備你支持現代資料工程擷取的基礎知識。

2. 部署使用 Lakeflow Jobs 的工作負載

Deploy Workloads with Lakeflow Jobs 課程教你如何利用 Lakeflow Jobs 協調與自動化資料、分析與 AI 工作流程。你將學習打造具備彈性排程、先進編排及可靠性與效率最佳實務的強大且適合生產環境的管線，這些皆原生整合於 Databricks 資料智慧平台。建議具備 Databricks、Python 及 SQL 的先前經驗。

3. 使用 Lakeflow Spark 宣告式管線建立資料管線

本課程介紹使用者在 Databricks 中使用 Lakeflow Spark 宣告式管線（SDP）建立資料管線所需的基本概念與技能，以進行增量批次或串流擷取，並透過多個串流資料表與具體化檢視進行處理。本課程專為 Spark 宣告式管線的新手資料工程師設計，全面概述了增量資料處理、串流資料表、實體化檢視與臨時檢視等核心元件，強調其特定用途與差異。

涵蓋的主題包括：

– 使用 Spark 宣告式管線中的多檔案編輯器開發與除錯 ETL 管線（使用 SQL 範例）

– Spark 宣告式管線如何透過管線圖追蹤管線中的資料相依關係

– 配置管線運算資源、資料資產、觸發模式及其他進階選項

接著，課程介紹 Spark 宣告式管線中的資料品質期望，引導使用者將期望整合進管線以驗證並強化資料完整性。學習者將探討如何將管線投入生產環境，包括排程選項，以及啟用管線事件記錄以監控管線效能與健康狀況。

最後，課程涵蓋如何在 Spark 宣告式管線中使用 AUTO CDC INTO 語法實作變更資料擷取（CDC），以管理緩慢變動的維度（SCD Type 1 與 Type 2），準備使用者將 CDC 整合進自己的管線中。

4. 與 Unity 目錄的資料管理與治理

在本課程中，您將學習使用 Databricks Unity Catalog 進行資料管理與治理。內容涵蓋資料治理的基礎概念、資料湖管理的複雜性、Unity Catalog 架構、安全性、管理，以及進階主題如細粒度存取控制、資料隔離與權限管理。

* 本課程旨在準備學生完成副資料工程師認證考試，並提供參加 Databricks 進階資料工程課程所需的知識。

為什麼選擇 KORNERSTONE

  • 經認證、由實務人員主導的專家證書培訓師，提供高品質的培訓
  • 官方訓練資料包含
  • 實務、情境導向學習——著重應用，而非僅理論
  • 優秀的通過率

涵蓋技能

  • 使用 Lakeflow Connect 進行資料擷取
  • 使用 Lakeflow 工作部署工作負載
  • 使用 Lakeflow Spark 宣告式管線建立資料管線
  • 使用 Unity 目錄的資料管理與治理

先決條件

1. 使用 Lakeflow Connect 進行資料擷取

  • 對 Databricks 資料智慧平台的基本了解，包括 Databricks Workspaces、Apache Spark、Delta Lake、Medallion 架構及 Unity 目錄。
  • 有處理多種檔案格式（例如 Parquet、CSV、JSON、TXT）的經驗。
  • 精通 SQL 和 Python。
  • 熟悉在 Databricks 筆記本中執行程式碼。

2. 部署使用 Lakeflow Jobs 的工作負載

  • 初學者對基本雲端概念（虛擬機、物件儲存、身份管理）的熟悉度
  • 能夠執行基本的程式碼開發任務（建立運算、在筆記本中執行程式碼、使用基本筆記本操作、從 git 匯入倉庫等）
  • 對基本 SQL 概念的中級熟悉度（CREATE、SELECT、INSERT、UPDATE、DELETE、WHILE、GROUP BY、JOIN 等）

3. 使用 Lakeflow Spark 宣告式管線建立資料管線

  • 對 Databricks 資料智慧平台的基本了解，包括 Databricks Workspaces、Apache Spark、Delta Lake、Medallion 架構及 Unity 目錄。
  • 體驗將原始資料匯入 Delta 表格，包括使用 read_files SQL 函式載入 CSV、JSON、TXT 和 Parquet 等格式。
  • 具備使用 SQL 轉換資料的能力，包括撰寫中階查詢及基本的 SQL 連接理解。

4. 與 Unity 目錄的資料管理與治理

  • 初學者對雲端運算概念（虛擬機、物件儲存等）的熟悉度
  • 具備基礎 SQL 概念的中階經驗，如 SQL 指令、彙總函式、篩選與排序、索引、資料表及檢視。
  • 具備 Python 程式設計基礎、Jupyter 筆記本介面及 PySpark 基礎知識。

課程內容

模組 1：使用 Lakeflow Connect 進行資料擷取

  • Databricks 資料工程導論
  • 使用 LakeFlow Connect 標準連接器進行雲端儲存擷取
  • 使用 LakeFlow Connect 管理連接器進行企業資料擷取
  • 口服替代方案

模組 2：部署 Lakeflow 工作負載

  • Databricks 資料工程導論
  • Lakeflow 工作核心概念
  • 建立與排程工作
  • Advance Lakeflow 職缺功能

模組 3：使用 Lakeflow Spark 宣告式管線建構資料管線

  • Databricks 資料工程導論
  • Lakeflow Spark 宣告式管線基礎
  • 建造 Lakeflow Spark 宣告式管線

模組 4：與 Unity 目錄的資料管理與治理

  • 資料治理概述
  • 示範：填充 Metastore
  • Lab：在 Metastore 中導航
  • 組織與存取模式
  • 示範：將表格升級到 Unity 目錄
  • Unity 目錄中的安全性與管理
  • Databricks 市集概覽
  • Unity 目錄中的權限
  • 示範：控制資料存取
  • 細粒度存取控制
  • 實驗室：Unity 目錄中資料的遷移與管理

讓我們為你努力

找不到合適的日期？ 需要訓練整個團隊嗎？ 想找折扣嗎？
今天就與我們的培訓顧問聯繫。

日期與地點

x 清除所有選擇

考試與認證

Databricks 認證資料工程師助理。

Databricks 認證資料工程師助理認證考試評估個人使用 Databricks 資料智慧平台完成入門資料工程任務的能力。這包括對資料智慧平台及其工作空間、架構與能力的理解。

考試同時評估使用 Apache Spark SQL 或 PySpark 執行 ETL 任務的能力，涵蓋擷取、複雜資料處理及使用者自訂功能。最後，考試評估測試人員部署與協調 Databricks 工作流程工作負載的能力，以有效配置與排程工作。
通過此認證考試的考員預期將完成使用 Databricks 及其相關工具的基本資料工程任務。

考試涵蓋：

  1. Databricks 智慧平台 – 10%

  2. 發育與攝取 – 30%

  3. 資料處理與轉換 – 31%

  4. 生產化資料管線 – 18%

  5. 資料治理與品質 – 11%