概述

了解如何利用 Apache Spark 與運行於 Azure Databricks 平台上的強大叢集,在雲端執行大型資料工程工作負載。

為什麼選擇 KORNERSTONE

  • 經認證、由實務人員主導的專家證書培訓師,提供高品質的培訓
  • 官方訓練資料包含
  • 實務、情境導向學習——著重應用,而非僅理論
  • 優秀的通過率

涵蓋技能

  • 使用 Spark 結構化串流
  • 執行增量處理

  • 使用 Delta Live Tables
  • 實作串流架構模式

  • 使用 Spark 與 Delta Live Tables
  • 優化效能

  • 在 Azure Databricks
  • 實作 CI/CD 工作流程

  • 使用 Azure Databricks
  • 自動化工作負載

  • 使用 Azure Databricks
  • 管理資料隱私與治理

  • 在 Azure Databricks
  • 中使用 SQL 倉庫

  • 以 Azure Data Factory 運行 Azure Databricks 筆記本

先決條件

參加此課程無需先決條件。

目標受眾

  • 資料工程師

培訓大綱

模組一:使用火花結構化串流

執行增量處理 你將探索不同的功能與工具,幫助你理解並運用火花結構化串流的增量處理。

學習目標

在本模組結束時,你將能:

  • 理解 Spark 結構化串流。
  • 一些優化結構化串流的技巧。
  • 如何處理延遲到貨或錯誤順序事件。
  • 如何設定即時來源以進行增量處理。

先決條件

  • :能夠操作 Azure 入口網站。
  • 了解 Azure Databricks 工作空間。
  • 具備

  • Spark 語言與筆記本的經驗。

模組二:實作使用 Delta Live Tables 的串流架構模式

你將探索不同的功能與工具,協助你使用 Azure Databricks Delta Live Tables 來開發架構模式。

學習目標

在本模組結束時,你可以:

  • 使用事件驅動架構搭配 Delta Live Tables
  • 匯入串流資料
  • 達成資料一致性與可靠性
  • 使用 Delta Live Tables

擴展串流工作負載

先修

    條件

  • :能夠操作 Azure 入口網站。
  • 了解 Azure Databricks 工作空間。
  • 具備 Spark 語言與筆記本的經驗。

模組 3:以 Spark 與 Delta Live Table 優化效能

學習如何在 Azure Databricks 中使用 Spark 和 Delta Live Tables 優化效能。

學習目標

在本模組中,您將學習如何:

  • 使用無伺服器運算與 Delta live 資料表
  • 平行處理

  • 進行成本優化與查詢效能
  • 使用變更資料擷取(CDC)
  • 應用增強的自動擴展能力
  • 實作可觀察性並提升資料品質指標

先修條件

在開始本模組前,你應該具備資料分析概念的基本知識。建議在開始本模組前完成 Azure Data Fundamentals 認證 。

模組 4:在 Azure Databricks 中實作 CI/CD 工作流程

學習如何在 Azure Databricks 中實作 CI/CD 工作流程,以自動化整合與交付程式碼變更。

學習目標

在本單元中,您將學習如何:

  • 實作版本控制與 Git 整合。
  • 執行單元測試與整合測試。
  • 維護環境與組態管理。
  • 實施回滾與回滾策略。

先修條件

在開始本模組前,你應該具備資料分析概念的基本知識。建議在開始此模組前完成 Azure Data Fundamentals 認證 。

模組 5:使用 Azure Databricks 工作自動化工作負載

學習如何使用 Azure Databricks 工作協調與排程資料工作流程。定義並監控複雜管線,整合 Azure Data Factory 與 Azure DevOps 等工具,減少人工介入,提升效率、更快洞察並能適應業務需求。

學習目標

在本單元中,您將學習如何:

  • 實作工作排程與自動化。
  • 以參數優化工作流程。
  • 處理相依性管理。
  • 實施錯誤處理與重試機制。
  • 探索最佳實務與指引

先修條件

在開始本模組前,你應該具備資料分析概念的基本知識。建議在開始此模組前完成 Azure Data Fundamentals 認證 。

模組 6:利用 Azure Databricks

管理資料隱私與治理 在本單元中,您將探索不同功能與方法,協助您利用 Unity Catalog 等工具,保護並管理 Azure Databricks 中的資料。

學習目標

在本模組結束時,您可以以下操作:

  • 實施資料加密技術
  • 管理存取控制
  • 實施資料遮蔽與匿名化
  • 使用合規框架與安全資料共享
  • 使用資料血統與元資料管理
  • 推廣治理自動化

先決條件

  • 能夠瀏覽 Azure 入口網站
  • 熟悉

  • Azure Databricks 工作空間
  • 對 Spark 語言與筆記本

的知識 模組 7:在 Azure Databricks 中使用 SQL 倉庫

Azure Databricks 提供 SQL 倉庫,讓資料分析師能使用熟悉的關聯式 SQL 查詢來處理資料。

學習目標

在本單元中,您將學習如何

    :
    在 Azure

  • Databricks 中建立與配置 SQL 倉庫。
  • 建立資料庫與資料表。
  • 建立查詢與儀表板。

先修條件

在開始本模組前,你應該對 Azure Databricks 有基本認識。建議先完成 Explore Azure Databricks 模組。

模組 8:使用 Azure Data Factory 執行 Azure Databricks 筆記本

在 Azure Data Factory 中使用管線在 Azure Databricks 中執行筆記本,可以讓你在雲端規模自動化資料工程流程。

學習目標

在本單元中,您將學習如何:

  • 描述如何在管線中執行 Azure Databricks 筆記本。
  • 為 Azure Databricks 建立與 Azure Data Factory 連結的服務。
  • 在管線中使用筆記本活動。
  • 將參數傳給筆記本。

先修課程

在開始本模組前,你應該對 Azure Databricks 有基本認識。建議先完成 Explore Azure Databricks 模組。

讓我們為你努力

找不到合適的日期? 需要訓練整個團隊嗎? 想找折扣嗎?
今天就與我們的培訓顧問聯繫。

日期與地點

考試與認證

注意:本課程無直接相關的考試。然而,Microsoft 提供豐富的業界認可認證組合,能幫助你在 2025 年及未來成為科技專業人士。取得 Microsoft 認證是驗證技能並加速職涯發展的最有效方式之一。透過我們專家主導的訓練,你將準備好:掌握雲端、資料與人工智慧,以及資安等推動全球數位轉型領域的熱門能力。以全球雇主認可的全球認可資格證明你的專業能力。透過提升您的信譽、增加收入潛力,並開啟新機會之門,推動您的職涯發展。 探索我們全方位的

  • Microsoft 認證
  • ,並開始建立今天就重要的技能。