概述
了解如何利用 Apache Spark 與運行於 Azure Databricks 平台上的強大叢集,在雲端執行大型資料工程工作負載。
為什麼選擇 KORNERSTONE
- 經認證、由實務人員主導的專家證書培訓師,提供高品質的培訓
- 官方訓練資料包含
- 實務、情境導向學習——著重應用,而非僅理論
- 優秀的通過率
涵蓋技能
- 使用 Spark 結構化串流
- 使用 Delta Live Tables
- 使用 Spark 與 Delta Live Tables
- 在 Azure Databricks
- 使用 Azure Databricks
- 使用 Azure Databricks
- 在 Azure Databricks
- 以 Azure Data Factory 運行 Azure Databricks 筆記本
執行增量處理
實作串流架構模式
優化效能
實作 CI/CD 工作流程
自動化工作負載
管理資料隱私與治理
中使用 SQL 倉庫
先決條件
參加此課程無需先決條件。
目標受眾
- 資料工程師
培訓大綱
模組一:使用火花結構化串流
執行增量處理 你將探索不同的功能與工具,幫助你理解並運用火花結構化串流的增量處理。
學習目標
在本模組結束時,你將能:
- 理解 Spark 結構化串流。
- 一些優化結構化串流的技巧。
- 如何處理延遲到貨或錯誤順序事件。
- 如何設定即時來源以進行增量處理。
先決條件
- :能夠操作 Azure 入口網站。
- 了解 Azure Databricks 工作空間。
- Spark 語言與筆記本的經驗。
具備
模組二:實作使用 Delta Live Tables 的串流架構模式
你將探索不同的功能與工具,協助你使用 Azure Databricks Delta Live Tables 來開發架構模式。
學習目標
在本模組結束時,你可以:
- 使用事件驅動架構搭配 Delta Live Tables
- 匯入串流資料
- 達成資料一致性與可靠性
- 使用 Delta Live Tables
擴展串流工作負載
先修
-
條件
- :能夠操作 Azure 入口網站。
- 了解 Azure Databricks 工作空間。
- 具備 Spark 語言與筆記本的經驗。
模組 3:以 Spark 與 Delta Live Table 優化效能
學習如何在 Azure Databricks 中使用 Spark 和 Delta Live Tables 優化效能。
學習目標
在本模組中,您將學習如何:
- 使用無伺服器運算與 Delta live 資料表
- 進行成本優化與查詢效能
- 使用變更資料擷取(CDC)
- 應用增強的自動擴展能力
- 實作可觀察性並提升資料品質指標
平行處理
先修條件
在開始本模組前,你應該具備資料分析概念的基本知識。建議在開始本模組前完成 Azure Data Fundamentals 認證 。
模組 4:在 Azure Databricks 中實作 CI/CD 工作流程
學習如何在 Azure Databricks 中實作 CI/CD 工作流程,以自動化整合與交付程式碼變更。
學習目標
在本單元中,您將學習如何:
- 實作版本控制與 Git 整合。
- 執行單元測試與整合測試。
- 維護環境與組態管理。
- 實施回滾與回滾策略。
先修條件
在開始本模組前,你應該具備資料分析概念的基本知識。建議在開始此模組前完成 Azure Data Fundamentals 認證 。
模組 5:使用 Azure Databricks 工作自動化工作負載
學習如何使用 Azure Databricks 工作協調與排程資料工作流程。定義並監控複雜管線,整合 Azure Data Factory 與 Azure DevOps 等工具,減少人工介入,提升效率、更快洞察並能適應業務需求。
學習目標
在本單元中,您將學習如何:
- 實作工作排程與自動化。
- 以參數優化工作流程。
- 處理相依性管理。
- 實施錯誤處理與重試機制。
- 探索最佳實務與指引
先修條件
在開始本模組前,你應該具備資料分析概念的基本知識。建議在開始此模組前完成 Azure Data Fundamentals 認證 。
模組 6:利用 Azure Databricks
管理資料隱私與治理 在本單元中,您將探索不同功能與方法,協助您利用 Unity Catalog 等工具,保護並管理 Azure Databricks 中的資料。
學習目標
在本模組結束時,您可以以下操作:
- 實施資料加密技術
- 管理存取控制
- 實施資料遮蔽與匿名化
- 使用合規框架與安全資料共享
- 使用資料血統與元資料管理
- 推廣治理自動化
先決條件
- 能夠瀏覽 Azure 入口網站
- Azure Databricks 工作空間
- 對 Spark 語言與筆記本
熟悉
的知識 模組 7:在 Azure Databricks 中使用 SQL 倉庫
Azure Databricks 提供 SQL 倉庫,讓資料分析師能使用熟悉的關聯式 SQL 查詢來處理資料。
學習目標
在本單元中,您將學習如何
- :
- Databricks 中建立與配置 SQL 倉庫。
- 建立資料庫與資料表。
- 建立查詢與儀表板。
在 Azure
先修條件
在開始本模組前,你應該對 Azure Databricks 有基本認識。建議先完成 Explore Azure Databricks 模組。
模組 8:使用 Azure Data Factory 執行 Azure Databricks 筆記本
在 Azure Data Factory 中使用管線在 Azure Databricks 中執行筆記本,可以讓你在雲端規模自動化資料工程流程。
學習目標
在本單元中,您將學習如何:
- 描述如何在管線中執行 Azure Databricks 筆記本。
- 為 Azure Databricks 建立與 Azure Data Factory 連結的服務。
- 在管線中使用筆記本活動。
- 將參數傳給筆記本。
先修課程
在開始本模組前,你應該對 Azure Databricks 有基本認識。建議先完成 Explore Azure Databricks 模組。






