概述
本課程探討如何在 Azure 上使用 Databricks 與 Apache Spark,將資料專案從探索帶到生產環境。
- 學習如何使用 Spark DataFrames、Spark SQL 與 PySpark 擷取、轉換及分析大型資料集
- 建立管理分散式資料處理
- 實務操作 Databricks 工作區——導航叢集並建立與優化 Delta 資料表
- 深入資料工程實務,包括設計 ETL 管線、處理架構演進及資料品質執行。
- 使用 Lakeflow 工作與管線
- 探索治理與安全功能,如 Unity Catalog 與 Purview 整合
的信心
自動化與管理工作負載
為什麼選擇 KORNERSTONE
- 經認證、由實務人員主導的專家證書培訓師,提供高品質的培訓
- 官方訓練資料包含
- 實務、情境導向學習——著重應用,而非僅理論
- 優秀的通過率
涵蓋技能
- 探索 Azure Databricks
- 在 Azure Databricks
- 在 Azure Databricks
- 在 Azure Databricks
- 在 Azure Data Factory 中執行 Azure Databricks 筆記本
中使用 Apache spark
中使用 Delta Lake
中使用 SQL Warehouses
目標受眾
- 資訊科技專業人士
培訓大綱
模組 1:探索 Azure Databricks
Azure Databricks 是一個雲端服務,提供可擴展的資料分析平台,使用 Apache Spark。
學習目標
在本單元中,您將學習如何:
- 配置 Azure Databricks 工作空間。
- 識別 Azure Databricks 的核心工作負載與角色。
- 描述 Azure Databricks 解決方案的關鍵概念。
先修條件
在開始本模組前,你應該具備資料分析概念的基本知識。考慮在開始本模組前完成 Azure Data Fundamentals 認證 。
模組二:在 Azure Databricks 中使用 Apache Spark
Azure Databricks 建立在 Apache Spark 之上,讓資料工程師與分析師能執行 Spark 工作,進行大規模資料轉換、分析與視覺化。
學習目標
在本模組中,你將學習如何:
- 描述 Apache Spark 架構的關鍵元素。
- 建立並配置 Spark 叢集。
- 描述 Spark 的使用案例。
- 使用 Spark 處理並分析儲存在檔案中的資料。
- 使用 Spark 來視覺化資料。
先修條件
在開始本模組前,你應該具備 Azure Databricks 的基本知識。建議先完成 Explore Azure Databricks 模組。
模組 3:在 Azure Databricks
中使用 Delta Lake 是 Spark 的開源關聯式儲存區,可用於實作 Azure Databricks 中的資料湖屋架構。
學習目標
在本模組中,您將學習如何:
- 描述 Delta Lake 的核心功能與能力。
- 在 Azure Databricks 中建立並使用 Delta Lake 資料表。
- 建立 Delta Lake 資料的 Spark 目錄資料表。
- 使用 Delta Lake 資料表進行串流資料。
先修事項
在開始本模組前,你應該先了解如何在 Azure Databricks 中使用 Apache Spark。建議先完成 Use Apache Spark in Azure Databricks 模組。
模組 4:在 Azure Databricks 中使用 SQL Warehouses
Azure Databricks 提供 SQL 倉庫,讓資料分析師能使用熟悉的關聯式 SQL 查詢來處理資料。
學習目標
在本單元中,你將學習如何:
- 在 Azure Databricks 中建立與配置 SQL 倉庫。
- 建立資料庫與資料表。
- 建立查詢與儀表板。
先修事項
在開始本模組前,你應該具備 Azure Databricks 的基本知識。建議先完成 Explore Azure Databricks 模組。
模組 5:使用 Azure Data Factory
執行 使用 Azure Data Factory 中的管線來執行 Databricks 可讓你在雲端規模自動化資料工程流程。
學習目標
在本單元中,您將學習如何:
- 描述如何在管線中執行 Azure Databricks 筆記本。
- 為 Azure Databricks 建立與 Azure Data Factory 連結的服務。
- 在管線中使用筆記本活動。
- 將參數傳給筆記本。
先修課程
在開始本模組前,你應該對 Azure Databricks 有基本認識。建議先完成 Explore Azure Databricks 模組。






