概述
本課程是學習 Databricks 進階資料工程的合適入門。
以下我們將介紹本課程中包含的四個四小時模組。
Databricks 串流與 Lakeflow Spark 宣告式管線
本課程全面介紹 Spark 結構化串流與 Delta Lake，包括計算模型、串流讀取設定，以及在串流環境中維持資料品質。
Databricks 資料隱私
本內容旨在為資料工程師的學習者，或是完成 Databricks 資料工程任務的客戶、合作夥伴與員工設計。旨在提供他們在 Databricks 平台上有效執行這些活動所需的知識與技能。
Databricks 效能優化
在本課程中，你將學習如何利用 Spark 和 Delta Lake 優化工作負載與實體佈局，並分析 Spark 介面以評估效能及除錯應用程式。我們將涵蓋串流、液態叢集、資料跳過、快取、光子等主題。
使用 Databricks 資產組合的自動化部署
本課程全面回顧 DevOps 原則及其在 Databricks 專案中的應用。課程首先概述核心 DevOps、DataOps、持續整合（CI）、持續部署（CD）及測試，並探討這些原則如何應用於資料工程管線。
接著課程聚焦於 CI/CD 流程中的持續部署，檢視 Databricks REST API、SDK 及 CLI 等專案部署工具。您將學習 Databricks 資產套件（DAB）及其在 CI/CD 流程中的定位。您將深入探討其關鍵元件、資料夾結構，以及如何在 Databricks 中簡化不同目標環境的部署。您還將學習如何使用 Databricks CLI 為多個設定環境新增變數、修改、驗證、部署及執行 Databricks 資產套件。
最後，課程介紹 Visual Studio Code 作為互動式開發環境（IDE），用於本地建置、測試及部署 Databricks 資產套件，優化您的開發流程。課程最後介紹如何利用 GitHub Actions 自動化部署管線，以強化 Databricks 資產套件的 CI/CD 工作流程。
完成本課程後，您將具備自動化 Databricks 專案部署的能力，透過 Databricks 資產套件提升效率。
為什麼選擇 KORNERSTONE
- 經認證、由實務人員主導的專家證書培訓師，提供高品質的培訓
- 官方訓練資料包含
- 實務、情境導向學習——著重應用，而非僅理論
- 優秀的通過率
涵蓋技能
- Databricks 串流與 Lakeflow Spark 宣告式管線
- Databricks 資料隱私
- Databricks 效能優化
- 使用 Databricks 資產組合的自動化部署
先決條件
參與者應具備基本資料概念、SQL 及關聯式資料庫的理解。建議熟悉 Python 或其他程式語言。具備資料處理、分析工作流程或雲端運算基礎的經驗，將有助於學習者從 DBK-ADE 課程中獲得最大價值。
課程內容
模組 1：Databricks 串流與 Lakeflow Spark 宣告式管線
- 串流資料概念
- 結構化串流導論
- 示範：從串流查詢中閱讀
- 從三角湖串流
- 串流查詢實驗室
- 聚合、時間視窗、浮水印
- 事件時間 + 隨時間聚合視窗
- 觸發類型與輸出模式
- 串流聚合實驗室
- 示範：帶浮水印的視窗聚合
- 串流加入（可選）
- 示範：串流加入（可選）
- 資料擷取模式
- 試玩版：自動載入銅牌
- 試玩版：Multiplex Bronze 的串流
- 資料品質強制執行
- 示範：資料品質執行
- 串流 ETL 實驗室
模組二：Databricks 資料隱私
- 法規遵循
- 資料隱私
- 關鍵概念與組成部分
- 審核您的資料
- 資料隔離
- 示範：在 Unity 目錄中保護資料
- 假名化與匿名化
- 摘要與最佳實務
- 示範：個人識別資料安全
- 擷取變更資料
- 在 Databricks 中刪除資料
- 示範：處理 CDF 的紀錄並傳播變更
- 實驗室：與 CDF 實驗室傳播變更
模組 3：Databricks 效能優化
- DevOps Spark UI 介紹
- 設計基礎導論
- 試玩版：檔案爆炸
- 資料跳過與液體聚類
- 實驗室：資料跳躍與液體聚類
- 斜坡
- 洗牌
- 試玩版：Shuffle
- 洩漏
- 實驗室：爆炸連接
- 序列化
- 示範：使用者自訂函式
- 微調：選擇合適的叢集
- 選擇最佳的實例類型
模組 4：使用 Databricks 資產組合的自動化部署
- DevOps 評測
- 持續整合與持續部署/交付（CI/CD）檢討
- 示範：球場設置與認證
- 部署 Databricks 專案
- Databricks 資產套件（DAB）簡介
- 示範：部署簡單 DAB
- 實驗室：部署簡易 DAB
- DAB 中的變數替換
- 示範：將 DAB 部署到多個環境
- 實驗室：將 DAB 部署到多個環境
- DAB 專案範本概述
- 實驗：使用 Databricks 預設的 DAB 範本
- CI/CD 專案概述與 DAB
- 示範：DAB 持續整合與持續部署
- 實驗：如何將機器學習加入 DAB 工程工作流程
- 使用 Visual Studio Code （VSCode） 進行本地開發
- 示範：使用 VSCode 搭配 Databricks
- 資料工程的 CI/CD 最佳實務
- 下一步：使用 GitHub Actions 自動部署
日期與地點
考試與認證
Databricks 認證資料工程師專業人員。
Databricks 認證資料工程專業人員考試驗證考生在 Databricks Lakehouse 平台上建置、優化及維護生產級資料工程解決方案的進階技能。成功的考生需展現在核心平台功能上的專業，如 Delta Lake、Unity Catalog、Auto Loader、Lakeflow 宣告式管線、Databricks Compute（含無伺服器）Lakeflow Jobs 及 Medallion 架構。
此認證評估設計安全、可靠且具成本效益的ETL管線能力，利用Python與SQL處理來自多元來源的複雜資料，並應用模式管理、可觀察性、治理與效能優化的最佳實務。
考生還需接受實作串流工作負載、工作流程協調、運用 DevOps 與 CI/CD，以及使用 Databricks CLI、REST API 及 Asset Bundles 等工具部署的測試。通過此認證考試的考員可望完成使用 Databricks 及其相關工具的進階資料工程任務。
考試涵蓋：
- 使用 Python 和 SQL 開發資料處理程式碼 – 22%
- 資料擷取與擷取 – 7%
- 資料轉換、清理與品質 – 10%
- 資料共享與聯邦 – 5%
- 監控與警示 – 10%
- 成本與績效優化 – 13%
- 確保資料安全與合規 – 10%
- 資料治理 – 7%
- 除錯與部署 – 10%
- 資料建模 – 6%
