概述
本課程是學習使用 Databricks 進行 Apache Spark 程式設計的合適入門。
以下我們將介紹本課程中包含的四個四小時模組。
Apache Spark 簡介
本課程提供 Apache Spark 的基本知識，重點在於其分散式架構及大規模資料處理的實務應用。參與者將探索程式設計框架，學習 Spark DataFrame API，並培養使用 Python 為基礎的 Spark 工作流程進行資料讀取、撰寫與轉換的技能。
使用 Apache Spark 開發應用程式
在這門實作課程中，掌握使用 Apache Spark 的可擴展資料處理。學習如何建立高效的 ETL 管線、執行進階分析，並使用 Spark 的 DataFrame API 優化分散式資料轉換。探索分組、聚合、連接、設定操作及視窗函式。處理陣列、映射與結構等複雜資料型態，並應用最佳效能優化實務。
使用 Apache Spark 進行串流處理與分析
在本課程中學習使用 Apache Spark 進行串流處理與分析的基本知識。深入了解串流處理基礎，並使用 Spark 結構化串流 API 開發應用程式。探索進階技術，如串流聚合與視窗分析，以有效處理即時資料。本課程將裝備你打造可擴展且容錯的動態資料串流應用技能。
在 Databricks 上監控與優化 Apache Spark 工作負載
本課程探討 Lakehouse 架構與 Medallion 設計，以實現可擴展的資料工作流程，重點在於 Unity Catalog 用於安全的資料治理、存取控制與血統追蹤。課程內容包括使用 Delta Lake 建立可靠且符合 ACID 規範的管線。您將學習 Spark 優化技術，如分割、快取與查詢調整，並學習效能監控、故障排除及最佳實務，以有效解決實際問題。
為什麼選擇 KORNERSTONE
- 經認證、由實務人員主導的專家證書培訓師，提供高品質的培訓
- 官方訓練資料包含
- 實務、情境導向學習——著重應用，而非僅理論
- 優秀的通過率
涵蓋技能
- Apache Spark 簡介
- 使用 Apache Spark 開發應用程式
- 使用 Apache Spark 進行串流處理與分析
- 在 Databricks 上監控與優化 Apache Spark 工作負載
先決條件
- 基礎程式設計知識
- 對 Python 的熟悉度
- 基本的 SQL 查詢知識（選擇、加入、分組）
- 熟悉資料處理概念
- 不需要先前的 Spark 或 Databricks 經驗
