概述
在本課程中,你將學習 BigQuery 的內部結構,以及設計、優化與管理資料倉儲的最佳實務。透過講座、示範與實驗的結合,你將學習 BigQuery 架構,以及如何設計最佳儲存與結構以進行資料擷取與變更。
接著,你學習提升讀取效能、優化查詢、管理工作負載,以及使用日誌與監控工具的技巧。你也會學習不同的定價模型。
最後,你將學習各種方法來保護資料、自動化工作負載,以及使用 BigQuery ML 建立機器學習模型。
為什麼選擇 KORNERSTONE
- 經認證、由實務人員主導的專家證書培訓師,提供高品質的培訓
- 官方訓練資料包含
- 實務、情境導向學習——著重應用,而非僅理論
- 優秀的通過率
涵蓋技能
- 描述 BigQuery 架構基礎。
- 實作儲存與結構設計模式以提升效能。
- 使用 DML 並排程資料傳輸以匯入資料。
- 應用最佳實務以提升閱讀效率並優化查詢效能。
- 管理容量並自動化工作負載。
- 理解模式與反模式的差異,以優化查詢並提升讀取效能。
- 使用日誌與監控工具來了解並優化使用模式。
- 應用安全最佳實務來管理資料與資源。
- 用 BigQuery ML 建立並部署多種機器學習模型類別。
先決條件
我修過大數據與機器學習基礎課程。
目標受眾
資料分析師、資料科學家、資料工程師與開發人員,從事需要高階 BigQuery 內部知識以優化效能的規模工作。
培訓大綱
模組 1:BigQuery 架構基礎
- 簡介
- BigQuery 核心基礎架構
- BigQuery 儲存
- BigQuery 查詢處理
- BigQuery 資料洗牌
- 說明欄位儲存的好處。
- 了解 BigQuery 如何處理資料。
- 探索 BigQuery 洗牌服務的基本知識,以提升查詢效率
- 實驗室與示範
模組 2:儲存與架構優化
- BigQuery 儲存
- 分割與叢集
- 巢狀與重複欄位
- ARRAY 與 STRUCT 語法
- 最佳實務
- 比較不同結構(雪花、非正規化、巢狀與重複欄位)的效能。
- 分割與叢集資料以提升效能。
- 利用巢狀與重複欄位改善結構設計。
- 描述更多最佳實務,如表格與分割區到期
- 實驗室與示範
模組 3:資料擷取
- 資料擷取選項
- 批次擷取
- 串流擷取
- 舊有串流 APIBigQuery
- 儲存寫入 API
- 查詢物質化
- 查詢外部資料來源
- 資料傳輸服務
- 擷取批次與串流資料。
- 查詢外部資料來源。
- 排程資料傳輸。
- 了解如何使用 Storage Write API。
- 實驗室與示範
模組 4:資料變更
- 管理資料倉儲
- 處理緩慢變動的維度(SCD)DML
- 語句
- DML 最佳實務與常見問題
- 撰寫 DML 語句。
- 解決常見的 DML 效能問題與瓶頸。
- 找出資料中緩慢變動的維度(SCD)並進行更新。
中的變更
模組 5:提升閱讀效能
- BigQuery 的快取
- 實體化檢視
- BI 引擎
- 高吞吐量讀取
- BigQuery 儲存讀取 API
- 探索 BigQuery 的快取。
- 建立實體化檢視。
- 使用 BI Engine 加速你的 SQL 查詢。
- 使用 Storage Read API 快速存取 BigQuery 管理的儲存。
- 說明使用外部資料來源的注意事項。
- 實驗室與示範
模組 6:優化與故障排除查詢
- 簡單查詢執行
- SELECTs 與聚合
- JOIN 與偏斜 JOIN
- 篩選與排序
- 函式
- 解讀 BigQuery 執行細節及查詢計畫。
- 透過建議方法優化查詢效能,針對 SQL 陳述式與子句。
- 展示商業用例中函式的最佳實務。
- 實驗室與示範
最佳實務
模組7:工作負載管理與定價
- BigQuery 時段
- 定價模型與預估
- 時段預留
- 成本控制
- 定義 BigQuery 時段。
- 解釋定價模型與價格估算(BigQuery UI、bq dry_run、jobs API)。
- 了解時段預留、承諾與分配。
- 找出控制成本的最佳實務。
- 實驗室與示範
模組8:記錄與監控
- 雲端監控
- BigQuery 管理面板
- 雲端稽核日誌
- INFORMATION_SCHEMA
- 查詢路徑與常見錯誤
- 使用 Cloud Monitoring 查看 BigQuery 指標。
- 探索 BigQuery 管理面板。
- 使用 Cloud Audit 日誌。
- 操作INFORMATION_SCHEMA資料表,為您的 BigQuery 實體獲得洞察。
- 實驗室與示範
模組 9:BigQuery 的安全
- 以 IAM
- 授權檢視
- 以分類
- 加密
- 資料發現與治理
- 探索使用 Data Catalog 的資料發現。
- 討論使用 DLP API 與 Data Catalog 的資料治理。
- 建立 IAM 政策(例如授權檢視)以保護資源。
- 以分類保護資料(例如列級政策)。
- 了解 BigQuery 如何使用加密。
- 實驗室與示範
保護資源
保護資料
模組 10:自動化工作負載
- 排程查詢
- 腳本
- 儲存程序
- 與大數據產品的
- 排程查詢。
- 使用腳本與儲存程序來建立自訂轉換。
- 描述如何將 BigQuery 工作負載與其他 Google Cloud 大數據產品整合。
- 示範
整合
模組 11:BigQuery 中的機器學習
- BigQuery ML
- 如何用 BigQuery ML
- 如何用 BigQuery ML
- 如何用 BigQuery ML
- 用 BigQuery ML 建立
- BigQuery ML 的可
- 描述 BigQuery ML 的一些不同應用。
- 用 BigQuery ML 建構並部署多種機器學習模型類別。
- 使用 AutoML 表格解決高價值的商業問題。
- 實驗室與示範
簡介
做出預測
建構並部署推薦系統
建構並部署需求預測解決方案
並部署需求預測解決方案使用 BigQuery ML
建立並部署時間序列模型
解釋性
日期與地點

考試與認證
無相關證照。本課程及以下課程皆為 Google Data Analytics 學習路徑的一部分:





