概述

在本課程中,你將學習 BigQuery 的內部結構,以及設計、優化與管理資料倉儲的最佳實務。透過講座、示範與實驗的結合,你將學習 BigQuery 架構,以及如何設計最佳儲存與結構以進行資料擷取與變更。

接著,你學習提升讀取效能、優化查詢、管理工作負載,以及使用日誌與監控工具的技巧。你也會學習不同的定價模型。

最後,你將學習各種方法來保護資料、自動化工作負載,以及使用 BigQuery ML 建立機器學習模型。

為什麼選擇 KORNERSTONE

  • 經認證、由實務人員主導的專家證書培訓師,提供高品質的培訓
  • 官方訓練資料包含
  • 實務、情境導向學習——著重應用,而非僅理論
  • 優秀的通過率

涵蓋技能

  • 描述 BigQuery 架構基礎。
  • 實作儲存與結構設計模式以提升效能。
  • 使用 DML 並排程資料傳輸以匯入資料。
  • 應用最佳實務以提升閱讀效率並優化查詢效能。
  • 管理容量並自動化工作負載。
  • 理解模式與反模式的差異,以優化查詢並提升讀取效能。
  • 使用日誌與監控工具來了解並優化使用模式。
  • 應用安全最佳實務來管理資料與資源。
  • 用 BigQuery ML 建立並部署多種機器學習模型類別。

先決條件

我修過大數據與機器學習基礎課程。

目標受眾

資料分析師、資料科學家、資料工程師與開發人員,從事需要高階 BigQuery 內部知識以優化效能的規模工作。

培訓大綱

模組 1:BigQuery 架構基礎

  • 簡介
  • BigQuery 核心基礎架構
  • BigQuery 儲存
  • BigQuery 查詢處理
  • BigQuery 資料洗牌
  • 說明欄位儲存的好處。
  • 了解 BigQuery 如何處理資料。
  • 探索 BigQuery 洗牌服務的基本知識,以提升查詢效率
  • 實驗室與示範

模組 2:儲存與架構優化

  • BigQuery 儲存
  • 分割與叢集
  • 巢狀與重複欄位
  • ARRAY 與 STRUCT 語法
  • 最佳實務
  • 比較不同結構(雪花、非正規化、巢狀與重複欄位)的效能。
  • 分割與叢集資料以提升效能。
  • 利用巢狀與重複欄位改善結構設計。
  • 描述更多最佳實務,如表格與分割區到期
  • 實驗室與示範

模組 3:資料擷取

  • 資料擷取選項
  • 批次擷取
  • 串流擷取
  • 舊有串流 APIBigQuery
  • 儲存寫入 API
  • 查詢物質化
  • 查詢外部資料來源
  • 資料傳輸服務
  • 擷取批次與串流資料。
  • 查詢外部資料來源。
  • 排程資料傳輸。
  • 了解如何使用 Storage Write API。
  • 實驗室與示範

模組 4:資料變更

  • 管理資料倉儲
  • 中的變更

  • 處理緩慢變動的維度(SCD)DML
  • 語句
  • DML 最佳實務與常見問題
  • 撰寫 DML 語句。
  • 解決常見的 DML 效能問題與瓶頸。
  • 找出資料中緩慢變動的維度(SCD)並進行更新。

模組 5:提升閱讀效能

  • BigQuery 的快取
  • 實體化檢視
  • BI 引擎
  • 高吞吐量讀取
  • BigQuery 儲存讀取 API
  • 探索 BigQuery 的快取。
  • 建立實體化檢視。
  • 使用 BI Engine 加速你的 SQL 查詢。
  • 使用 Storage Read API 快速存取 BigQuery 管理的儲存。
  • 說明使用外部資料來源的注意事項。
  • 實驗室與示範

模組 6:優化與故障排除查詢

  • 簡單查詢執行
  • SELECTs 與聚合
  • JOIN 與偏斜 JOIN
  • 篩選與排序
  • 函式
  • 最佳實務

  • 解讀 BigQuery 執行細節及查詢計畫。
  • 透過建議方法優化查詢效能,針對 SQL 陳述式與子句。
  • 展示商業用例中函式的最佳實務。
  • 實驗室與示範

模組7:工作負載管理與定價

  • BigQuery 時段
  • 定價模型與預估
  • 時段預留
  • 成本控制
  • 定義 BigQuery 時段。
  • 解釋定價模型與價格估算(BigQuery UI、bq dry_run、jobs API)。
  • 了解時段預留、承諾與分配。
  • 找出控制成本的最佳實務。
  • 實驗室與示範

模組8:記錄與監控

  • 雲端監控
  • BigQuery 管理面板
  • 雲端稽核日誌
  • INFORMATION_SCHEMA
  • 查詢路徑與常見錯誤
  • 使用 Cloud Monitoring 查看 BigQuery 指標。
  • 探索 BigQuery 管理面板。
  • 使用 Cloud Audit 日誌。
  • 操作INFORMATION_SCHEMA資料表,為您的 BigQuery 實體獲得洞察。
  • 實驗室與示範

模組 9:BigQuery 的安全

  • 以 IAM
  • 保護資源

  • 授權檢視
  • 以分類
  • 保護資料

  • 加密
  • 資料發現與治理
  • 探索使用 Data Catalog 的資料發現。
  • 討論使用 DLP API 與 Data Catalog 的資料治理。
  • 建立 IAM 政策(例如授權檢視)以保護資源。
  • 以分類保護資料(例如列級政策)。
  • 了解 BigQuery 如何使用加密。
  • 實驗室與示範

模組 10:自動化工作負載

  • 排程查詢
  • 腳本
  • 儲存程序
  • 與大數據產品的
  • 整合

  • 排程查詢。
  • 使用腳本與儲存程序來建立自訂轉換。
  • 描述如何將 BigQuery 工作負載與其他 Google Cloud 大數據產品整合。
  • 示範

模組 11:BigQuery 中的機器學習

  • BigQuery ML
  • 簡介

  • 如何用 BigQuery ML
  • 做出預測

  • 如何用 BigQuery ML
  • 建構並部署推薦系統

  • 如何用 BigQuery ML
  • 建構並部署需求預測解決方案

  • 用 BigQuery ML 建立
  • 並部署需求預測解決方案使用 BigQuery ML
    建立並部署時間序列模型

  • BigQuery ML 的可
  • 解釋性

  • 描述 BigQuery ML 的一些不同應用。
  • 用 BigQuery ML 建構並部署多種機器學習模型類別。
  • 使用 AutoML 表格解決高價值的商業問題。
  • 實驗室與示範

讓我們為你努力

找不到合適的日期? 需要訓練整個團隊嗎? 想找折扣嗎?
今天就與我們的培訓顧問聯繫。

日期與地點

考試與認證

無相關證照。本課程及以下課程皆為 Google Data Analytics 學習路徑的一部分: