資料治理即程式碼
以在 CI 中執行的程式碼治理資料平台:經過測試的資料目錄、找出個人資料、從管線取得資料血緣、以列篩選與欄位遮罩強制執行的存取政策、真正移除資料的抹除機制、稽核軌跡,以及供 AI 使用之資料的規則,並以一個線上學習平台的 Iceberg 資料表為例。
適合對象 本書適合已經建置資料管線與資料倉儲、現在被要求納入治理的資料工程師、分析工程師與平台工程師:讀者熟悉 SQL、Python 與 Parquet,並希望治理工作能像其他程式碼一樣經過測試與審查。
在 Kindle 或任何電子閱讀器上閱讀
此 EPUB 亦可於 Apple Books、Kobo 及多數電子閱讀器上閱讀。
傳送至 Kindle
將本版次的 EPUB 寄送至 繁體中文.
-
核准我們的地址
Amazon 只會從您已核准的地址將內容寄送到 Kindle,且每個寄送服務都須個別核准。請將我們的地址加入您的「已核准的個人文件電子郵件清單」。
books@rollingedition.com開啟 Amazon 的個人文件設定. 在 Amazon 上,路徑為「管理您的內容和裝置」、「偏好設定」、「個人文件設定」。
已傳送。幾分鐘內將會出現在你的 Kindle 書庫中。
如果未能送達,幾乎都是第 1 步的核准設定出了問題:請確認 books@rollingedition.com 已列入你的「已核准的個人文件電子郵件清單」。
您已儲存之書籍的每個新版次,也會送達您的 Kindle。
這不是 Kindle 地址。地址應以 @kindle.com 結尾,可在 Amazon 的個人文件設定中找到。
你今天已寄送 {count} 本書,這是單一帳戶一天的寄送上限。請明天再試。
今日的書籍寄送已達上限。請明日再試。
本書未能寄出。請於數分鐘後再試。
本版次檔案過大,無法以電子郵件寄送。
傳送至 Kindle 功能隨 Labs 提供。
這不是 Kindle 地址。地址應以 @kindle.com 結尾,可在 Amazon 的個人文件設定中找到。
本書未能寄出。請於數分鐘後再試。
或下載 EPUB 檔,並將其拖曳至 Amazon 的 Send to Kindle 頁面。
Kindle is a trademark of Amazon.com, Inc.
目錄
10 章,閱讀時間約 15 小時 50 分鐘,附有108 個範例。
-
1端到端的資料治理
讀完本章,你就能用程式碼,從頭到尾治理資料平台上的一張資料表。
-
2可測試的目錄
讀完本章,你就能把目錄的中繼資料當成程式碼來維護。
-
3找出個人資料
讀完本章後,你能在資料平台上自動找出個人資料,並說明漏掉了多少。
-
4Lineage from pipelines
By the end of this chapter you can capture lineage from your pipelines as OpenLineage run events, with column lineage parsed from their SQL, including the columns that only join, filter and group.
-
5Access policies as code
By the end of this chapter you can write a data platform's access rules as one policy that denies by default and returns row filters and column masks as data.
-
6對查詢強制執行政策
讀完本章,你將能對平台執行的每一個查詢強制執行存取決策。
-
7保存期限、同意與刪除
讀完本章後,你將能把保存期限規則維護為經過審查的設定、讓撤回同意影響下一次查詢,並從個人資料流經的每一個資料表中刪除該人的資料。
-
8稽核與證據
讀完本章後,你將能為每一項存取決策與查詢建立一份稽核日誌,日誌中不含任何值,並以雜湊鏈串接,使任何編輯都會被察覺。
-
9為 AI 治理資料
讀完本章,你將能在與平台其他所有讀取相同的規則下,建置 AI 助理用來學習的資料。
-
10CI 中的資料治理
讀完本章後,你可以把第 2 章到第 7 章的治理檢查合併成一個工作,在每個 pull request 上執行,並且只評估該 pull request 所更動的內容。