開放資料表格式
本書以一張每小時的頁面瀏覽量資料表為例,說明 Iceberg、Delta Lake 與 DuckLake 如何儲存資料表、修改資料表、清理資料表、將資料表登錄到目錄(catalog),以及將資料表轉移到另一種格式,所附範例可在筆記型電腦上離線執行。
適合對象 寫 SQL 與 Python 的資料工程師和分析工程師,現在必須決定 lakehouse 資料表要如何儲存、變更、清理、共享,以及在不同格式之間轉換。
在 Kindle 或任何電子閱讀器上閱讀
此 EPUB 亦可於 Apple Books、Kobo 及多數電子閱讀器上閱讀。
傳送至 Kindle
將本版次的 EPUB 寄送至 繁體中文.
-
核准我們的地址
Amazon 只會從您已核准的地址將內容寄送到 Kindle,且每個寄送服務都須個別核准。請將我們的地址加入您的「已核准的個人文件電子郵件清單」。
books@rollingedition.com開啟 Amazon 的個人文件設定. 在 Amazon 上,路徑為「管理您的內容和裝置」、「偏好設定」、「個人文件設定」。
已傳送。幾分鐘內將會出現在你的 Kindle 書庫中。
如果未能送達,幾乎都是第 1 步的核准設定出了問題:請確認 books@rollingedition.com 已列入你的「已核准的個人文件電子郵件清單」。
您已儲存之書籍的每個新版次,也會送達您的 Kindle。
這不是 Kindle 地址。地址應以 @kindle.com 結尾,可在 Amazon 的個人文件設定中找到。
你今天已寄送 {count} 本書,這是單一帳戶一天的寄送上限。請明天再試。
今日的書籍寄送已達上限。請明日再試。
本書未能寄出。請於數分鐘後再試。
本版次檔案過大,無法以電子郵件寄送。
傳送至 Kindle 功能隨 Labs 提供。
這不是 Kindle 地址。地址應以 @kindle.com 結尾,可在 Amazon 的個人文件設定中找到。
本書未能寄出。請於數分鐘後再試。
或下載 EPUB 檔,並將其拖曳至 Amazon 的 Send to Kindle 頁面。
Kindle is a trademark of Amazon.com, Inc.
目錄
10 章,閱讀時間約 6 小時 32 分鐘,附有39 個範例。
-
1建立第一個資料表:從頭到尾
讀完本章後,你可以將多批資料列提交到資料表、在 DuckDB 中讀回該資料表,並核對總計。
-
2讀取資料表在較早快照時的狀態
本章教你讀取資料表在較早一次提交之後的狀態,三種格式都會涵蓋:列出其提交、依各格式使用的編號讀取其中一次提交,並在不同格式之間比較這些編號而不致混淆。
-
3新增與重新命名欄位而不重寫檔案
讀完本章後,你將能在已有資料的資料表中新增欄位,在 Iceberg 中重新命名欄位而不重寫其資料檔,並能說明為什麼在 Delta Lake 中重新命名欄位等同於重寫整張資料表。
-
4變更分割方式而不重寫舊檔案
本章會變更 Iceberg、Delta Lake 與 DuckLake 中一個資料表的分割方式,並計算變更前後查詢所規劃的檔案數量。
-
5以刪除、更新與合併修正資料列
已提交的資料列同樣可以修改:本章在 Iceberg、Delta Lake 與 DuckLake 中對資料列進行刪除、upsert 與合併,說明每種寫入對檔案造成的影響,並計算一次 pyiceberg upsert 會新增多少個快照。
-
6合併每小時附加寫入所留下的小檔案
本章說明如何計算一個資料表所含的資料檔案數量,如何在 Delta Lake、DuckLake 與 Iceberg 中將這些檔案合併為較少的檔案,以及每次合併後磁碟上留下了什麼。
-
7讓快照過期並移除未被參照的檔案
讀完本章後,你將能在三種格式中各自讓舊快照過期,移除只有這些快照仍列出的資料檔,並證明讀取已過期的快照會失敗。
-
8在目錄中註冊資料表,並從 DuckDB 查詢
在本章中,你會在 SQL 目錄(catalog)中註冊一張 Iceberg 資料表,掛載一個 DuckLake 目錄,依路徑開啟一張 Delta Lake 資料表,並執行一條 DuckDB 陳述式,將 Iceberg 的一張資料表與 DuckLake 的一張資料表進行 join。
-
9在資料表格式之間搬移,並檢查複本
讀完本章後,你將能把一張資料表從一種格式複製到另一種格式,並檢查複本是否保有相同的資料列。
-
10從工具支援的功能選擇格式
讀完本章後,你將能列出所有讀取或寫入你的資料表的工具,量測每項工具在其鎖定版本下支援哪些功能,並依這些量測結果選定格式及其功能。