Cover of Open Table Formats, edition 2026.11.10, code 27Y3-9R88 Open Table Formats 27Y3-9R88 10 editions since Nov 2026 Rolling Edition 2026.11.10

開放資料表格式

版次 2026.11.10 範例於 2026年11 月 20 通過測試 39 個範例中有 39 個通過 變更內容

由 AI 翻譯。經人工以英文驗證。 我們如何製作書籍

譯自英文書,版次 2026.11.10。 閱讀原文

本書以一張每小時的頁面瀏覽量資料表為例,說明 Iceberg、Delta Lake 與 DuckLake 如何儲存資料表、修改資料表、清理資料表、將資料表登錄到目錄(catalog),以及將資料表轉移到另一種格式,所附範例可在筆記型電腦上離線執行。

適合對象 寫 SQL 與 Python 的資料工程師和分析工程師,現在必須決定 lakehouse 資料表要如何儲存、變更、清理、共享,以及在不同格式之間轉換。

開始閱讀
版次歷史自 2026年十一月 以來的 10 個版次每個版次及其變動內容
2026.11.12026.11.10
2026.11.10 · 2026年11 月 21散文修訂、新內容32 節 已變更

目錄

10 章,閱讀時間約 6 小時 32 分鐘,附有39 個範例。

  1. 1建立第一個資料表:從頭到尾

    讀完本章後,你可以將多批資料列提交到資料表、在 DuckDB 中讀回該資料表,並核對總計。

  2. 2讀取資料表在較早快照時的狀態

    本章教你讀取資料表在較早一次提交之後的狀態,三種格式都會涵蓋:列出其提交、依各格式使用的編號讀取其中一次提交,並在不同格式之間比較這些編號而不致混淆。

  3. 3新增與重新命名欄位而不重寫檔案

    讀完本章後,你將能在已有資料的資料表中新增欄位,在 Iceberg 中重新命名欄位而不重寫其資料檔,並能說明為什麼在 Delta Lake 中重新命名欄位等同於重寫整張資料表。

  4. 4變更分割方式而不重寫舊檔案

    本章會變更 Iceberg、Delta Lake 與 DuckLake 中一個資料表的分割方式,並計算變更前後查詢所規劃的檔案數量。

  5. 5以刪除、更新與合併修正資料列

    已提交的資料列同樣可以修改:本章在 Iceberg、Delta Lake 與 DuckLake 中對資料列進行刪除、upsert 與合併,說明每種寫入對檔案造成的影響,並計算一次 pyiceberg upsert 會新增多少個快照。

  6. 6合併每小時附加寫入所留下的小檔案

    本章說明如何計算一個資料表所含的資料檔案數量,如何在 Delta Lake、DuckLake 與 Iceberg 中將這些檔案合併為較少的檔案,以及每次合併後磁碟上留下了什麼。

  7. 7讓快照過期並移除未被參照的檔案

    讀完本章後,你將能在三種格式中各自讓舊快照過期,移除只有這些快照仍列出的資料檔,並證明讀取已過期的快照會失敗。

  8. 8在目錄中註冊資料表,並從 DuckDB 查詢

    在本章中,你會在 SQL 目錄(catalog)中註冊一張 Iceberg 資料表,掛載一個 DuckLake 目錄,依路徑開啟一張 Delta Lake 資料表,並執行一條 DuckDB 陳述式,將 Iceberg 的一張資料表與 DuckLake 的一張資料表進行 join。

  9. 9在資料表格式之間搬移,並檢查複本

    讀完本章後,你將能把一張資料表從一種格式複製到另一種格式,並檢查複本是否保有相同的資料列。

  10. 10從工具支援的功能選擇格式

    讀完本章後,你將能列出所有讀取或寫入你的資料表的工具,量測每項工具在其鎖定版本下支援哪些功能,並依這些量測結果選定格式及其功能。

引用本節

格式

各種格式皆引用英文原書,本譯本即依循該原書。

每種格式都會標示本版。其連結會開啟目前版次,節標題會說明該節內文最後一次變動的時間。存取日期與擷取日期即為你開啟此頁的當日。