Cover of Open Table Formats, edition 2026.11.10, code 27Y3-9R88 Open Table Formats 27Y3-9R88 10 editions since Nov 2026 Rolling Edition 2026.11.10

开放表格式

版次 2026.11.10 示例于 2026年11月20日 通过 39个示例中有39个通过 变化内容

AI 翻译。由人工以英文核验。 我们如何制作图书

译自英文版图书,版次 2026.11.10。 阅读原文

本书以一张按小时记录的页面浏览量(pageviews)表为例,讲解 Iceberg、Delta Lake 和 DuckLake 如何存储表、修改表、清理表、在目录(catalog)中注册表,以及将表迁移到另一种格式,书中的示例均可在笔记本电脑上离线运行。

适合谁 本书写给使用 SQL 和 Python 的数据工程师与分析工程师,他们现在需要决定湖仓表如何存储、变更、清理、共享,以及如何在不同格式之间迁移。

开始阅读
版次历史自 2026年十一月 以来的 10个版次每个版次及其变更内容
2026.11.12026.11.10
2026.11.10 · 2026年11月21日文字修订,新内容32节已更改

目录

10章,阅读约需 6小时 24分钟,包含 39个示例。

  1. 1构建第一张表:从头到尾

    读完本章,你可以把成批的行提交到一张表中,在 DuckDB 中读回这张表,并核对总数。

  2. 2读取表在较早快照时的状态

    本章教你读取表在较早一次提交之后的状态,涵盖三种格式:列出该表的提交,按各格式使用的编号读取其中一次提交,并在不同格式之间比较这些编号而不致混淆。

  3. 3添加和重命名列而无需重写文件

    读完本章,你将能够为已有数据的表添加一列,在 Iceberg 中重命名一列而无需重写其数据文件,并能说明为什么在 Delta Lake 中重命名列等于重写整张表。

  4. 4在不重写旧文件的情况下更改分区

    本章在 Iceberg、Delta Lake 和 DuckLake 中更改一张表的分区方式,并统计更改前后一次查询计划读取的文件数。

  5. 5通过删除、更新和合并来修正数据行

    已经提交的数据行同样可以修改:本章在 Iceberg、Delta Lake 和 DuckLake 中对这些行执行删除、upsert 和合并,说明每种写入对文件产生的影响,并统计一次 pyiceberg upsert 会新增多少个快照。

  6. 6合并每小时追加所留下的小文件

    本章说明如何统计一张表所含的数据文件数量,如何在 Delta Lake、DuckLake 和 Iceberg 中将这些文件合并为数量更少的文件,以及每次合并后磁盘上留下了什么。

  7. 7使快照过期并删除未被引用的文件

    学完本章后,你可以在三种格式中分别使旧快照过期,删除只有这些快照还列出的数据文件,并证明读取已过期的快照会失败。

  8. 8Register tables in a catalog and query them from DuckDB

    In this chapter you register an Iceberg table in a SQL catalog, attach a DuckLake catalog, open a Delta Lake table by its path, and run one DuckDB statement that joins a table from Iceberg with a table from DuckLake.

  9. 9在不同格式之间迁移表并核对副本

    读完本章后,你将能够把一张表从一种格式复制到另一种格式,并核对副本包含相同的行。

  10. 10根据工具的支持情况选择格式

    读完本章后,你可以列出所有读取或写入你的表的工具,测量每个工具在其固定版本下的支持情况,并根据这些测量结果选择格式及其特性。

引用本节

格式

每种格式均引用英文原书,本译本以其为准。

每种格式都会注明该版次。其链接会打开当前版次,节标题处会说明该节文本最后一次修改的时间。访问日期和检索日期即为您打开此页的当天。