开放表格式
本书以一张按小时记录的页面浏览量(pageviews)表为例,讲解 Iceberg、Delta Lake 和 DuckLake 如何存储表、修改表、清理表、在目录(catalog)中注册表,以及将表迁移到另一种格式,书中的示例均可在笔记本电脑上离线运行。
适合谁 本书写给使用 SQL 和 Python 的数据工程师与分析工程师,他们现在需要决定湖仓表如何存储、变更、清理、共享,以及如何在不同格式之间迁移。
在 Kindle 或任意电子阅读器上阅读
EPUB 格式也适用于 Apple Books、Kobo 及大多数电子阅读器。
发送到 Kindle
将本版次的 EPUB 发送至 简体中文.
-
批准我们的地址
亚马逊仅向您已批准的地址所发送的内容投递至 Kindle,且每项邮件服务须单独批准。请将我们的地址添加到您的已批准个人文档电子邮件列表中。
books@rollingedition.com打开亚马逊的个人文档设置. 在亚马逊上,该选项位于“管理您的内容和设备”、“偏好设置”、“个人文档设置”下。
已发送。几分钟后将出现在您的 Kindle 书库中。
如果未能送达,几乎总是第 1 步的批准设置有问题:请检查 books@rollingedition.com 是否已列入您的已批准个人文档电子邮件列表。
您已保存图书的每个新版次也将发送到您的 Kindle。
这不是 Kindle 地址。地址应以 @kindle.com 结尾,可在亚马逊的“个人文档设置”中找到。
你今天已发送{count}本图书,这是单个账户一天可发送的最大数量。请明天再试。
今日可发送的书籍已达上限。请明天再试。
图书未能发送,请几分钟后重试。
本版次体积过大,无法通过电子邮件发送。
发送到 Kindle 功能随 Labs 提供。
这不是 Kindle 地址。地址应以 @kindle.com 结尾,可在亚马逊的“个人文档设置”中找到。
图书未能发送,请几分钟后重试。
或者下载 EPUB 文件,并将其拖放到亚马逊的“发送至 Kindle”页面。
Kindle is a trademark of Amazon.com, Inc.
目录
10章,阅读约需 6小时 24分钟,包含 39个示例。
-
1构建第一张表:从头到尾
读完本章,你可以把成批的行提交到一张表中,在 DuckDB 中读回这张表,并核对总数。
-
2读取表在较早快照时的状态
本章教你读取表在较早一次提交之后的状态,涵盖三种格式:列出该表的提交,按各格式使用的编号读取其中一次提交,并在不同格式之间比较这些编号而不致混淆。
-
3添加和重命名列而无需重写文件
读完本章,你将能够为已有数据的表添加一列,在 Iceberg 中重命名一列而无需重写其数据文件,并能说明为什么在 Delta Lake 中重命名列等于重写整张表。
-
4在不重写旧文件的情况下更改分区
本章在 Iceberg、Delta Lake 和 DuckLake 中更改一张表的分区方式,并统计更改前后一次查询计划读取的文件数。
-
5通过删除、更新和合并来修正数据行
已经提交的数据行同样可以修改:本章在 Iceberg、Delta Lake 和 DuckLake 中对这些行执行删除、upsert 和合并,说明每种写入对文件产生的影响,并统计一次 pyiceberg upsert 会新增多少个快照。
-
6合并每小时追加所留下的小文件
本章说明如何统计一张表所含的数据文件数量,如何在 Delta Lake、DuckLake 和 Iceberg 中将这些文件合并为数量更少的文件,以及每次合并后磁盘上留下了什么。
-
7使快照过期并删除未被引用的文件
学完本章后,你可以在三种格式中分别使旧快照过期,删除只有这些快照还列出的数据文件,并证明读取已过期的快照会失败。
-
8Register tables in a catalog and query them from DuckDB
In this chapter you register an Iceberg table in a SQL catalog, attach a DuckLake catalog, open a Delta Lake table by its path, and run one DuckDB statement that joins a table from Iceberg with a table from DuckLake.
-
9在不同格式之间迁移表并核对副本
读完本章后,你将能够把一张表从一种格式复制到另一种格式,并核对副本包含相同的行。
-
10根据工具的支持情况选择格式
读完本章后,你可以列出所有读取或写入你的表的工具,测量每个工具在其固定版本下的支持情况,并根据这些测量结果选择格式及其特性。