Cover of Open Table Formats, edition 2026.11.10, code 27Y3-9R88 Open Table Formats 27Y3-9R88 10 editions since Nov 2026 Rolling Edition 2026.11.10

オープンテーブルフォーマット

第2026.11.10版 2026年11月20日時点で例が通過 39 例中 39 例が合格 変更点

AIによる翻訳。英語版は人による検証済みである。 当社の書籍の作り方

英語版の書籍(版2026.11.10)から翻訳した。 原文を読む

Iceberg、Delta Lake、DuckLake が、1 時間ごとのページビューを記録する一つのテーブルを、どのように格納し、変更し、整理し、カタログに登録し、別の形式へ移行するかを、ノート PC 上でオフラインで動作する例とともに解説する。

対象読者 SQL と Python を書き、レイクハウスのテーブルをどのように保存し、変更し、クリーンアップし、共有し、形式間で移行するかを決める立場になったデータエンジニアとアナリティクスエンジニアに向けた本である。

読み始める
版の履歴2026年11月以降10 版各版と、その変更点
2026.11.12026.11.10
2026.11.10 · 2026年11月21日文章の修正、新しいコンテンツ32 節 節が変更された

目次

10 章、読了までおよそ5 時間 59 分、39 例を収録。

  1. 1最初のテーブルを端から端まで作る

    この章を終えると、行のバッチをテーブルにコミットし、そのテーブルを DuckDB で読み戻し、合計値を確認できるようになる。

  2. 2以前のスナップショットの時点のテーブルを読む

    この章では、以前のコミットの後のテーブルを、三つのフォーマットのそれぞれで読む方法を学ぶ。

  3. 3ファイルを書き換えずに列を追加・名前変更する

    この章を終えると、すでにデータを保持しているテーブルに列を追加できる。

  4. 4古いファイルを書き換えずにパーティショニングを変更する

    本章では、Iceberg、Delta Lake、DuckLake のテーブルでパーティショニングを変更し、変更の前後でクエリが計画するファイルの数を数える。

  5. 5削除・更新・マージで行を訂正する

    すでにコミットされた行も変更できる。

  6. 6毎時の追記が残す小さなファイルを圧縮する

    この章では、テーブルが保持するデータファイルの数を数える方法、Delta Lake、DuckLake、Iceberg でそれらをより少ないファイルにまとめる方法、そして各マージがディスク上に何を残すかを説明する。

  7. 7スナップショットの失効と未参照ファイルの削除

    この章を終えると、3 つの形式のそれぞれで古いスナップショットを失効させ、それらのスナップショットだけが参照していたデータファイルを削除し、失効したスナップショットの読み取りが失敗することを示せるようになる。

  8. 8テーブルをカタログに登録し、DuckDB から問い合わせる

    この章では、Iceberg テーブルを SQL カタログに登録し、DuckLake カタログをアタッチし、Delta Lake テーブルをそのパスで開き、Iceberg のテーブルと DuckLake のテーブルを結合する DuckDB の文を 1 つ実行する。

  9. 9テーブルをフォーマット間で移し、コピーを検証する

    この章を終えると、あるテーブルを別のフォーマットへコピーし、コピーが同じ行を保持していることを確認できるようになる。

  10. 10ツールが対応する機能からフォーマットを選ぶ

    この章を読み終えると、テーブルを読み書きするすべてのツールを一覧にし、各ツールが固定されたバージョンで何に対応しているかを測定し、その測定結果からフォーマットとその機能を選べるようになる。

この節を引用する

形式

いずれの形式も、本訳書が従う英語版の書籍を出典として示す。

いずれの形式もこの版を明示している。そのリンクは現行版を開き、節の見出しには本文が最後に変更された日付が示される。アクセス日と取得日は、これを開いた日である。