オープンテーブルフォーマット
Iceberg、Delta Lake、DuckLake が、1 時間ごとのページビューを記録する一つのテーブルを、どのように格納し、変更し、整理し、カタログに登録し、別の形式へ移行するかを、ノート PC 上でオフラインで動作する例とともに解説する。
対象読者 SQL と Python を書き、レイクハウスのテーブルをどのように保存し、変更し、クリーンアップし、共有し、形式間で移行するかを決める立場になったデータエンジニアとアナリティクスエンジニアに向けた本である。
Kindleまたは任意の電子書籍リーダーで読む
EPUB は Apple Books、Kobo、そのほとんどの電子書籍リーダーでも利用できる。
Kindleに送る
この版のEPUBを送信します。 日本語.
-
当社のアドレスを承認する
Amazonは、承認済みのアドレスからのものに限ってKindleへ配信する。配信するサービスごとに一度ずつ承認が必要である。当社のアドレスを、承認済みのパーソナルドキュメント用メールアドレスの一覧に追加する。
books@rollingedition.comAmazonのパーソナルドキュメント設定を開く. Amazonでは、「コンテンツと端末の管理」、「環境設定」、「パーソナルドキュメント設定」の順に進む。
送信しました。数分後に Kindle のライブラリに表示されます。
届かない場合、ほとんどは手順1の承認が原因である。books@rollingedition.comが承認済みのパーソナルドキュメント用メールアドレスの一覧に入っているかを確認する。
保存した書籍の新しい版も、同じくKindleに届く。
Kindle のアドレスではない。アドレスは @kindle.com で終わる。Amazon の「パーソナル ドキュメント設定」で確認できる。
本日すでに {count} 冊を送信しており、これは1アカウントが1日に送信できる上限である。明日再度試すこと。
本日送信できる冊数の上限に達した。明日再度試すこと。
書籍を送信できなかった。数分後に再度試すこと。
この版は大きすぎて電子メールで送信できない。
Kindleへの送信はLabsに含まれる。
Kindle のアドレスではない。アドレスは @kindle.com で終わる。Amazon の「パーソナル ドキュメント設定」で確認できる。
書籍を送信できなかった。数分後に再度試すこと。
または、EPUBをダウンロードし、AmazonのSend to Kindleページにドロップする。
Kindle is a trademark of Amazon.com, Inc.
目次
10 章、読了までおよそ5 時間 59 分、39 例を収録。
-
1最初のテーブルを端から端まで作る
この章を終えると、行のバッチをテーブルにコミットし、そのテーブルを DuckDB で読み戻し、合計値を確認できるようになる。
-
2以前のスナップショットの時点のテーブルを読む
この章では、以前のコミットの後のテーブルを、三つのフォーマットのそれぞれで読む方法を学ぶ。
-
3ファイルを書き換えずに列を追加・名前変更する
この章を終えると、すでにデータを保持しているテーブルに列を追加できる。
-
4古いファイルを書き換えずにパーティショニングを変更する
本章では、Iceberg、Delta Lake、DuckLake のテーブルでパーティショニングを変更し、変更の前後でクエリが計画するファイルの数を数える。
-
5削除・更新・マージで行を訂正する
すでにコミットされた行も変更できる。
-
6毎時の追記が残す小さなファイルを圧縮する
この章では、テーブルが保持するデータファイルの数を数える方法、Delta Lake、DuckLake、Iceberg でそれらをより少ないファイルにまとめる方法、そして各マージがディスク上に何を残すかを説明する。
-
7スナップショットの失効と未参照ファイルの削除
この章を終えると、3 つの形式のそれぞれで古いスナップショットを失効させ、それらのスナップショットだけが参照していたデータファイルを削除し、失効したスナップショットの読み取りが失敗することを示せるようになる。
-
8テーブルをカタログに登録し、DuckDB から問い合わせる
この章では、Iceberg テーブルを SQL カタログに登録し、DuckLake カタログをアタッチし、Delta Lake テーブルをそのパスで開き、Iceberg のテーブルと DuckLake のテーブルを結合する DuckDB の文を 1 つ実行する。
-
9テーブルをフォーマット間で移し、コピーを検証する
この章を終えると、あるテーブルを別のフォーマットへコピーし、コピーが同じ行を保持していることを確認できるようになる。
-
10ツールが対応する機能からフォーマットを選ぶ
この章を読み終えると、テーブルを読み書きするすべてのツールを一覧にし、各ツールが固定されたバージョンで何に対応しているかを測定し、その測定結果からフォーマットとその機能を選べるようになる。