コードとしてのデータガバナンス
オンライン学習プラットフォームの Iceberg テーブルを対象に、CI で実行されるコードによってデータ基盤をガバナンスする方法を扱う。テスト済みのカタログ、個人データの発見、パイプラインからのリネージ、行フィルタと列マスクとして実施されるアクセスポリシー、データを実際に削除する消去、監査証跡、そして AI が利用するデータのための規則を取り上げる。
対象読者 すでにパイプラインやウェアハウスを構築しており、それらにガバナンスを効かせるよう求められているデータエンジニア、アナリティクスエンジニア、プラットフォームエンジニアを対象とする。SQL、Python、Parquet に習熟しており、ほかのコードと同じようにテストとレビューが行われるガバナンスを求める読者に向けた本である。
Kindleまたは任意の電子書籍リーダーで読む
EPUB は Apple Books、Kobo、そのほとんどの電子書籍リーダーでも利用できる。
Kindleに送る
この版のEPUBを送信します。 日本語.
-
当社のアドレスを承認する
Amazonは、承認済みのアドレスからのものに限ってKindleへ配信する。配信するサービスごとに一度ずつ承認が必要である。当社のアドレスを、承認済みのパーソナルドキュメント用メールアドレスの一覧に追加する。
books@rollingedition.comAmazonのパーソナルドキュメント設定を開く. Amazonでは、「コンテンツと端末の管理」、「環境設定」、「パーソナルドキュメント設定」の順に進む。
送信しました。数分後に Kindle のライブラリに表示されます。
届かない場合、ほとんどは手順1の承認が原因である。books@rollingedition.comが承認済みのパーソナルドキュメント用メールアドレスの一覧に入っているかを確認する。
保存した書籍の新しい版も、同じくKindleに届く。
Kindle のアドレスではない。アドレスは @kindle.com で終わる。Amazon の「パーソナル ドキュメント設定」で確認できる。
本日すでに {count} 冊を送信しており、これは1アカウントが1日に送信できる上限である。明日再度試すこと。
本日送信できる冊数の上限に達した。明日再度試すこと。
書籍を送信できなかった。数分後に再度試すこと。
この版は大きすぎて電子メールで送信できない。
Kindleへの送信はLabsに含まれる。
Kindle のアドレスではない。アドレスは @kindle.com で終わる。Amazon の「パーソナル ドキュメント設定」で確認できる。
書籍を送信できなかった。数分後に再度試すこと。
または、EPUBをダウンロードし、AmazonのSend to Kindleページにドロップする。
Kindle is a trademark of Amazon.com, Inc.
目次
10 章、読了までおよそ12 時間 34 分、108 例を収録。
-
1ガバナンスをエンドツーエンドで実現する
この章を終えると、データプラットフォームの1つのテーブルを、コードによってエンドツーエンドでガバナンスできるようになる。
-
2テスト可能なカタログ
本章を終えると、カタログのメタデータをコードとして管理できるようになる。
-
3個人データの発見
この章を読み終えると、データ基盤上の個人データを自動的に見つけ、その検出でどれだけ見落とすかを示せるようになる。
-
4Lineage from pipelines
By the end of this chapter you can capture lineage from your pipelines as OpenLineage run events, with column lineage parsed from their SQL, including the columns that only join, filter and group.
-
5Access policies as code
By the end of this chapter you can write a data platform's access rules as one policy that denies by default and returns row filters and column masks as data.
-
6クエリへのポリシーの強制
この章を終えると、プラットフォームが実行するすべてのクエリに対してアクセス判定を強制できるようになる。
-
7保持、同意、消去
この章を終えると、保持ルールをレビュー済みの設定として管理し、同意の撤回を次のクエリに反映させ、ある個人のデータが届いたすべてのテーブルからその人を消去できるようになる。
-
8監査と証跡
本章を終えると、すべてのアクセス判定とクエリについて、値を含まず、改変があれば分かるように連鎖させた監査ログを保持できるようになる。
-
9AI向けデータのガバナンス
本章を終えると、AI アシスタントが学習に用いるデータを、プラットフォームにおける他のあらゆる読み取りと同じ規則のもとで構築できるようになる。
-
10CI におけるガバナンス
この章を終えると、2章から7章までのガバナンスチェックを、プルリクエストごとに1つのジョブとして実行できるようになる。