数据治理即代码
用在 CI 中运行的代码治理数据平台:经过测试的目录、发现个人数据、从数据管道得到的血缘、以行过滤器和列掩码实施的访问策略、真正删除数据的擦除、审计追踪,以及针对 AI 所用数据的规则,示例基于一个在线学习平台的 Iceberg 表。
适合谁 本书面向数据工程师、分析工程师和平台工程师:他们已经在构建数据管道和数据仓库,现在被要求对这些系统实施治理。读者应熟悉 SQL、Python 和 Parquet,并希望治理能像其他代码一样接受测试和评审。
在 Kindle 或任意电子阅读器上阅读
EPUB 格式也适用于 Apple Books、Kobo 及大多数电子阅读器。
发送到 Kindle
将本版次的 EPUB 发送至 简体中文.
-
批准我们的地址
亚马逊仅向您已批准的地址所发送的内容投递至 Kindle,且每项邮件服务须单独批准。请将我们的地址添加到您的已批准个人文档电子邮件列表中。
books@rollingedition.com打开亚马逊的个人文档设置. 在亚马逊上,该选项位于“管理您的内容和设备”、“偏好设置”、“个人文档设置”下。
已发送。几分钟后将出现在您的 Kindle 书库中。
如果未能送达,几乎总是第 1 步的批准设置有问题:请检查 books@rollingedition.com 是否已列入您的已批准个人文档电子邮件列表。
您已保存图书的每个新版次也将发送到您的 Kindle。
这不是 Kindle 地址。地址应以 @kindle.com 结尾,可在亚马逊的“个人文档设置”中找到。
你今天已发送{count}本图书,这是单个账户一天可发送的最大数量。请明天再试。
今日可发送的书籍已达上限。请明天再试。
图书未能发送,请几分钟后重试。
本版次体积过大,无法通过电子邮件发送。
发送到 Kindle 功能随 Labs 提供。
这不是 Kindle 地址。地址应以 @kindle.com 结尾,可在亚马逊的“个人文档设置”中找到。
图书未能发送,请几分钟后重试。
或者下载 EPUB 文件,并将其拖放到亚马逊的“发送至 Kindle”页面。
Kindle is a trademark of Amazon.com, Inc.
目录
10章,阅读约需 14小时 47分钟,包含 108个示例。
-
1端到端的数据治理
读完本章,你可以用代码对数据平台中的一张表做端到端的治理。
-
2可测试的目录
读完本章,你就能把目录的元数据当作代码来维护。
-
3查找个人数据
读完本章,你将能够在数据平台上自动查找个人数据,并说明漏掉了多少。
-
4Lineage from pipelines
By the end of this chapter you can capture lineage from your pipelines as OpenLineage run events, with column lineage parsed from their SQL, including the columns that only join, filter and group.
-
5Access policies as code
By the end of this chapter you can write a data platform's access rules as one policy that denies by default and returns row filters and column masks as data.
-
6在查询上执行策略
学完本章,你将能够对平台运行的每一条查询执行访问决策。
-
7保留期限、同意与删除
学完本章,你将能把保留规则作为经过评审的配置来维护,让撤回同意在下一次查询时就生效,并把一个人的数据从它流经的每张表中删除。
-
8审计与证据
读完本章,你将能够为每一次访问决策和每一次查询保存一份审计日志:日志中不含任何值,并且做成链式结构,使任何修改都会暴露。
-
9AI 数据治理
读完本章,你将能够在与平台其他所有读取操作相同的规则下,构建 AI 助手学习所用的数据。
-
10CI 中的数据治理
读完本章,你可以把第 2 章到第 7 章的治理检查合并为一个作业,在每个拉取请求上运行,并且只评判该拉取请求所改动的内容。