코드로서의 데이터 거버넌스
AI로 번역함. 영어 원문을 사람이 검증함. 우리가 책을 만드는 방식
영어판 2026.11.31판을 번역한 것이다. 원문 읽기
CI에서 실행되는 코드로 데이터 플랫폼을 거버넌스하는 방법을 다룬다. 온라인 학습 플랫폼의 Iceberg 테이블을 예로 들어 테스트된 카탈로그, 개인 데이터 찾기, 파이프라인에서 얻는 계보, 행 필터와 열 마스크로 적용하는 접근 정책, 데이터를 실제로 제거하는 삭제, 감사 추적, AI가 사용하는 데이터에 대한 규칙을 설명한다.
대상 독자 이미 파이프라인과 웨어하우스를 구축하고 있으며 이를 거버넌스 체계 아래에 두라는 요청을 받은 데이터, 분석, 플랫폼 엔지니어를 위한 책이다. SQL, Python, Parquet에 익숙하고, 나머지 코드와 마찬가지로 테스트와 리뷰를 거치는 거버넌스를 찾는 독자를 대상으로 한다.
Kindle 또는 모든 전자책 리더기에서 읽는다
EPUB은 Apple Books, Kobo 및 대부분의 전자책 단말기에서도 사용할 수 있다.
Kindle로 보내기
이 판의 EPUB을 보냅니다 한국어.
-
우리 주소 승인하기
아마존은 승인된 주소에서 보낸 파일만 킨들로 전달한다. 파일을 이메일로 보내는 서비스마다 한 번씩 승인해야 한다. 우리 주소를 승인된 개인 문서 이메일 목록에 추가한다.
books@rollingedition.comAmazon 개인 문서 설정 열기. Amazon에서는 콘텐츠 및 기기 관리, 환경설정, 개인 문서 설정에 있다.
보냈다. 몇 분 안에 Kindle 서재에 나타난다.
도서가 도착하지 않으면 대부분 1단계의 승인 문제이다. books@rollingedition.com가 승인된 개인 문서 이메일 목록에 있는지 확인한다.
저장한 책의 새 판은 Kindle로도 전송된다.
Kindle 주소가 아니다. 주소는 @kindle.com으로 끝나며, Amazon의 개인 문서 설정에서 찾을 수 있다.
오늘 {count}권의 책을 보냈으며, 이는 한 계정이 하루에 받을 수 있는 최대치입니다. 내일 다시 시도하세요.
오늘 보낼 수 있는 도서는 모두 보냈다. 내일 다시 시도하라.
책을 보내지 못했다. 몇 분 후 다시 시도한다.
이 판은 용량이 커서 이메일로 보낼 수 없다.
Kindle로 보내기는 Labs와 함께 제공된다.
Kindle 주소가 아니다. 주소는 @kindle.com으로 끝나며, Amazon의 개인 문서 설정에서 찾을 수 있다.
책을 보내지 못했다. 몇 분 후 다시 시도한다.
또는 EPUB을 내려받아 Amazon의 Send to Kindle 페이지에 끌어다 놓는다.
Kindle is a trademark of Amazon.com, Inc.
목차
10장, 읽는 데 약 11시간 34분, 108개 예제 포함.
-
1Governance end to end
By the end of this chapter you can govern one table of a data platform with code, end to end.
-
2테스트할 수 있는 카탈로그
이 장을 마치면 카탈로그의 메타데이터를 코드로 관리할 수 있다. 모든 테이블에는 소유자와 도메인이, 모든 컬럼에는 설명과 분류가 붙으며, 이 내용은 팀이 검토하는 파일에 담긴다. 이 파일은 이름이 바뀌어도 아무것도 잃어버리지 않도록 키를 지정해 작성하고, Iceberg 카탈로그에 기록하며, 빠진 항목이 있으면 실패하는 테스트로 검사한다. 또 로컬 모델이 설명과 분류의 초안을 작성하게 하고, 누군가 그 초안을 받아들이기 전에 초안이 얼마나 자주 틀리는지 측정한다.
-
3개인 데이터 찾기
이 장을 마치면 데이터 플랫폼에 있는 개인 데이터를 자동으로 찾고, 얼마나 놓치는지도 말할 수 있다. 열의 이름, 자료형, 그리고 재현 가능한 값 표본으로 모든 열의 분류를 제안한다. 자유 형식 텍스트 안의 개인 데이터를 구간 단위로 찾는다. 그리고 어떤 탐지기든 누군가 의존하기 전에 레이블이 붙은 데이터로 성능을 측정한다. 그 과정에서 Presidio의 패턴 인식기를 오프라인으로 실행하되 임곗값은 측정으로 정한다. 이 결과를 개인 데이터를 찾도록 학습한 모델이 기록해 둔 탐지 결과와 비교하고, 스키마 변경으로 추가된 열만 다시 분류한다.
-
4Lineage from pipelines
By the end of this chapter you can capture lineage from your pipelines as OpenLineage run events, with column lineage parsed from their SQL, including the columns that only join, filter and group.
-
5Access policies as code
By the end of this chapter you can write a data platform's access rules as one policy that denies by default and returns row filters and column masks as data.
-
6Enforcing policies on queries
By the end of this chapter you can enforce access decisions on every query the platform runs.
-
7보존, 동의, 삭제
이 장을 마치면 보존 규칙을 검토를 거친 설정으로 관리할 수 있다. 동의 철회가 다음 쿼리에 반영되도록 만들 수 있고, 한 사람의 데이터가 도달한 모든 테이블에서 그 사람을 삭제할 수 있다. 전달받은 날짜를 기준으로 규칙을 적용하고, 리니지로 해당 테이블을 찾으며, 법무팀이 예외로 기록해 둔 데이터만 남긴다. 또한 Iceberg 테이블에서 행 삭제 후에 남는 것, 즉 오래된 스냅샷, 참조되지 않는 파일, 열 통계를 제거한다. 마지막으로 남은 모든 파일을 읽어 그중 어느 것에도 그 사람의 데이터가 없음을 보여 주는 스캔으로 마무리한다.
-
8감사와 증거
이 장을 마치면 모든 접근 결정과 쿼리에 대한 감사 로그를 남길 수 있다. 로그에는 값이 들어가지 않으며, 로그를 연쇄로 묶어 수정이 드러나게 한다. 로그는 결정이 내려지는 곳에서 기록한다. 로그의 헤드, 곧 마지막 레코드의 번호와 해시는 로그를 쓰는 주체가 바꿀 수 없는 곳에 따로 적어 둔다. 그러면 그 헤드까지의 어떤 레코드든 수정하거나 삭제했을 때 이를 알아볼 수 있다. 또한 정책이 바뀐 뒤에도 과거의 결정을 설명하고, 쿼리 엔진이 실행한 내용을 직접 기록한 것과 로그를 교차 검증하며, 로그와 정책으로부터 접근 검토와 증거 보고서를 누구나 다시 실행할 수 있는 코드로 생성한다.
-
9AI를 위한 데이터 거버넌스
이 장을 마치면 AI 어시스턴트가 학습하는 데이터를 플랫폼의 다른 모든 읽기 작업과 같은 규칙 아래에서 구축할 수 있다. 저자가 그러한 용도에 동의한 레코드만 받아들이고, 개인 데이터를 가명으로 바꾸고 탐지기가 놓친 것을 측정하며, MinHash로 찾은 중복을 제거하고, 모든 레코드에 그 출처를 함께 보관하며, 파이프라인이 실행될 때마다 데이터셋 카드를 작성하고 검사하게 한다. 또한 학습 데이터에 관해 EU AI Act가 무엇을 말하는지 인용할 수 있게 된다.
-
10Governance in CI
By the end of this chapter you can run the governance checks of chapters 2 to 7 as one job on each pull request, judging only what the pull request changes.