Cover of Data Governance as Code, edition 2026.11.31, code VJ1S-X2E7 Data Governance as Code VJ1S-X2E7 49 editions since Oct 2026 Rolling Edition 2026.11.31

코드로서의 데이터 거버넌스

2026.11.31판 예제 통과 2026년 11월 19 108개 예제 중 108개 통과 변경 사항

AI로 번역함. 영어 원문을 사람이 검증함. 우리가 책을 만드는 방식

영어판 2026.11.31판을 번역한 것이다. 원문 읽기

CI에서 실행되는 코드로 데이터 플랫폼을 거버넌스하는 방법을 다룬다. 온라인 학습 플랫폼의 Iceberg 테이블을 예로 들어 테스트된 카탈로그, 개인 데이터 찾기, 파이프라인에서 얻는 계보, 행 필터와 열 마스크로 적용하는 접근 정책, 데이터를 실제로 제거하는 삭제, 감사 추적, AI가 사용하는 데이터에 대한 규칙을 설명한다.

대상 독자 이미 파이프라인과 웨어하우스를 구축하고 있으며 이를 거버넌스 체계 아래에 두라는 요청을 받은 데이터, 분석, 플랫폼 엔지니어를 위한 책이다. SQL, Python, Parquet에 익숙하고, 나머지 코드와 마찬가지로 테스트와 리뷰를 거치는 거버넌스를 찾는 독자를 대상으로 한다.

읽기 시작
판 이력2026년 10월 이후 49판모든 판과 각 판에서 바뀐 내용
2026.10.12026.11.31
2026.11.31 · 2026년 11월 21문장 수정,새 콘텐츠33절 변경됨

목차

10장, 읽는 데 약 11시간 34분, 108개 예제 포함.

  1. 1Governance end to end

    By the end of this chapter you can govern one table of a data platform with code, end to end.

  2. 2테스트할 수 있는 카탈로그

    이 장을 마치면 카탈로그의 메타데이터를 코드로 관리할 수 있다. 모든 테이블에는 소유자와 도메인이, 모든 컬럼에는 설명과 분류가 붙으며, 이 내용은 팀이 검토하는 파일에 담긴다. 이 파일은 이름이 바뀌어도 아무것도 잃어버리지 않도록 키를 지정해 작성하고, Iceberg 카탈로그에 기록하며, 빠진 항목이 있으면 실패하는 테스트로 검사한다. 또 로컬 모델이 설명과 분류의 초안을 작성하게 하고, 누군가 그 초안을 받아들이기 전에 초안이 얼마나 자주 틀리는지 측정한다.

  3. 3개인 데이터 찾기

    이 장을 마치면 데이터 플랫폼에 있는 개인 데이터를 자동으로 찾고, 얼마나 놓치는지도 말할 수 있다. 열의 이름, 자료형, 그리고 재현 가능한 값 표본으로 모든 열의 분류를 제안한다. 자유 형식 텍스트 안의 개인 데이터를 구간 단위로 찾는다. 그리고 어떤 탐지기든 누군가 의존하기 전에 레이블이 붙은 데이터로 성능을 측정한다. 그 과정에서 Presidio의 패턴 인식기를 오프라인으로 실행하되 임곗값은 측정으로 정한다. 이 결과를 개인 데이터를 찾도록 학습한 모델이 기록해 둔 탐지 결과와 비교하고, 스키마 변경으로 추가된 열만 다시 분류한다.

  4. 4Lineage from pipelines

    By the end of this chapter you can capture lineage from your pipelines as OpenLineage run events, with column lineage parsed from their SQL, including the columns that only join, filter and group.

  5. 5Access policies as code

    By the end of this chapter you can write a data platform's access rules as one policy that denies by default and returns row filters and column masks as data.

  6. 6Enforcing policies on queries

    By the end of this chapter you can enforce access decisions on every query the platform runs.

  7. 7보존, 동의, 삭제

    이 장을 마치면 보존 규칙을 검토를 거친 설정으로 관리할 수 있다. 동의 철회가 다음 쿼리에 반영되도록 만들 수 있고, 한 사람의 데이터가 도달한 모든 테이블에서 그 사람을 삭제할 수 있다. 전달받은 날짜를 기준으로 규칙을 적용하고, 리니지로 해당 테이블을 찾으며, 법무팀이 예외로 기록해 둔 데이터만 남긴다. 또한 Iceberg 테이블에서 행 삭제 후에 남는 것, 즉 오래된 스냅샷, 참조되지 않는 파일, 열 통계를 제거한다. 마지막으로 남은 모든 파일을 읽어 그중 어느 것에도 그 사람의 데이터가 없음을 보여 주는 스캔으로 마무리한다.

  8. 8감사와 증거

    이 장을 마치면 모든 접근 결정과 쿼리에 대한 감사 로그를 남길 수 있다. 로그에는 값이 들어가지 않으며, 로그를 연쇄로 묶어 수정이 드러나게 한다. 로그는 결정이 내려지는 곳에서 기록한다. 로그의 헤드, 곧 마지막 레코드의 번호와 해시는 로그를 쓰는 주체가 바꿀 수 없는 곳에 따로 적어 둔다. 그러면 그 헤드까지의 어떤 레코드든 수정하거나 삭제했을 때 이를 알아볼 수 있다. 또한 정책이 바뀐 뒤에도 과거의 결정을 설명하고, 쿼리 엔진이 실행한 내용을 직접 기록한 것과 로그를 교차 검증하며, 로그와 정책으로부터 접근 검토와 증거 보고서를 누구나 다시 실행할 수 있는 코드로 생성한다.

  9. 9AI를 위한 데이터 거버넌스

    이 장을 마치면 AI 어시스턴트가 학습하는 데이터를 플랫폼의 다른 모든 읽기 작업과 같은 규칙 아래에서 구축할 수 있다. 저자가 그러한 용도에 동의한 레코드만 받아들이고, 개인 데이터를 가명으로 바꾸고 탐지기가 놓친 것을 측정하며, MinHash로 찾은 중복을 제거하고, 모든 레코드에 그 출처를 함께 보관하며, 파이프라인이 실행될 때마다 데이터셋 카드를 작성하고 검사하게 한다. 또한 학습 데이터에 관해 EU AI Act가 무엇을 말하는지 인용할 수 있게 된다.

  10. 10Governance in CI

    By the end of this chapter you can run the governance checks of chapters 2 to 7 as one job on each pull request, judging only what the pull request changes.

이 절 인용

형식

각 형식은 이 번역이 따르는 영문 원서를 출처로 표기한다.

모든 형식은 이 판을 명시한다. 링크는 현재 판을 열며, 여기서 절의 제목은 본문이 마지막으로 바뀐 시점을 알려 준다. 접근 날짜와 검색 날짜는 이 자료를 여는 날짜다.