Cover of Open Table Formats, edition 2026.11.10, code 27Y3-9R88 Open Table Formats 27Y3-9R88 10 editions since Nov 2026 Rolling Edition 2026.11.10

오픈 테이블 포맷

2026.11.10판 예제 통과 2026년 11월 20 39개 예제 중 39개 통과 변경 사항

AI로 번역함. 영어 원문을 사람이 검증함. 우리가 책을 만드는 방식

영어판 2026.11.10판을 번역한 것이다. 원문 읽기

Iceberg, Delta Lake, DuckLake가 테이블을 저장하고, 변경하고, 정리하고, 카탈로그에 등록하고, 다른 형식으로 옮기는 방법을 시간별 페이지뷰 테이블 하나를 대상으로 설명한다. 예제는 노트북에서 오프라인으로 실행된다.

대상 독자 SQL과 Python을 작성하며, 이제 레이크하우스 테이블을 어떻게 저장하고, 변경하고, 정리하고, 공유하고, 다른 형식으로 옮길지 결정해야 하는 데이터 엔지니어와 애널리틱스 엔지니어를 위한 책이다.

읽기 시작
판 이력2026년 11월 이후 10판모든 판과 각 판에서 바뀐 내용
2026.11.12026.11.10
2026.11.10 · 2026년 11월 21문장 수정,새 콘텐츠32절 변경됨

목차

10장, 읽는 데 약 4시간 41분, 39개 예제 포함.

  1. 1첫 번째 테이블을 처음부터 끝까지 만들기

    이 장을 마치면 행 묶음을 테이블에 커밋하고, DuckDB에서 그 테이블을 다시 읽고, 합계를 확인할 수 있다. 이 책은 SQL과 Python을 쓰며, 레이크하우스 테이블을 어떻게 저장하고, 변경하고, 정리하고, 공유하고, 다른 형식으로 옮길지 결정해야 하는 데이터 엔지니어와 분석 엔지니어를 위한 책이다. 이 책은 하나의 결과물을 만든다. 그것은 pageviews 테이블이며, 이 테이블을 저장하고, 변경하고, 이전 스냅샷 기준으로 읽고, 정리하고, 카탈로그에 등록하고, 형식 사이에서 옮긴다.

  2. 2이전 스냅숏 시점의 테이블 읽기

    이 장에서는 이전 커밋 이후의 테이블 상태를 세 가지 포맷 각각에서 읽는 방법을 익힌다. 커밋 목록을 확인하고, 각 포맷이 사용하는 번호로 특정 커밋 시점의 상태를 읽고, 포맷 간 번호를 혼동하지 않고 비교한다.

  3. 3파일을 다시 쓰지 않고 열 추가하고 이름 바꾸기

    이 장을 마치면 이미 데이터가 들어 있는 테이블에 열을 추가할 수 있고, Iceberg에서 데이터 파일을 다시 쓰지 않고 열 이름을 바꿀 수 있으며, Delta Lake에서 이름 변경이 왜 테이블 전체를 다시 쓰는 작업이 되는지 설명할 수 있다.

  4. 4오래된 파일을 다시 쓰지 않고 파티셔닝 변경하기

    이 장에서는 Iceberg, Delta Lake, DuckLake에서 테이블의 파티셔닝을 변경하고, 변경 전후에 쿼리가 계획하는 파일 수를 센다. 파티셔닝은 쿼리가 어떤 파일을 여는지 결정하므로, 파티셔닝을 바꾸면 모든 읽기 작업이 치르는 비용이 달라진다. 이미 기록된 파일에 변경이 어떤 영향을 미치는지는 포맷에 따라 다르다.

  5. 5삭제, 갱신, 병합으로 행 바로잡기

    이미 커밋된 행도 바꿀 수 있다. 이 장에서는 Iceberg, Delta Lake, DuckLake에서 행을 삭제하고, upsert하고, 병합한다. 각 쓰기 작업이 파일에 어떤 영향을 주는지 설명하고, pyiceberg upsert가 추가하는 스냅샷의 수를 센다.

  6. 6매시간 추가로 쌓이는 작은 파일 압축하기

    이 장에서는 테이블이 가진 데이터 파일의 수를 세는 방법과, Delta Lake, DuckLake, Iceberg에서 그 파일들을 더 적은 수의 파일로 병합하는 방법, 그리고 각 병합 후 디스크에 무엇이 남는지를 설명한다. 문제는 적재에서 시작된다. 첫 번째 장의 pageviews 테이블은 세 가지 형식 각각에 한 시간에 한 번씩 적재된다. 적재 한 번은 커밋 한 번이며, 커밋마다 고유한 데이터 파일이 새로 쓰인다. 데이터 파일은 테이블의 행을 담고 있는 Parquet 파일이다.

  7. 7스냅샷 만료와 참조되지 않는 파일 제거

    이 장을 읽고 나면 세 가지 형식 각각에서 오래된 스냅샷을 만료시키고, 그 스냅샷만 여전히 나열하던 데이터 파일을 제거하며, 만료된 스냅샷을 읽으면 실패함을 보일 수 있다.

  8. 8카탈로그에 테이블을 등록하고 DuckDB에서 조회하기

    이 장에서는 Iceberg 테이블을 SQL 카탈로그에 등록하고, DuckLake 카탈로그를 연결(attach)하고, Delta Lake 테이블을 경로로 열고, Iceberg 테이블과 DuckLake 테이블을 조인하는 DuckDB 구문 하나를 실행한다. 또한 각 카탈로그가 무엇을 담고 있는지, 그리고 카탈로그와 데이터 파일의 내용이 서로 어긋날 때 테이블에 어떤 일이 일어나는지도 다룬다.

  9. 9테이블을 포맷 간에 옮기고 사본을 검증하기

    이 장을 마치면 테이블을 한 포맷에서 다른 포맷으로 복사하고, 사본이 같은 행을 담고 있는지 확인할 수 있다. 또한 복사가 남기고 가는 것이 무엇인지 말할 수 있고, 어떤 손실은 받아들이고 어떤 손실은 이동을 멈춰야 하는지 판단할 수 있다.

  10. 10도구가 지원하는 범위에서 포맷을 선택하라

    이 장을 읽고 나면 테이블을 읽거나 쓰는 모든 도구를 나열하고, 고정된 버전에서 각 도구가 무엇을 지원하는지 측정하며, 그 측정값으로 포맷과 포맷의 기능을 선택할 수 있다.

이 절 인용

형식

각 형식은 이 번역이 따르는 영문 원서를 출처로 표기한다.

모든 형식은 이 판을 명시한다. 링크는 현재 판을 열며, 여기서 절의 제목은 본문이 마지막으로 바뀐 시점을 알려 준다. 접근 날짜와 검색 날짜는 이 자료를 여는 날짜다.