變更分割方式而不重寫舊檔案
閱讀約需 31 分鐘 分鐘,7 節 中共有 4 個範例。
本章會變更 Iceberg、Delta Lake 與 DuckLake 中一個資料表的分割方式,並計算變更前後查詢所規劃的檔案數量。分割方式決定查詢要開啟哪些檔案,因此變更分割方式,就會改變每位讀取者所付出的成本。至於變更對已寫入的檔案有什麼影響,則視格式而定。
wiki.pageviews_hourly 的儀表板一次只讀取一個小時的資料,該資料表目前依日分割,問題在於如何在不重寫已載入資料的情況下,改以小時重新分組。三次每小時載入的資料從一開始就已經在磁碟上。因此,團隊希望在第 02 小時之後的每次載入都使用小時分割區,並且需要知道這項變更對現有的三次載入會造成什麼影響,而且不必複製這些資料。
這項變更有兩項成本。第一項是進行變更所需的工作,這取決於格式是否放著舊檔案不動。第二項是之後每次查詢所付出的成本,因為跨越變更時點的查詢,會規劃來自兩個時期的檔案。本章以各函式庫給出的計數來衡量這兩項成本,使決策建立在資料表實際的行為上,而不是建立在對格式的描述上。
分割規格也有版本
分割規格(partition spec)說明資料表如何將資料列分組,例如依 hour_utc 每天分為一組。在 Iceberg 中,規格屬於資料表中繼資料的一部分,而列出每個資料檔案的資訊清單(manifest)會記錄該檔案寫入時所用的規格。變更規格會產生第二份規格,並擁有自己的 ID。之後的寫入使用第二份規格,已存在磁碟上的檔案則保留其寫入時的規格。Iceberg specification 指出,變更後的規格會以唯一的規格 ID 加入資料表的分割規格清單,而每份資訊清單都會記錄寫入它時所用規格的 ID(partition_spec_id)。
如此一來,資料表中會並存兩個分割時期。查詢會讀取它所開啟的每個檔案的規格,因此一次掃描可以涵蓋多份規格下的檔案。規劃器會替你處理這件事,所以變更的代價會反映在執行計畫與檔案數量上,而不是查詢回傳的資料列上。針對 hour_utc 撰寫的查詢,在規格變更後文字不需更動,這正是此設計的重點。不同的是規劃器所開啟的檔案集合。本章其餘部分會展示兩者。
規格變更僅涉及中繼資料。Iceberg 會寫入一份擁有自己 ID 的規格,並且不動資料檔案,下一節中的檔案數量即說明了這一點。
舊規格也會作為歷史紀錄保留下來。資料表會記錄它曾有過的每一份規格,因此讀取者隨時可以查出某個檔案是依據哪些欄位寫入的。對於不只一次變更分割方式的團隊,這一點很重要:每個檔案都以自己的規格回答「我是如何被切分的?」,沒有人需要記住變更的先後順序。這份紀錄屬於中繼資料,所以成本很低,但資料表的規格清單會隨每次變更而增長。
另外兩種格式處理分割的方式不同,而這些差異決定了變更的成本。Delta Lake 以名稱指定分割欄位,因此寫入端會將它們建立為欄位。DuckLake 則將分割鍵保存在它的目錄(catalog)中。兩者各有專屬內容,位於 關於其他格式的一節,排在本章其餘部分所依賴的 Iceberg 步驟之後。
實用原則: 當讀取者的篩選條件改變,而目前的規格為他們規劃了過多檔案時,才變更 Iceberg 的分割規格。如果目前的規格對這些篩選條件已經只規劃少量檔案,就不要更動。變更時,讓舊檔案留在原處。將這次變更記錄在資料表的操作手冊(runbook)中,內容包括日期、舊欄位與取代欄位,以及促成變更的讀取者篩選條件。同時保存變更前後的規劃數量,如說明查詢掃描內容的一節所示。
從每日分區改為每小時分區
每個範例都會再次從切分資料建立資料表,使用的是原始欄位,而不是第 3 章新增的欄位。若要把資料表改為以小時分區,只需把 hour_utc 的一種轉換換成另一種。Iceberg 依欄位的轉換結果進行分區:day 轉換把每一列放在它所屬的日曆日之下,hour 轉換則把每一列放在它所屬的小時之下。pyiceberg 函式庫以 pyiceberg-core 套件計算這些轉換,而 day 轉換在寫入時會匯入該套件。因此,只安裝 pyiceberg 的環境,會在以 day 或 hour 分區的資料表第一次附加資料時失敗(pyiceberg 0.12.0 原始碼,pyiceberg/transforms.py,DayTransform.pyarrow_transform)。本書鎖定的版本包含 pyiceberg-core 0.11.0,以及 pyiceberg 0.12.0。
資料表一開始使用 day 規格,第 00 到 02 小時的資料在此規格下載入。接著規格改變,第 03 到 05 小時的資料在 hour 規格下載入。這項變更是單一的 update_spec() 區塊,移除 day 欄位並加入 hour 欄位:
with table.update_spec() as update:
update.remove_field("ts_day")
update.add_field("hour_utc", HourTransform(), "ts_hour")
兩個呼叫放在同一個區塊中,因此資料表只會產生一次規格變更,且 day 欄位已被移除。依序印出的規格清單會列出每個欄位的轉換,顯示這項變更的結果。欄位名稱沿用本書的命名,即 ts_day 與 ts_hour,所以從規格的標籤就能看出各欄位套用的是哪一種轉換。來源欄位仍是 hour_utc。day 欄位與 hour 欄位是同一個欄位的兩種轉換,因此讀取端對該欄位的篩選條件在兩個時期都持續有效。
1"""Partition an Iceberg table by day, change its spec to hour, and load more hours under the new spec.23The two `data files` lines carry the point, one count for each spec.4"""56from collections import Counter78from pyiceberg.partitioning import PartitionField, PartitionSpec9from pyiceberg.transforms import DayTransform, HourTransform1011from lib.lakehouse import create_iceberg_table, new_warehouse, read_cut_hour, safe_error, scan_arrow121314def main():15 try:16 with new_warehouse() as wh:17 # source_id 1 is hour_utc, the table's first column: the day transform reads that column18 day_spec = PartitionSpec(PartitionField(source_id=1, field_id=1000, transform=DayTransform(), name="ts_day"))19 table = create_iceberg_table(wh, partition_spec=day_spec)20 for hour in range(3): # hours 00 to 02, written under the day spec21 table.append(read_cut_hour(hour))2223 # hour_utc is the source of the hour field too, as it was of the day field24 with table.update_spec() as update:25 update.remove_field("ts_day")26 update.add_field("hour_utc", HourTransform(), "ts_hour")27 for hour in range(3, 6): # hours 03 to 05, written under the hour spec28 table.append(read_cut_hour(hour))2930 # the labels number the specs in the order they were made, so the output names no spec ID31 specs = sorted(table.specs())32 labels = {spec_id: f"spec {number}" for number, spec_id in enumerate(specs, start=1)}33 for spec_id in specs:34 for field in table.specs()[spec_id].fields:35 print(f"{labels[spec_id]} field {field.name}: transform {field.transform}")3637 # group the data files by the spec_id each one carries38 files = Counter(table.inspect.data_files().column("spec_id").to_pylist())39 for spec_id in specs:40 print(f"{labels[spec_id]} data files: {files[spec_id]}")41 print(f"rows in table: {scan_arrow(table).num_rows}")42 except Exception as exc:43 print(safe_error(exc))44 raise SystemExit(1)454647if __name__ == "__main__":48 main()
python day-then-hour-spec.pyspec 1 field ts_day: transform day
spec 2 field ts_hour: transform hour
spec 1 data files: 3
spec 2 data files: 3
rows in table: 2999
請從輸出的最上方開始讀。規格 1 只有一個欄位 ts_day,使用 day 轉換。規格 2 也只有一個欄位 ts_hour,使用 hour 轉換。變更之後,資料表的所有列都還在:2999 列,也就是變更前的三個小時加上變更後的三個小時。
規格變更是唯一只動到中繼資料的步驟。它前後的載入照常寫入資料檔,而下一小節會說明每個檔案屬於哪一個規格。
這裡的錯誤不會在變更當下顯現,而是稍後才出現。若規格清單有誤,變更之後的每一次載入都會依錯誤的分區方式寫入檔案,而下一節的計數是你最先看到問題的地方。在變更之後立刻檢查規格清單,只多一行輸出,卻能省下重寫資料的工夫。
實用原則: 在 Iceberg 中,請把規格變更放在單一的 update_spec() 區塊內,讓舊欄位在加入替代欄位的同一次變更中一併移除。只有在兩項編輯之間必須執行某個步驟時,才把它們拆開;本章沒有這樣的步驟。變更之後要檢查規格清單,並在以第二個規格載入任何資料之前,確認欄位名稱與轉換都是你想要的。
各規格下寫入的檔案
每個資料檔案都屬於寫入它時所用的規格,因此依規格計算檔案數量,就能知道每個檔案屬於哪一個時期。資料檔案的清單附有各檔案的規格 ID,所以計數時可以依規格將檔案分組,並在「spec 1」與「spec 2」兩個標籤下各算出一個數量。這些標籤依規格建立的先後順序編號,因此輸出中不會出現任何規格 ID。
三次依日分區的載入在規格變更後仍保留了原有檔案。輸出顯示 spec 1 下有 3 個資料檔案,spec 2 下有 3 個,可見三次依小時分區的載入寫入了各自的檔案,而規格變更本身沒有寫入任何檔案。如果變更後 spec 1 下的數量減少了,就表示有某個動作重寫了那些檔案;在信任舊時期的資料之前,你必須先查明原因。
實用原則: 每次規格變更之後,都要計算各規格下的資料檔案數量,並與你執行過的載入次數比對。若在沒有規劃重寫的情況下數量卻有變動,就表示這次變更做的比你預期的更多,請在下一次載入之前停下來檢查。
檢查查詢掃描了什麼
分割規格是一種略過檔案的方式。查詢讀取檔案之前,規劃器會檢視檔案的分割值與欄位邊界,並剔除不可能符合篩選條件的檔案。查詢的成本只能低到它所略過、沒有納入規劃的檔案數所允許的程度。因此,檢查一項變更的方法,是計算典型篩選條件在變更前後所規劃的檔案數,而不是比較資料列。規劃掃描只會傳回檔案清單,並不讀取檔案中的資料列,所以這個計數的成本很低,足以在每次變更之前執行。
剪除(pruning)是這項變更見效之處,因此請規劃三種掃描,各做兩次:一次在以日為單位的規格下(見改用以小時為單位的分割),另一次在三次以小時分割的載入之後。其中兩個篩選條件各自要求單一小時:01 時是在變更之前載入的,04 時則是在變更之後載入的。第三種沒有篩選條件,屬於完整掃描。
1"""Count the files an Iceberg scan plans for one hour, for another hour and for the whole table, before and after a spec change.23The filtered counts are the lines to compare, one pair for each filter.4"""56from pyiceberg.partitioning import PartitionField, PartitionSpec7from pyiceberg.transforms import DayTransform, HourTransform89from lib.lakehouse import create_iceberg_table, hour_filter, new_warehouse, read_cut_hour, safe_error101112def plan_counts(table):13 """Return the files planned for hour 01, for hour 04 and for no filter, in that order."""14 # plan_files gives the planned files as a list; each printed count is that list's length15 one_hour = len(table.scan(row_filter=hour_filter(1)).plan_files())16 # hour 04 is loaded only after the change, so the filter can match only an hour-partitioned file17 hour_four = len(table.scan(row_filter=hour_filter(4)).plan_files())18 everything = len(table.scan().plan_files())19 return one_hour, hour_four, everything202122def main():23 try:24 with new_warehouse() as wh:25 day_spec = PartitionSpec(PartitionField(source_id=1, field_id=1000, transform=DayTransform(), name="ts_day"))26 table = create_iceberg_table(wh, partition_spec=day_spec)27 for hour in range(3): # hours 00 to 02, under the day spec28 table.append(read_cut_hour(hour))29 one_hour, hour_four, everything = plan_counts(table)30 print(f"before the change, one-hour filter plans: {one_hour}")31 print(f"before the change, hour 04 filter plans: {hour_four}")32 print(f"before the change, no filter plans: {everything}")3334 with table.update_spec() as update:35 update.remove_field("ts_day")36 update.add_field("hour_utc", HourTransform(), "ts_hour")37 for hour in range(3, 6): # hours 03 to 05, under the hour spec38 table.append(read_cut_hour(hour))39 one_hour, hour_four, everything = plan_counts(table)40 print(f"after the change, one-hour filter plans: {one_hour}")41 print(f"after the change, hour 04 filter plans: {hour_four}")42 print(f"after the change, no filter plans: {everything}")43 except Exception as exc:44 print(safe_error(exc))45 raise SystemExit(1)464748if __name__ == "__main__":49 main()
python plan-files-by-partition.pybefore the change, one-hour filter plans: 1
before the change, hour 04 filter plans: 0
before the change, no filter plans: 3
after the change, one-hour filter plans: 1
after the change, hour 04 filter plans: 1
after the change, no filter plans: 6
| 階段 | 單一小時篩選 | 04 時篩選 | 無篩選 |
|---|---|---|---|
| 變更前,三次以日分割的載入 | 1 | 0 | 3 |
| 變更後,加入三次以小時分割的載入 | 1 | 1 | 6 |
每個篩選條件都會找到自己所屬小時的檔案,無論該小時是在哪個時期載入的。單一小時篩選在變更前規劃了 1 個檔案,變更後規劃了 1 個檔案;04 時篩選在變更前規劃了 0 個檔案,變更後規劃了 1 個檔案。01 時是在變更之前載入的,因此兩份計畫中的那一個檔案,都是該小時以日分割的檔案。變更前,三個檔案同屬一天,規劃器只能依 hour_utc 的邊界略過其餘兩個。變更後,三個以小時分割的檔案也會被略過。04 時的情況則相反:沒有任何以日分割的檔案包含它,所以它唯一的符合項,是包含該小時的以小時分割的檔案。這些計數並未顯示規劃器是依分割值還是依欄位邊界略過檔案,只顯示計畫保留了哪些檔案。
計畫計數是檔案的數量,而不是位元組數。兩份計數相同的計畫,可能讀取不同量的資料,因為檔案大小各不相同。即便如此,計數仍是正確的第一項檢查,因為規劃器正是依這個數字做出決定。當計數一致而查詢仍然很慢時,應檢查檔案大小與查詢本身。
完整掃描要為資料表寫入過的每個檔案付出代價。它的計畫從 3 個檔案增加為 6 個,也就是以日分割的檔案加上以小時分割的檔案。這項增加正是保留舊檔案原地不動的代價,也是除了有篩選的掃描之外,還要計算完整掃描的原因。
**實用原則:**每次分割變更前後,都要規劃讀取者使用的篩選條件與完整掃描,並將計數與維運手冊(runbook)的條目一併保存。如果原本只規劃一個檔案的篩選條件開始規劃許多檔案,就表示這項變更已破壞該篩選條件的剪除,應在下一次依該規格載入之前,修改規格或篩選條件。
其他格式中的分割
在另外兩種格式中,同樣的變更所付出的代價不同,不過三者讀回的資料列是一樣的。改變的是檔案與查詢計畫。下表彙整三種格式的做法。
| 格式 | 變更方式 | 已寫入的檔案 | 變更後要檢查的項目 |
|---|---|---|---|
| Iceberg | 一個 update_spec() 區塊 |
保留,仍屬於舊的規格 | 各規格的檔案數;查詢計畫的計數 |
| Delta Lake | 以 schema_mode="overwrite" 完整覆寫 |
在較新的版本中重新寫入;舊版本保留 | 資料列數;檔案數;舊版本的分割欄位 |
| DuckLake | ALTER TABLE ... SET PARTITIONED BY |
保留;設定只套用於之後的載入 | 一次載入後的檔案數;分割鍵 |
Delta Lake 以一般欄位進行分割,其分割選項接受的是欄位名稱,而不是運算式。Delta Lake 協定將 partitionColumns 定義為一個陣列,內含用來分割資料的欄位名稱。產生欄位(generated column)可以在資料表內計算 day 或 hour,但這會提高資料表的寫入端協定版本,因此本書改在寫入端計算這兩者。輔助函式 with_partition_columns 在每次寫入前,依據 hour_utc 加上這兩個字串欄位。資料表一開始以 day 分割,若要改為 hour,除非寫入是同時取代結構描述的完整覆寫,否則會被拒絕:
DeltaError: Generic error: Specified table partitioning does not match table partitioning: expected: ["day"], got: ["hour"]. To change partition columns, use full table overwrite with schema overwrite and no replaceWhere predicate.
先試試單純的 mode="overwrite",函式庫會以該錯誤拒絕這項變更。同樣的寫入加上 schema_mode="overwrite" 之後便能通過。在所鎖定的版本中,函式庫的 API 以這項設定取代較舊的 overwrite_schema 旗標。覆寫開始之前,資料列會先讀入記憶體,因為覆寫會取代資料表中的每一列資料。把資料列寫回去,是保留它們的唯一辦法。
1"""Change a Delta Lake table's partition columns from day to hour, which rewrites the table.23Read the error line from the plain overwrite first, then the version and row lines after the rewrite.4"""56import pyarrow.compute as pc7from deltalake import DeltaTable, write_deltalake89from lib.lakehouse import delta_file_count, new_warehouse, read_cut_hour, read_delta, safe_error101112def with_partition_columns(rows):13 """Add the day and hour columns that Delta partitions by. Delta partitions only by plain columns."""14 rows = rows.append_column("day", pc.strftime(rows["hour_utc"], format="%Y-%m-%d"))15 # %H is the 24-hour clock, zero-padded, so hour 04 is the string "04"16 return rows.append_column("hour", pc.strftime(rows["hour_utc"], format="%H"))171819def main():20 try:21 with new_warehouse() as wh:22 path = f"{wh.root}/delta/pageviews_hourly"23 for hour in range(3):24 write_deltalake(path, with_partition_columns(read_cut_hour(hour)), partition_by=["day"], mode="append")25 table = DeltaTable(path)26 print(f"partition columns before: {table.metadata().partition_columns}")27 print(f"version before: {table.version()}")28 print(f"data files before: {delta_file_count(table)}")2930 # read first, so the rows are in memory before the overwrite below writes them back31 rows = read_delta(path)32 try:33 # no schema_mode here, so the library refuses the change and the error is printed34 write_deltalake(path, rows, partition_by=["hour"], mode="overwrite")35 except Exception as exc:36 print(f"change without schema mode: {safe_error(exc, wh)}")3738 # schema_mode is what lets the partition columns change in a full overwrite39 write_deltalake(path, rows, partition_by=["hour"], mode="overwrite", schema_mode="overwrite")40 table = DeltaTable(path)41 print(f"partition columns after: {table.metadata().partition_columns}")42 print(f"version after: {table.version()}")43 print(f"data files after: {delta_file_count(table)}")44 print(f"rows after: {read_delta(path).num_rows}")4546 # version 2 is the last version before the rewrite; Delta counts versions from 047 old = DeltaTable(path, version=2)48 print(f"partition columns in version 2: {old.metadata().partition_columns}")49 print(f"rows in version 2: {read_delta(path, version=2).num_rows}")50 except Exception as exc:51 print(safe_error(exc))52 raise SystemExit(1)535455if __name__ == "__main__":56 main()
python delta-partition-overwrite.pypartition columns before: ['day']
version before: 2
data files before: 3
change without schema mode: DeltaError: Generic error: Specified table partitioning does not match table partitioning: expected: ["day"], got: ["hour"]. To change partition columns, use full table overwrite with schema overwrite and no replaceWhere predicate.
partition columns after: ['hour']
version after: 3
data files after: 3
rows after: 1499
partition columns in version 2: ['day']
rows in version 2: 1499
重寫會把資料表移到新的版本,並保留其資料列。三次載入分別是版本 0 到 2,所以資料表在變更前位於版本 2,重寫後位於版本 3。
新版本含有同樣的 1499 列資料,分布在 3 個檔案中,每個小時分割各一個,與三個小時相符。版本 2 仍可透過 read_delta 讀回,其 day 分割與 1499 列資料都還在。
Delta 的變更是對資料表現有檔案的重寫,而不是中繼資料的編輯。這裡的資料表很小,大型資料表同樣需要這種重寫,成本則依其規模而定,因此應把它當作需要讀取時段的維護工作來規劃。寫入之前,每一列資料也都會先讀入記憶體,所以重寫需要一次容納整個資料表的空間。對於放不下的資料表,複製到新位置是較安全的做法,第 9 章說明如何檢查這類複本。
DuckLake 把分割以資料表設定的形式存放在它的目錄(catalog)中,變更只套用於之後的載入。DuckLake 文件指出,資料表的分割鍵只影響變更之後寫入的資料。將資料表設為依 hour(hour_utc) 分割,再多載入一個小時的資料,這次載入前後的檔案數就能顯示這項規則如何運作。輔助函式在關閉內嵌(inlining)的情況下附加目錄,因此每次載入都會寫出一個資料檔,檔案數也就反映每次載入做了什麼。
1"""Set a DuckLake table's partitioning to hour, then load one more hour and count the files before and after it.23The files-kept line is the one to check: it counts the earlier files still listed after the hour load.4"""56from lib.lakehouse import (DUCKLAKE_ALIAS, NAMESPACE, TABLE, connect_ducklake, create_ducklake_table, ducklake_file_count,7 ducklake_file_paths, new_warehouse, read_cut_hour, safe_error)8910def load(con, hour):11 con.register("batch", read_cut_hour(hour))12 con.execute(f"INSERT INTO {DUCKLAKE_ALIAS}.{NAMESPACE}.{TABLE} SELECT * FROM batch")13 con.unregister("batch")141516def main():17 try:18 with new_warehouse() as wh:19 con = connect_ducklake(wh.con)20 # the helper leaves inlining off by default, so every load below writes one data file21 create_ducklake_table(con, wh.root)22 for hour in range(3): # hours 00 to 02, before the change23 load(con, hour)24 print(f"data files before the change: {ducklake_file_count(con, DUCKLAKE_ALIAS, TABLE)}")25 before = ducklake_file_paths(con, DUCKLAKE_ALIAS, TABLE)2627 con.execute(f"ALTER TABLE {DUCKLAKE_ALIAS}.{NAMESPACE}.{TABLE} SET PARTITIONED BY (hour(hour_utc))")28 load(con, 3) # hour 03, the first load after the change29 print(f"data files after one load under hour: {ducklake_file_count(con, DUCKLAKE_ALIAS, TABLE)}")30 after = ducklake_file_paths(con, DUCKLAKE_ALIAS, TABLE)31 # the intersection is the earlier files still listed after the hour load32 print(f"files kept from before the change: {len(before & after)}")3334 # ordered by key index, so the keys print in a fixed order35 for key, transform in con.execute(36 "SELECT partition_key_index, transform FROM __ducklake_metadata_lake.ducklake_partition_column ORDER BY 1"37 ).fetchall():38 print(f"partition key {key}: transform {transform}")39 rows = con.execute(f"SELECT count(*) FROM {DUCKLAKE_ALIAS}.{NAMESPACE}.{TABLE}").fetchall()40 print(f"rows in table: {rows[0][0]}") # count(*) returns one row with one value41 except Exception as exc:42 print(safe_error(exc))43 raise SystemExit(1)444546if __name__ == "__main__":47 main()
python ducklake-partition-alter.pydata files before the change: 3
data files after one load under hour: 4
files kept from before the change: 3
partition key 0: transform hour
rows in table: 1999
資料表在載入該小時的資料之前有 3 個資料檔,載入之後有 4 個,所以這次小時載入寫出了一個檔案。在該次載入之後列出的檔案中,有 3 個在載入之前就已列出。先前的三次載入並未被重寫,這正是文件中該規則在實務上的意思。目錄列出一個分割鍵,其轉換為 hour,資料表共有 1999 列資料。
**實用原則:**在 Iceberg 與 DuckLake 中,分割變更是對中繼資料的變更。舊檔案留在原處,之後的載入採用該變更所設定的分割,因此請在第一次載入之後檢查檔案數。在 Delta Lake 中,分割變更是重寫資料表現有檔案的完整覆寫,因此請把它當作重寫來規劃,並在之後檢查資料列數與檔案數。
正式環境中會出什麼問題
分割區變更很少在變更當下失敗;問題通常出現在之後的載入與查詢規劃。
先從缺少套件說起。在移至每小時分割區一節所列的版本固定下,day 與 hour 轉換需要 pyiceberg-core,而這些轉換在寫入時會匯入它。若環境只安裝 pyiceberg,雖然可以建立資料表,但在時間轉換下的第一次附加寫入就會失敗。這個錯誤會在第一次排程載入時才浮現,而不是在變更規格時,因此版本固定應寫在需求檔中,而不是靠某個人對安裝過程的記憶。
其次是過度分割。分割粒度若比篩選條件所需的更細,每次查詢就得開啟更多檔案,而每個檔案包含的列數更少。每小時載入數百列的資料,產生的檔案絕對大小都很小。這是經驗法則,而不是實測結果:成本取決於你的儲存系統與引擎。查詢掃描什麼一節中的規劃計數,顯示了在各個規格下一次查詢會開啟多少檔案。若全表掃描的檔案數隨每次載入持續增加,而每個檔案的列數仍然很少,就是徵兆;解法是壓縮合併(compaction),第 6 章會說明,或是對之後的載入改用較粗的粒度。
第三是高基數的鍵。對 page_title 使用 identity 分割區,會讓每個標題各有一個分割區,而每次載入都會為其中包含的每個標題寫入一個檔案。這裡的資料表只有幾千列,但實際的頁面資料表標題數遠多於此,檔案數會隨標題數成長,而不是隨時間成長。應依查詢篩選所用的時間來分割,並把標題保留為一般欄位,讓查詢對它篩選。
接著是以結果來判斷變更是否成功。分割區變更前後的列內容相同,因此只比對列的檢查,無論變更是否帶來好處都會通過。本章的範例只印出列內容來確認沒有遺失資料,真正顯示變更效果的是計數。
最後是對讀取端正在使用的資料表執行重寫。本章的 Delta 範例單獨執行,並未測試寫入期間的讀取端。對於讀取端所依賴的資料表,我們建議把重寫結果寫到副本,檢查副本的計數與列內容,再讓讀取端改指向副本。第 9 章在格式之間使用同樣的檢查。這項建議出自判斷,沒有任何範例對它進行測量。
實用原則: 依讀取端使用的篩選條件與預期的檔案大小來選擇分割粒度,而不是依資料到達的頻率。在對有讀取端使用的資料表執行分割區變更之前,先在副本上執行,並比較兩側的規劃計數與列數。
本章做出的決定
- 我們以
hour_utc的 day 與 hour 轉換對 Iceberg 資料表分割,並將pyiceberg-core與pyiceberg一併固定版本。這些轉換保留時間欄位作為分割來源,因此以時間作篩選條件時,讀取的欄位與寫入端使用的欄位相同。我們建議任何會依時間篩選的資料表都採用這種做法。 - 我們以
schema_mode="overwrite"完整覆寫來變更 Delta Lake 資料表,並將其分割欄位day與hour寫成由寫入端計算的一般字串欄位。我們接受這次重寫,因為在這個函式庫中,變更分割方式必須完整覆寫。 - 我們透過各函式庫自己的檔案清單來計算檔案與計畫:Iceberg 使用
plan_files(),Delta Lake 使用file_uris(),DuckLake 使用ducklake_list_files。沒有任何範例會印出檔案名稱,因為名稱含有隨機 ID,每次執行都不相同。 - 如第 1 章所說明,凡是會計算檔案數的範例,我們都關閉 DuckLake 的內嵌功能,使檔案數就是資料檔的數量。
- 我們依儀表板的篩選條件來選擇 hour 粒度,因為儀表板一次讀取一個小時,而不是依載入的頻率來選擇。
- 我們先呈現 Delta 的失敗,再呈現修正方式,讓結構描述設定由要求它的錯誤來說明。
- 我們從目錄的分割資料表印出 DuckLake 的分割鍵,而不是從檔案名稱印出,因此檔案名稱改變時,輸出不會跟著改變。
- 我們在輸出中保留欄位與規格的標籤,且絕不印出規格 ID、快照 ID 或檔案名稱。快照 ID 與檔案名稱每次執行都不同,而標籤能讓讀者不必解讀 ID,就知道某個規格屬於哪個時期。
本章,於本版次中
版次 2026.11.10範例於 2026年11 月 20 通過測試本章 4 個範例 個範例中有 4 個通過
譯自英文書,版次 2026.11.10。