選定模型之前,先衡量路由任務

閱讀約需 30 分鐘 分鐘,5 節 中共有 3 個範例。

版次 2026.11.9 範例於 2026年11 月 20 通過測試 36 個範例中有 36 個通過 變更內容

由 AI 翻譯。經人工以英文驗證。 我們如何製作書籍

譯自英文書,版次 2026.11.9。 閱讀原文

讀完本章後,你能說明本書每一份樣本的用途,計算路由器據以評分的三項指標並寫出各自的分母,也能讀懂一份只記錄一次、並在每次比較時重複使用的基準線。

目前,銀行客服信箱收到的訊息是由一個託管模型負責路由。本書的路由器是一個小型開放模型,由銀行自行執行;要回答的問題是:對於它負責處理的訊息,它能否與該託管模型表現相當,並且在對某則訊息沒有把握時明確表示。在比較任何模型之前,比較本身需要固定的資料、固定的樣本與固定的指標。否則,兩個看似相近的數字,可能來自不同的訊息,或是除以了不同的數量。

本書不會呼叫託管模型,因此改用一個替身,也就是較大的開放模型:Qwen3-4B-Instruct-2507。它的回答來自第三方發布的 4 位元 Q4_K_M GGUF 轉換版本,採用固定的修訂版本,且回答範圍限定在 77 個團隊名稱之內。它對每則測試訊息只回答一次,並存成錄製檔,範例則以離線方式讀取這些回答,因此任何人都能重現結果。若讀者有自己的模型,也可以用同樣的方式錄製它的回答,如第 1 章所示。

資料與其授權

最近一次變動於第 2026.11.2 版

路由器以 BANKING77 進行訓練與評量。BANKING77 是公開資料集,內容為銀行領域的客服詢問(Casanueva et al., 2020)。每則訊息帶有 77 個標籤之一。BANKING77 將這些標籤稱為意圖(intent);它們就是收件匣中的各個團隊(第 1 章)。

Casanueva et al.(2020)在 Efficient Intent Detection with Dual Sentence Encoders 中提出此資料集,論文發表於 Proceedings of the 2nd Workshop on Natural Language Processing for Conversational AI,第 38–45 頁(Anthology ID 2020.nlp4convai-1.5;arXiv 2003.04807)。其摘要將它描述為來自單一領域的高難度資料集,含有 13,083 筆已標註範例,涵蓋 77 種意圖;其第 3 節對銀行領域資料集給出相同的數量,並將之命名為 BANKING 77。資料卡記載了檔案所取自的 commit。兩個檔案合計包含同樣的 13,083 則訊息,下一節會加以計數。

資料卡也載明了本書所依據的事實。它指出,這些檔案是來源本身訓練與測試切分的複本,並未重新抽樣,而且每個團隊都同時出現在兩個檔案中。以訓練檔訓練、以測試檔評分的路由器,是在來源本身保留的訊息上接受評分,而不是在本書自行選定的切分上。

授權為 CC BY 4.0。與資料放在一起的 LICENSE 檔案開頭為「Attribution 4.0 International」。依據該授權,資料可以被分享與改作,但必須標明來源。本書將授權檔放在資料旁,並在資料卡中附上引用資訊,因此重複使用這些檔案的讀者便具備授權所要求的內容。

訊息維持原樣發布。沒有任何範例印出訊息文字,也沒有任何一章引用訊息,因此訊息的內容不會出現在書頁上。範例從資料中印出的一切,都是計數或比率。

實用原則: 將授權檔放在資料旁,在資料卡中引用該論文,並且只印出計數,絕不印出訊息文字。若你要重複使用真實客戶訊息的資料集,請在印出其中任何內容之前先閱讀它的資料卡,並在資料有記載的地方標明來源。

開發集、測試集與固定樣本

最近一次變動於第 2026.11.9 版

來源資料切分的兩個檔案本身並不足夠。路由器需要用來調校的訊息、用來報告結果的訊息,以及一小組能在數秒內跑完範例的訊息。每一組都必須事先固定,否則日後的結果可能是由樣本不同所致,而非模型不同所致。

開發集(dev split)取自訓練檔,絕不取自測試檔。對每個團隊,依類別檔的順序,本書以固定的隨機種子抽出該團隊約十分之一的訓練訊息,並將列號提交至 examples/data/banking77/samples.json。不在開發集中的訓練訊息,就是模型用來訓練的部分。由於抽樣是逐團隊進行,各團隊在開發集中所占的比例會跟隨其在訓練檔中的比例;訓練訊息較少的團隊,開發集中仍保有少量訊息,而不會是零。

測試集(test split)是來源資料本身保留的測試檔。本書從中抽出一份分層樣本,每個團隊 13 則訊息,總計 1001 則訊息。此樣本以與開發集抽樣相同的產生器洗牌一次,接續在開發集抽樣之後,並將洗牌後的順序提交。此順序有三個具名的前綴:洗牌後測試樣本的前 40 則訊息為 test_40,前 200 則為 test_200,整份樣本則為 test_1001。洗牌後樣本的前綴是一次隨機抽樣,因此 test_40 並不會依團隊順序讀取。

各項計數來自已提交的樣本,本書只引用這些數字。其中第一個 count-the-splits 還會檢查每個開發集列號皆不重複且落在訓練檔範圍內,使每則開發集訊息都是訓練檔中的一列,並檢查 test_40 與 test_200 分別是 test_1001 的前 40 則與前 200 則。

首先要看的是各切分的大小,以及團隊在其中的分布有多不均。計數不需要模型,讀者可以先執行。它讀取訓練檔、測試檔與開發集樣本,並計算各切分的數量:

count-the-splits.py Python 3.12.15 · torch 2.15.0+cpu · transformers 5.23.0 通過
"""Count each BANKING77 split and its messages per team, and check the committed samples; no model runs.The prose's point rests on the four "per label" lines for the test and training files."""import osos.environ["HF_HUB_OFFLINE"] = "1"os.environ["TRANSFORMERS_OFFLINE"] = "1"import torch  # noqa: E402torch.set_num_threads(2)import router_lib  # noqa: E402from collections import Counter  # noqa: E402router_lib.setup_runtime()train = router_lib.read_rows("train")test = router_lib.read_rows("test")dev = router_lib.read_sample("dev")  # dev row numbers index train.csv, never test.csvassert len(set(dev)) == len(dev), "dev indices repeat"assert max(dev) < len(train), "dev indices fall outside train.csv"train_per_label = Counter(label for _, label in train)test_per_label = Counter(label for _, label in test)test_1001 = router_lib.read_sample("test_1001")  # committed order: prefixes are the first n of ittest_40 = router_lib.read_sample("test_40")test_200 = router_lib.read_sample("test_200")# test_40 and test_200 are prefixes of the shuffled order, not new drawsassert test_1001[:40] == test_40, "test_40 is not the first 40 of test_1001"assert test_1001[:200] == test_200, "test_200 is not the first 200 of test_1001"sample_per_label = Counter(test[i][1] for i in test_1001)  # rows are (text, label index); [1] is the labeltrain_counts = [train_per_label[i] for i in range(len(router_lib.LABELS))]  # one entry per team, so a team with no rows counts 0test_counts = [test_per_label[i] for i in range(len(router_lib.LABELS))]sample_counts = [sample_per_label[i] for i in range(len(router_lib.LABELS))]print(f"train rows: {len(train)}")print(f"dev rows: {len(dev)}")print(f"test rows: {len(test)}")print(f"labels: {len(router_lib.LABELS)}")print(f"test per label min: {min(test_counts)}")print(f"test per label max: {max(test_counts)}")print(f"train per label min: {min(train_counts)}")print(f"train per label max: {max(train_counts)}")print(f"test_1001 per label min: {min(sample_counts)}")print(f"test_1001 per label max: {max(sample_counts)}")
輸出python count-the-splits.py
train rows: 10003
dev rows: 1003
test rows: 3080
labels: 77
test per label min: 40
test per label max: 40
train per label min: 35
train per label max: 187
test_1001 per label min: 13
test_1001 per label max: 13

測試檔是均勻的,每個團隊的數量相同;訓練檔則不然,各團隊的訊息數從 35 到 187 不等。這樣的差距,正是開發集要逐團隊抽樣,而不是從整個檔案隨機抽取十分之一的原因。測試檔自身的最少與最多,即 40 與 40,是相等的。

分層樣本同樣是均勻的,每個團隊 13 到 13 則訊息。

測試檔的均勻是來源資料的特性,本書也倚賴這一點。各團隊數量相等,意味著測試集不會因為路由器擅長處理最大的團隊而給予額外獎勵。在各團隊數量不均的樣本上表現良好的路由器,看起來可能比實際表現更好,因為其分數大部分來自訊息最多的團隊。

第 5 章在開發集上選定交接門檻,並將此選擇記錄在轉接器(adapter)的清單檔中。這個選擇背後的規則是:在開發集上調校,絕不在測試集上調校。提示詞、模型與配方都在讀取任何測試結果之前固定,且不因任何測試結果而更動;測試結果只讀取一次,用於報告,並且只在上述固定樣本上進行。

在正式環境中,收件匣同樣適用這條規則。保留一份取自收件匣既有訊息的開發集,再保留一份在調校路由器期間無人讀取的測試集。在調校期間被讀取過的測試集,看起來仍像測試集,但已不再衡量任何新的東西;日後用它衡量的路由器,會顯得比它在後續流量上的實際表現更好。

**實用原則:**開發集只從訓練列中逐團隊以固定種子抽取,並提交其列號。每份測試樣本只抽取一次,提交其順序,且只在報告時讀取。每個門檻、提示詞與設定都在開發集上選定。當開發集太小而無法做出判斷時,從訓練檔中再抽取更多開發訊息,絕不從測試檔中抽取。

三項指標,各有其分母

最近一次變動於第 2026.11.2 版

樣本說明要為哪些訊息評分,指標則說明要計算什麼。路由器會回傳一個團隊、一個信心值和一個轉交旗標,這樣的輸出可以用三種方式評分,而每一種方式回答的是營運該路由器的銀行所關心的不同問題。

準確率問的是路由器給出的團隊有多常是正確的。轉交率問的是有多常需要由人來閱讀訊息。未轉交訊息的準確率問的是,在路由器自行處理的訊息中,它有多常是正確的。每個問題都有各自的分母,本書在每一行輸出中都將這三者分開。信心值是路由器給其所選團隊的機率,門檻則是低於該值就轉交的數值,兩者的定義見第 1 章。

指標 計算對象 除以
準確率 團隊與標準答案團隊相同的訊息 樣本中的所有訊息
轉交率 信心值低於門檻的訊息 樣本中的所有訊息
未轉交訊息的準確率 未轉交的訊息中判斷正確者 未轉交的訊息

以公式表示,設樣本中有 N 則訊息:準確率 = 正確數 / N;轉交率 = 轉交數 / N;未轉交訊息的準確率 = 保留訊息中的正確數 / 保留數,其中保留數 = N 減去轉交數。

有兩項規則使這些指標能在不同候選方案之間比較。第一項規則是,已轉交的訊息仍計入準確率的分母,若其團隊錯誤,就算作錯誤。單看準確率並不會獎勵轉交,因為已轉交的訊息只有在其團隊正確時才算正確。單看未轉交訊息的準確率,則會隱藏轉交的成本,因為它恰好排除了交給人處理的那些訊息。轉交率則顯示出這項成本。三個數字必須一併閱讀,只在其中一項較佳的路由器,尚不能證明它比較好。

第二項規則關於輸出格式。每個比率都以百分比表示並四捨五入到小數點後一位,且與其計數並列印出,讀者因此可以親手相除來檢查比率。沒有計數的比率無法檢查,而印出時沒有分母的比率,被引用時可能會隱藏其樣本。

當第三項指標的分母為零時,該指標沒有定義。每則訊息都被轉交、因此沒有任何訊息被保留時,就會發生這種情況。此時本書印出「not defined」(未定義),如基準線一節所示,而不印出零,因為零表示所有保留的訊息都錯了,但實際上根本沒有保留的訊息。

這些指標是對標籤評分。本章的指令稿,以及第 1 章和第 4 章中的測量,回傳團隊只是為了評分,並不會把任何結果回傳給呼叫端。把團隊回傳給呼叫端的路由器,是透過第 1 章介紹的轉交規則來做,使低於門檻的訊息交給人,而不是交給某個團隊。

在正式環境中,轉交率是最先改變的指標。訊息的組成會隨季節、產品上市,或某個故障使收件匣湧入同一類問題而改變。準確率維持不變的路由器,轉交的訊息數仍可能遠多於開發切分所預測的數量,而唯一能發現這一點的方法,是在路由器實際接收的流量上,將比率與其計數一併印出。

實用原則: 每一項指標都要連同其計數與分母一併印出,且所有比率都四捨五入到小數點後一位。未轉交訊息的準確率要與轉交率並列報告,不可單獨呈現。當沒有任何訊息被保留時,印出「not defined」,而不是零。

以記錄的答案建立基準線

最近一次變動於第 2026.11.2 版

在有東西拿來對照評分之前,一項指標的意義不大。基準線是替代模型在 test_1001 上的得分,該樣本即第 10 章最終比較所用的樣本。後續各章會在它的前綴上為候選方案評分,也就是 test_40 與 test_200,分別是同一份固定樣本的前 40 則與前 200 則訊息。每個前綴都以同一份記錄評分,因此其上的基準線,就是同一批訊息的同一組答案。

替代模型對 test_1001 中的每則訊息各回答一次。這些答案存放在一份記錄 examples/data/recorded/standin-baseline/answers.jsonl 中,每個答案都指出一個團隊,並附上其對數機率。記錄旁邊有一份資訊清單(manifest)。清單載明產生該記錄的腳本、模型及其固定的修訂版本、提示詞的雜湊值、解碼設定與種子,以及答案檔的雜湊值。程式碼在讀取任何一行之前,會先依該雜湊值檢查答案檔,因此檔案若被更動,執行會失敗,而不是讓分數改變。

記錄是用來讀取的,而不是用來執行的。每個使用基準線的範例讀到的都是同一組答案,所以即使日後產生記錄的執行環境更新,基準線也不會隨每次執行而改變。以記錄取代在每個範例中呼叫模型,原因與固定版本(pin)的原因相同。記錄把答案固定在某一模型的某一修訂版本,因此讀者日後執行同一個範例,會看到相同的數字。本書從不呼叫託管的 API,因為託管模型的答案無法以同樣的方式固定。替代模型是任何人都能執行的開放模型,而本書取得它的答案的唯一途徑就是這份記錄。

基準線也不是上限。它是候選方案在同一批訊息上必須超越的分數,單靠它並不能說明轉交的取捨(hand-off trade-off)。在準確率上勝過基準線的候選方案,轉交的訊息仍可能多到客服人員讀不完,所以基準線一律與三項指標一併閱讀,而不是當成單一數字。

暫定門檻的代價是什麼?以三項指標在 test_1001 上評分,替代模型會顯示門檻為 0.5 時轉交多少則訊息,以及其餘訊息答對的比率。它的信心值是 llama-cpp-python 為其受限答案回傳的機率,也就是記錄的對數機率取 exp。該門檻是第 1 章的暫定值,所以其轉交率並非本書最終的轉交率,第 5 章會在 dev 上選定真正的門檻。範例中也套用了一個高於所有信心值的門檻,這會轉交每一則訊息。

baseline-measures.py Python 3.12.15 · torch 2.15.0+cpu · transformers 5.23.0 通過
"""Score the stand-in's recorded answers on test_1001 with the three measures, at chapter 1's placeholder threshold and at one above every confidence; no model runs. The point rests on the accuracy and hand-off lines, and the answers' hash is checked first."""import hashlib, json, math, osos.environ.update(HF_HUB_OFFLINE="1", TRANSFORMERS_OFFLINE="1")import torch  # noqa: E402torch.set_num_threads(2)import router_lib  # noqa: E402router_lib.setup_runtime()PLACEHOLDER = 0.5  # Chapter 5 chooses the real threshold on the dev split.ABOVE_ALL = 1.01  # Confidence is at most 1.0, so this hands off every message.RECORDED = router_lib.HERE / "data" / "recorded" / "standin-baseline"manifest = json.loads((RECORDED / "manifest.json").read_text())raw = (RECORDED / "answers.jsonl").read_bytes()assert hashlib.sha256(raw).hexdigest() == manifest["output_sha256"]["answers.jsonl"]answers = {row["index"]: row for row in map(json.loads, raw.decode().splitlines())}  # keyed by test.csv row, not by sample positionrows = router_lib.read_rows("test")sample = router_lib.read_sample("test_1001")golds = [rows[i][1] for i in sample]  # in the sample's committed order, so position k of each list is one messagepreds = [answers[i]["label"] for i in sample]# Confidence is the probability llama-cpp-python returns for the constrained answer: exp of its log-probability.confs = [math.exp(answers[i]["logprob"]) for i in sample]n = len(sample)first = router_lib.metrics(preds, golds, confs, PLACEHOLDER)  # one call returns the counts and rates of all three measureshigh = router_lib.metrics(preds, golds, confs, ABOVE_ALL)print(f"messages: {n}")print(f"placeholder threshold: {PLACEHOLDER}")print(f"accuracy: {first['correct']}/{n} ({first['accuracy']:.1%})")print(f"handed off: {first['handed_off']}/{n} ({first['handoff_rate']:.1%})")m = first["not_handed_off"]print(f"accuracy on messages not handed off: {first['correct_not_handed_off']}/{m} ({first['accuracy_not_handed_off']:.1%})")print(f"threshold above every confidence: {ABOVE_ALL}")print(f"handed off at that threshold: {high['handed_off']}/{n} ({high['handoff_rate']:.1%})")if high["accuracy_not_handed_off"] is None:  # None means no message is kept, so the measure has no denominator    print("accuracy on messages not handed off at that threshold: not defined (0 messages not handed off)")else:    print(f"accuracy on messages not handed off at that threshold: {high['correct_not_handed_off']}/{high['not_handed_off']}")
輸出python baseline-measures.py
messages: 1001
placeholder threshold: 0.5
accuracy: 560/1001 (55.9%)
handed off: 30/1001 (3.0%)
accuracy on messages not handed off: 554/971 (57.1%)
threshold above every confidence: 1.01
handed off at that threshold: 1001/1001 (100.0%)
accuracy on messages not handed off at that threshold: not defined (0 messages not handed off)

在暫定門檻下,替代模型的準確率為 560/1001 (55.9%),轉交 30/1001 (3.0%)。在它保留的訊息上,準確率為 554/971 (57.1%)。

在高於所有信心值的門檻下,轉交率為 1001/1001 (100.0%),因此未轉交訊息的準確率為 not defined (0 messages not handed off)。

讀者自己的託管模型是另一條基準線。它在同一批訊息上的得分會不同,本書也不主張替代模型的數字就是收件匣的數字。讀者的基準線,是其模型在 test_1001 上記錄的答案,並以本章的三項指標評分。真正重要的比較,是讀者的候選方案與該基準線在相同訊息、相同計數下的比較。

下一節會統計替代模型的錯誤答案,並說明它們落在哪些團隊之間。錯誤答案的數量是基準線的第一個數字。

實用原則: 在 test_1001 這份固定樣本(每個候選方案的前綴都取自它)上,只記錄一次基準線。把模型固定的修訂版本、提示詞的雜湊值與解碼設定存入資訊清單,並在讀取任何一行之前,依雜湊值檢查答案檔。每個候選方案只與在相同訊息上評分的基準線比較,無論是 test_40、test_200 或 test_1001。若以自己的託管模型作為基準線,請以同樣方式記錄它的答案,並在書面報告中說明其分數與替代模型的不同。

標籤相互衝突之處

最近一次變動於第 2026.11.2 版

基準線的計數說明了替代模型答錯的頻率,卻沒有說明它混淆了哪些團隊,而客服人員能據以採取行動的正是這些混淆。路由器會混淆的一對團隊,可能需要更清楚的團隊說明、針對該對團隊的規則,或在訓練時為其中一個團隊增加訊息。這些都無法從總數得知,因此本書從記錄下來的答案讀取這些配對,而不是預先假設哪些團隊相近。

要計算錯誤答案,需要用到記錄本身,所以下一個範例會讀取它,對照清單(manifest)檢查,確認它恰好包含 test_1001 的訊息,然後計算錯誤答案數,以及出現次數最多的三個「標準答案團隊對應到回答團隊」的配對。次數相同時,依各團隊在類別檔中的位置決定順序,因此每次執行都會以相同順序印出相同的配對。

confusions-in-the-baseline.py Python 3.12.15 · torch 2.15.0+cpu · transformers 5.23.0 通過
"""Count the stand-in's wrong answers, its three most frequent gold-to-answer pairs and the teams it never answers, on test_1001; no model runs. The point rests on the "pair" and "never answered" lines."""import hashlib, json, osos.environ.update(HF_HUB_OFFLINE="1", TRANSFORMERS_OFFLINE="1")import torch  # noqa: E402torch.set_num_threads(2)import router_lib  # noqa: E402from collections import Counter  # noqa: E402router_lib.setup_runtime()RECORDED = router_lib.HERE / "data" / "recorded" / "standin-baseline"manifest = json.loads((RECORDED / "manifest.json").read_text())raw = (RECORDED / "answers.jsonl").read_bytes()assert hashlib.sha256(raw).hexdigest() == manifest["output_sha256"]["answers.jsonl"]records = [json.loads(line) for line in raw.decode().splitlines()]sample = router_lib.read_sample("test_1001")assert sorted(r["index"] for r in records) == sorted(sample), "recorded rows differ from test_1001"assert all(router_lib.LABELS[r["label"]] == r["team"] for r in records), "label and team disagree"test, LABELS = router_lib.read_rows("test"), router_lib.LABELSgold_totals = Counter(test[i][1] for i in sample)answered = Counter(r["label"] for r in records)pairs = Counter((test[r["index"]][1], r["label"]) for r in records if r["label"] != test[r["index"]][1])  # (gold, answer); [1] is the gold labelwrong = sum(pairs.values())# Ties break on the lower gold label index, then the lower answer index.top = sorted(pairs.items(), key=lambda kv: (-kv[1], kv[0][0], kv[0][1]))[:3]never = sorted(team for k, team in enumerate(LABELS) if answered[k] == 0)  # sorted by name, so uppercase names print firstprint(f"messages: {len(sample)}")print(f"wrong answers: {wrong}")print(f"wrong rate: {100 * wrong / len(sample):.1f}% ({wrong} of {len(sample)})")for rank, ((gold, answer), count) in enumerate(top, start=1):    print(f"pair {rank} count: {count}")    print(f"pair {rank} gold: {LABELS[gold]}")    print(f"pair {rank} answer: {LABELS[answer]}")    print(f"pair {rank} of gold team: {count}/{gold_totals[gold]}")print(f"teams never answered: {len(never)}")for rank, team in enumerate(never, start=1):    gold = LABELS.index(team)    count, answer = max(((c, a) for (g, a), c in pairs.items() if g == gold), key=lambda ca: (ca[0], -ca[1]))  # most frequent wrong answer; ties go to the lower answer index    print(f"never answered {rank} team: {team}")    print(f"never answered {rank} messages: {gold_totals[gold]}")    print(f"never answered {rank} most often as: {LABELS[answer]}")    print(f"never answered {rank} most often count: {count}")
輸出python confusions-in-the-baseline.py
messages: 1001
wrong answers: 441
wrong rate: 44.1% (441 of 1001)
pair 1 count: 13
pair 1 gold: Refund_not_showing_up
pair 1 answer: request_refund
pair 1 of gold team: 13/13
pair 2 count: 13
pair 2 gold: failed_transfer
pair 2 answer: transfer_not_received_by_recipient
pair 2 of gold team: 13/13
pair 3 count: 12
pair 3 gold: card_arrival
pair 3 answer: card_delivery_estimate
pair 3 of gold team: 12/13
teams never answered: 4
never answered 1 team: Refund_not_showing_up
never answered 1 messages: 13
never answered 1 most often as: request_refund
never answered 1 most often count: 13
never answered 2 team: card_arrival
never answered 2 messages: 13
never answered 2 most often as: card_delivery_estimate
never answered 2 most often count: 12
never answered 3 team: failed_transfer
never answered 3 messages: 13
never answered 3 most often as: transfer_not_received_by_recipient
never answered 3 most often count: 13
never answered 4 team: order_physical_card
never answered 4 messages: 13
never answered 4 most often as: get_physical_card
never answered 4 most often count: 10

替代模型的錯誤率為 44.1% (441 of 1001)。在未套用任何門檻的情況下,錯誤率等於 1 減去準確率,因此這個錯誤率與基準線一節中的準確率相加為 100%。

三個最常見的配對,各自佔去其標準答案團隊全部或幾乎全部的樣本訊息。第一個配對佔 13/13,第二個佔 13/13,第三個佔 12/13,所以前兩個佔了其標準答案團隊的每一則訊息,第三個則佔了除一則以外的全部。團隊名稱為每個配對提示了一個原因:第一個與退款有關,第二個與轉帳有關,第三個與卡片的送達及其送達時間估計有關。這只是對名稱的解讀。本章並未閱讀訊息,也沒有任何範例印出訊息,因此這些配對只是值得查看的理由,並不是關於訊息內容的發現。

替代模型從未回答過 77 個團隊中的 4 個,所以標準答案團隊屬於這些團隊的每一則訊息都答錯。以其中一個團隊 card_arrival 來說,最常見的錯誤答案是 card_delivery_estimate,佔其訊息中的 12。

以另一個團隊 order_physical_card 來說,最常見的錯誤答案是 get_physical_card,佔其訊息中的 10。記錄並未顯示為何從未給出這些團隊,因此這份清單只是值得查看的理由。

這些配對描述的是替代模型在此樣本上的表現,而不是這些團隊或收件匣本身。讀者自己的模型會有自己的配對,讀者應從自己記錄下來的答案中計算。若問題是如何修正某個配對,修正方式必須如開發集與測試集一節所要求,在開發集上選擇並檢驗。若依據在 test_1001 上閱讀配對而選出某項變更,就等於在測試分割上調校過,其在該分割上的結果不能作為路由器的衡量值來報告。

當正式環境中某個團隊的轉交或客訴增加時,請先重複這項計數。以收件匣自己記錄下來的答案重新計算配對,印出每個配對及其次數,並將清單與基準線的清單比較。即使整體比率沒有改變,清單的變化也能指出路由器的行為在何處有所移動。

本章的決定,簡述如下:

  • 開發集依團隊逐一從訓練檔抽出,使用固定的種子,其列號會被提交。
  • 測試樣本的順序固定,而且只在報告時才讀取。
  • 每項衡量值都連同計數與分母一併印出,分母為零時以「未定義」取代。
  • 替代模型在 test_1001 上記錄的答案即為基準線,由經過清單檢查的檔案讀取。

基準線的三個數字合起來讀,就是候選方案必須在相同訊息上超越的分數。第 3 章在選擇基礎模型之前,先計算路由器提示在 test_40 上的詞元數。第 5 章依該章所述的規則,在開發集上選擇轉交門檻。第 10 章在相同的 test_1001 樣本上,將路由器與基準線比較。

實用原則: 對每個候選方案,在相同樣本上計算錯誤答案與最常見的配對,並印出每個配對及其次數。把這些配對當作該往哪裡查看的清單來讀。應印出最常見的三個配對,而不只是第一個,因為單一配對容易讓人過度解讀,而清單能顯示錯誤是集中還是分散。在再次讀取測試分割之前,先在開發集上檢驗任何修正。

本章,於本版次中

版次 2026.11.9範例於 2026年11 月 20 通過測試本章 3 個範例 個範例中有 3 個通過

譯自英文書,版次 2026.11.9。

引用本節

格式

各種格式皆引用英文原書,本譯本即依循該原書。

每種格式都會標示本版。其連結會開啟目前版次,節標題會說明該節內文最後一次變動的時間。存取日期與擷取日期即為你開啟此頁的當日。

本頁內容

第 2 章,共 10 章: 選定模型之前,先衡量路由任務

  1. 資料與其授權
  2. 開發集、測試集與固定樣本
  3. 三項指標,各有其分母
  4. 以記錄的答案建立基準線
  5. 標籤相互衝突之處

返回頂端所有章節