為銀行收件匣打造一個在不確定時轉交的路由器
閱讀約需 30 分鐘 分鐘,6 節 中共有 4 個範例。
讀完本章,你可以建立一個路由器,針對單一訊息回傳團隊、信心值與轉交旗標,並以三項指標在固定樣本上為它評分,也能理解為何未經訓練的小型模型即使依現狀加上提示,也無法作為路由器的第一版。
銀行客戶的訊息全都進入同一個客服佇列,本書稱之為收件匣。路由器會把收件匣中的每則訊息送往 77 個團隊之一。若路由器對每則訊息都選出一個團隊,有時就會選錯。錯誤的團隊會讓客戶多花時間,也讓客服人員多一道轉送訊息的步驟。本章要建立的路由器,會在不確定時明確表示。
團隊是路由器可以回傳的標籤,例如 card_arrival,它從來不是一群人。閱讀訊息的人是銀行的客服人員,路由器無法送出的訊息會交給其中一位。
訊息及其所屬團隊來自 BANKING77,這是一個公開的資料集,內容為客戶寫給銀行的訊息,依 CC BY 4.0 授權發布。BANKING77 把每個標籤稱為意圖(intent)。本書此後稱之為團隊,標籤的寫法與資料集中完全相同。
路由器是整個系統:一個模型、一段提示、一個門檻值,以及把訊息送出的程式碼。本章建立的是一個粗略的路由器。當路由器的門檻值只是暫代值、模型只是替身時,它就是粗略的;但這一個仍是可運作的路由器,因為它對每則訊息都會回傳答案,且每個輸出都能被評分。 你需要 Python,以及對託管模型 API 的一次呼叫,你或許已經寫過。本章不要求你了解 Transformer 的內部運作;若某個內部細節重要,只會以一句話說明。
首先要介紹兩個共用的部分。第一個是替身模型對測試訊息所給答案的紀錄,詢問模型的那一節會加以介紹。多數範例離線讀取這些答案,只有一個範例會即時執行小型模型,見展示其失敗的那一節。第二個是 router_lib,這是本書 examples 資料夾中的共用模組,內含團隊標籤、路由器提示、轉交規則與各項指標。每個範例都會匯入它,因此同一個函式在每一章中的意義都相同。
路由器的回傳內容
對於每一則訊息,路由器會回傳三項內容。團隊(team)是標籤之一,以標籤本身表示。信心值(confidence)是介於零到一之間的數字,表示路由器對該團隊有多大把握。轉交旗標(hand-off flag)在信心值過低、不宜將訊息送出時為 true,此時改由人員接手處理該訊息。
在本章中,信心值的含義很窄。它是 llama-cpp-python 對受限制的答案所回傳的機率,而紀錄中保存的是對數機率。簡單來說,它就是模型賦予它所寫出的那個團隊多少機率。以公式表示,信心值 = exp(各 token 的 log p 之總和),也就是答案中各 token 機率的乘積。token 是模型讀取與寫出的一小段文字。這不是第 5 章所用的、針對各團隊計算的 softmax。它是一個分數,而不是經過校準的機率,本章中也沒有任何內容顯示某個大小的信心值與該團隊實際答對的頻率相符。第 5 章在開發集(dev split)上檢查校準情形;開發集是保留下來用於挑選設定的訓練訊息(第 2 章):它把訊息依信心值分成數個區間,並印出每個區間的筆數與準確率。
| 輸出 | 內容 | 使用者 |
|---|---|---|
| 團隊 | 銀行標籤集中的一個標籤 | 旗標為 false 時,訊息被送往的目的地 |
| 信心值 | llama-cpp-python 對受限制的答案所回傳的機率,以分數表示 | 轉交規則 |
| 轉交旗標 | 信心值低於門檻時為 true | 接手訊息的人員 |
旗標最為重要,原因在於實際營運。永遠回傳某個團隊的路由器,會把每一則訊息都送往某處,包括那些它根本沒有依據可以判斷的訊息。轉交則是把訊息交給能夠判斷去向的人員,而會說出自己不確定的路由器,能讓這位人員的工作被看見。我們建議每個路由器在每次回答中都回傳旗標,無論是 true 或 false,如此一來,以下各節的每項衡量指標都能僅從輸出計算出來。
讓路由器能夠表示自己不確定,在研究文獻中有個名稱:選擇性分類(selective classification),或稱拒絕選項(reject option)。Geifman 與 El-Yaniv 於 2017 年發表的深度網路預印本描述了這項取捨。拒絕部分輸入的分類器涵蓋的輸入較少,而這些技術有可能透過放棄涵蓋率,顯著提升深度網路對其保留輸入的預測品質。他們的方法也讓使用者能夠設定目標風險水準。本書中的轉交規則並不這麼做。它是在保留資料上挑選一個門檻,對於剩餘的風險則不提供任何保證。
本章的各項衡量之所以回傳團隊,只是為了評分。轉交一節中的單一訊息範例,只有在旗標為 false 時才回傳團隊。
實用原則: 回傳每個團隊時,都要連同旗標一起回傳,只要旗標為 true,就把訊息交給人員。僅在旗標為 false 時,才把團隊回傳給呼叫端。即使移除旗標會讓路由器看起來更完整,也要保留旗標,因為轉交指標會計入它。
向模型詢問單一團隊
路由器的團隊由模型給出,而模型受提示詞引導。提示詞是銀行最常修改的路由器部分,因此我們把它固定在同一個地方。router_prompt 為一則訊息建立一份提示詞。提示詞要求給出一個團隊,並提供每個團隊的名稱、該則訊息,以及結尾的 Team: 一詞,讓模型接著補完。提示詞只包含團隊名稱和正在路由的那一則訊息,沒有其他內容,因此樣本中的其他訊息不會隨之送進模型。
每一次即時執行與錄製執行都使用來自 router_lib.router_prompt 的同一份提示詞文字,所以每次執行的字句都相同。但模型讀到的內容並不總是相同。錄製時,這些字句會被包進替身模型的對話範本;小型模型一節中的即時執行,則是不套用範本,直接把原始文字交給小型模型。提示詞一改,就是另一份錄製,它的分數無法與舊分數比較。提示詞是路由器版本的一部分,修改提示詞的讀者應當記錄這項變更,做法與本書記錄模型更換相同。
本書提到該組織時只使用「銀行」這個名稱。銀行自己的路由器是託管模型,每則訊息都會呼叫它。我們無法使用這類模型,本書也從不呼叫託管模型。我們改用替身模型 Qwen3-4B-Instruct-2507,這是一個較大的開放模型,書中每個路由器都以替身模型的答案作為衡量基準。讀者自己的託管模型對某些訊息的回答可能不同,分數也會因此不同。
我們選擇這個替身模型,是因為任何人都能重現它的答案。它的授權為 Apache-2.0,這是 GGUF 儲存庫的模型卡針對本書鎖定版本的檔案所宣告的。該檔案是 Qwen3-4B-Instruct-2507-Q4_K_M.gguf,一個量化版本,由 llama-cpp-python 函式庫在 CPU 上執行。它的錄製清單載明了檔案的 SHA-256,因此下載檔案的讀者可以在執行任何東西之前先行檢查。
替身模型對 test_1001 的每則訊息各回答一次,該樣本固定包含 1,001 則測試訊息,而 test_40 是其中前 40 則訊息。錄製使用貪婪解碼(每一步取最可能的詞元)與固定的種子。錄製也使用只允許團隊名稱的文法,因此每個錄製下來的答案都是這 77 個標籤之一。正因為有這個文法,錄製的答案才一定是團隊名稱。第 4 章會說明它,因為小型模型一節中的失敗正是用同一個概念來修正。
擁有自己模型的讀者,可以用同樣的方式錄製它的答案。你要寫一個函式 call_model。它接收一則訊息,並回傳團隊與答案的對數機率,也就是答案各詞元對數機率的總和,與替身模型的錄製所儲存的相同。函式 record_answers 會對樣本中的每則訊息呼叫它,依替身模型的格式為每則訊息寫出一行,而且若函式回傳的名稱不是任何一個團隊,就會引發錯誤。其餘部分對每個模型都相同,所以同一樣本上的兩份錄製可以逐行比較。
1"""Write a model's team answers in the stand-in's JSONL shape, then check record_answers against the stand-in's recording.2The line to read is the last one printed, which counts the lines that match the recording. The stand-in here replays3that recording, so no model runs."""45import os67os.environ["HF_HUB_OFFLINE"] = "1"8os.environ["TRANSFORMERS_OFFLINE"] = "1"910import json # noqa: E40211import tempfile # noqa: E4021213import torch # noqa: E4021415torch.set_num_threads(2)1617import router_lib # noqa: E4021819router_lib.setup_runtime()202122def record_answers(call_model, messages, path):23 """Write one JSONL line per (index, text); call_model(text) returns (team, logprob)."""24 with open(path, "w") as out:25 for index, text in messages:26 team, logprob = call_model(text)27 if team not in router_lib.LABELS:28 raise ValueError("the model returned a name that is not a team")29 label = router_lib.LABELS.index(team) # stored as the label, the same encoding as the gold labels30 row = {"index": index, "label": label, "team": team, "logprob": logprob}31 out.write(json.dumps(row) + "\n")323334RECORDING = router_lib.HERE / "data" / "recorded" / "standin-baseline" / "answers.jsonl"35rows = router_lib.read_rows("test") # each row is (text, gold label)36sample = router_lib.read_sample("test_40")37messages = [(i, rows[i][0]) for i in sample] # element 0 of a row is its text, which the model reads38with open(RECORDING) as f:39 recording_lines = f.read().splitlines()40recorded = {json.loads(line)["index"]: json.loads(line) for line in recording_lines} # keyed by message index41by_text = {rows[i][0]: (recorded[i]["team"], recorded[i]["logprob"]) for i in sample} # keyed by text, not index424344def standin(text):45 """Stand in for a model: return the recorded team and logprob for this message."""46 return by_text[text]474849with tempfile.TemporaryDirectory() as folder:50 path = os.path.join(folder, "answers.jsonl")51 record_answers(standin, messages, path)52 with open(path) as f:53 written = f.read().splitlines()5455matching = sum(line in recording_lines for line in written) # a line matches when it equals a recorded line exactly56print(f"messages written: {len(written)}")57print(f"lines matching the recording: {matching}/{len(written)}")
python record-your-own-answers.pymessages written: 40
lines matching the recording: 40/40
在信任你自己的錄製之前,先對替身模型的答案執行 record_answers 檢查。這裡的替身函式只是重播錄製內容,所以這項檢查測試的是 record_answers,而不是模型。它寫出的每一行都與錄製相符,共 40 行。當你把該函式換成對自己模型的呼叫時,同一項檢查會顯示你的錄製是否與替身模型的錄製具有相同的形狀。
實用原則: 在同一個固定樣本上為每個模型評分,並在把它與替身模型比較之前,先用 record_answers 錄製它的答案。要說明每個分數是在哪個樣本上取得的,且只有在樣本相符時,才把兩個分數並排比較。
將不確定的訊息轉交人工
替身模型的回答會為每則訊息給出一個信心值,本節將這個信心值轉換成轉交旗標。
轉交規則只是一次比較。當信心值低於門檻時,handoff(confidence, threshold) 回傳 true;當信心值等於門檻或高於門檻時,回傳 false。被轉交的訊息交由人工處理;未被轉交的訊息則送往路由器所指定的團隊。本書中所有會把團隊回傳給呼叫端的路由,都使用這個函式,因此沒有任何呼叫端能在未經這項判斷的情況下取得團隊。
這條規則讀起來很簡單,真正的工作在於選定那個數字。本章使用一個暫定門檻 0.5,每一份用到它的輸出都會註明這一點。暫定門檻背後沒有任何規則支撐:它只是讓規則得以運作的一個數字。
第 5 章會依該章所述的規則,在開發集上選定門檻,並將選定的值記錄在轉接器的資訊清單中,讀者因此能看出某個結果用了哪一個門檻,以及該門檻是依據什麼資料選出的。測試樣本絕不用來選定門檻。在那之前,暫定門檻是本章唯一可用的門檻,其結果用於教學各項指標,而非評斷路由器。
轉交率是轉交給人工的訊息所占的比例,它會隨門檻變動。調高門檻,會有更多訊息交給人工;調低門檻,則有更多訊息直接送往團隊。這種取捨正是門檻必須經由量測來選定的原因。第 5 章會先在開發集上以不只一種設定呈現這項取捨,再選出其中一種。
1"""Route the first message of test_40 from the stand-in's recorded answer, at the placeholder threshold.2The prose reads the printed team and the hand-off line. No model runs here, and the message's text is never printed."""34import os56os.environ["HF_HUB_OFFLINE"] = "1"7os.environ["TRANSFORMERS_OFFLINE"] = "1"89import json # noqa: E40210import math # noqa: E4021112import torch # noqa: E4021314torch.set_num_threads(2)1516import router_lib # noqa: E4021718router_lib.setup_runtime()1920THRESHOLD = 0.5 # Placeholder. Chapter 5 chooses the threshold on the dev split.21RECORDING = router_lib.HERE / "data" / "recorded" / "standin-baseline" / "answers.jsonl"222324def route(row):25 """Return (team, confidence, handed off) for one recorded answer. The team is None when handed off."""26 confidence = math.exp(row["logprob"]) # the recording stores a log-probability; exp gives a probability27 flag = router_lib.handoff(confidence, THRESHOLD) # True below THRESHOLD, and for a NaN; equal to THRESHOLD is kept28 return (None if flag else row["team"]), confidence, flag293031with open(RECORDING) as f:32 recorded = {r["index"]: r for r in map(json.loads, f)} # keyed by message index, as the sample lists them3334first = router_lib.read_sample("test_40")[0] # the first of the sample's 40 message indexes35team, confidence, flag = route(recorded[first])36assert not flag # the prose states this message is kept; a change that hands it off fails the run37print(f"team: {team or 'none (handed off)'}")38print(f"confidence: {confidence:.2f}")39print(f"handed off: {'yes' if flag else 'no'}")
python route-one-message.pyteam: top_up_reverted
confidence: 1.00
handed off: no
接下來追蹤一則訊息走完整條路由,從記錄下來的回答一直到印出的團隊。這個範例取 test_40 的第一則訊息,讀取替身模型為它記錄的回答,並在暫定門檻下經由 handoff 進行路由。它會印出團隊、四捨五入至小數點後兩位的信心值,以及該訊息是否被轉交,但絕不印出訊息的文字。這則訊息的信心值為 1.00,通過了暫定門檻,所以路由器保留這則訊息,並回傳它的團隊 top_up_reverted。腳本會斷言這則訊息未被轉交。一則訊息能呈現輸出的樣貌,卻無法顯示路由器有多常判斷正確。
**實用原則:**門檻要在開發集上選定,絕不在測試樣本上選;每次都要在準確率旁一併報告轉交率。門檻仍是暫定值時,要在每一份輸出中註明,並且不得將其準確率用於任何關於路由器成果的主張。
以固定樣本評分路由器
路由器是以已知所屬團隊的訊息來評分。本章使用 test_40,這是一份包含 40 則測試訊息的固定樣本,讓每位讀者都以相同順序對相同的訊息評分。第 2 章說明這些樣本是如何抽取的、使用哪一個切分來選擇設定,以及為什麼測試樣本不參與該選擇。以下的數字只描述這份樣本。
路由器以三個數字衡量,每個數字旁都附有其計數。
- 準確率是團隊與標準答案標籤相符的訊息數,除以樣本中的全部訊息數。被轉交人工的訊息也計入分母,若其團隊錯誤,則視為錯誤。
- 轉交率是信心值低於門檻的訊息數,除以全部訊息數。
- 未轉交訊息的準確率是路由器留下的訊息中正確的訊息數,除以其留下的訊息數。若路由器沒有留下任何訊息,則回報為未定義。
每個指標回答不同的問題。準確率詢問路由器整體上有多常答對。轉交率詢問有多少工作交給了人。留下訊息的準確率則詢問路由器留下的訊息是否能直接送往團隊。單看準確率無法區分這兩種錯誤。被轉交的錯誤團隊會拉低準確率,未經檢查就送達團隊的錯誤團隊也會。只有第三個指標能單獨呈現第二種錯誤,而這正是客服人員最直接感受到的一種。
1"""Score the stand-in's recorded answers on test_40, with a placeholder hand-off threshold.2The last printed line, accuracy on messages not handed off, is the one the prose reads against the others: it is the3accuracy of the messages a team receives. No model runs here, and the answers come from the recording."""45import os67os.environ["HF_HUB_OFFLINE"] = "1"8os.environ["TRANSFORMERS_OFFLINE"] = "1"910import json # noqa: E40211import math # noqa: E4021213import torch # noqa: E4021415torch.set_num_threads(2)1617import router_lib # noqa: E4021819router_lib.setup_runtime()2021THRESHOLD = 0.5 # Placeholder. Chapter 5 chooses the threshold on the dev split.22RECORDING = router_lib.HERE / "data" / "recorded" / "standin-baseline" / "answers.jsonl"2324answers = {}25with open(RECORDING) as f:26 for line in f:27 row = json.loads(line)28 answers[row["index"]] = row2930rows = router_lib.read_rows("test")31sample = router_lib.read_sample("test_40")3233golds = [rows[i][1] for i in sample] # element 1 of a test row is its gold label; element 0 is its text34preds = [answers[i]["label"] for i in sample] # the recorded label is the team's position in LABELS, as the gold is35confs = [math.exp(answers[i]["logprob"]) for i in sample] # exp turns each recorded log-probability into a confidence3637# metrics applies the hand-off rule at THRESHOLD; accuracy's denominator still includes handed-off messages38result = router_lib.metrics(preds, golds, confs, THRESHOLD)39n = result["n"]4041print(f"messages: {n}")42print(f"placeholder threshold: {THRESHOLD}")43print(f"accuracy: {result['correct']}/{n} ({result['accuracy']:.1%})")44print(f"handed off: {result['handed_off']}/{n} ({result['handoff_rate']:.1%})")45if result["accuracy_not_handed_off"] is None: # None when the router keeps no message, so the measure is undefined46 print("accuracy on messages not handed off: not defined (0 messages not handed off)")47else:48 m = result["not_handed_off"]49 print(50 f"accuracy on messages not handed off: {result['correct_not_handed_off']}/{m} "51 f"({result['accuracy_not_handed_off']:.1%})"52 )
python route-recorded-answers.pymessages: 40
placeholder threshold: 0.5
accuracy: 20/40 (50.0%)
handed off: 2/40 (5.0%)
accuracy on messages not handed off: 20/38 (52.6%)
以下是這份樣本在佔位門檻下的三個指標。這個範例讀取已記錄的答案,將門檻套用在其信心值上,並印出每個指標及其計數。要注意的是未轉交訊息的準確率這一行,因為它是團隊實際收到的訊息的準確率。
綜合三個指標來看,佔位門檻並未保護各團隊。路由器在樣本上的準確率為 20/40 (50.0%),沒有任何團隊應該直接接受這樣的結果。門檻只轉交了 2/40 (5.0%) 的訊息,因此樣本中大多數訊息都會送達團隊。這些留下的訊息,路由正確率為 20/38 (52.6%),僅略高於整份樣本的準確率。對每則訊息都回傳一個團隊的路由器,還不是銀行可以使用的路由器。
這麼小的樣本能顯示路由器失敗,也能顯示各指標如何變動,卻無法有把握地區分兩個路由器的優劣。第 2 章說明了較大的樣本,第 5 章則在同類樣本上衡量其選定的門檻。
實用原則: 在同一份固定樣本上,同時回報準確率、轉交率與未轉交訊息的準確率,並各自附上計數;只有在兩個路由器都是在該樣本上衡量時,才比較它們。
先看小型模型會做什麼
最直接的捷徑,是捨棄替身模型,直接詢問小型模型。SmolLM2-135M-Instruct 是本書保留的系列中最小的模型,也是本書其餘部分的核心模型。它可以在 CPU 上執行,並能從固定的修訂版本離線載入。如果它能回答出團隊名稱,路由器就完全不需要任何錄製的回答,因此在建立其他任何東西之前,值得先測試這個捷徑。
這項測試向模型提出路由器會提出的同一個問題。模型會收到樣本中前 20 則訊息的路由器提示,對回答不加任何限制,並將長度上限設為幾個 token。請先猜猜看:在沒有任何機制限制模型只能從清單中選擇的情況下,這些回答中會有多少個是團隊名稱?然後再來計算。
1"""Ask the 135M model for a team with the raw router prompt and no constraint, on the first 20 messages of test_40.2Look at the last printed line, which counts the answers that are exactly a team name. The answers stay in this file3and are never returned to a caller."""45import os67os.environ["HF_HUB_OFFLINE"] = "1"8os.environ["TRANSFORMERS_OFFLINE"] = "1"910import torch # noqa: E4021112torch.set_num_threads(2)1314import router_lib # noqa: E4021516router_lib.setup_runtime()1718SMALL = "HuggingFaceTB/SmolLM2-135M-Instruct"1920tokenizer, model = router_lib.load_model(SMALL)21rows = router_lib.read_rows("test")22sample = router_lib.read_sample("test_40", n=20) # the first 20, to keep the run short23teams = set(router_lib.LABELS)2425answers = []26with torch.no_grad():27 for i in sample:28 # the raw prompt: no chat template and no grammar, so the model may write anything29 inputs = tokenizer(router_lib.router_prompt(rows[i][0]), return_tensors="pt")30 # at most 10 new tokens, and greedy: the most likely token at each step31 out = model.generate(32 **inputs, max_new_tokens=10, do_sample=False, pad_token_id=tokenizer.eos_token_id33 )34 # the output starts with the prompt, so skip its tokens and keep only the answer35 new_tokens = out[0, inputs["input_ids"].shape[1] :]36 answers.append(tokenizer.decode(new_tokens, skip_special_tokens=True).strip())3738print(f"messages: {len(answers)}")39# an answer counts only when it is exactly a team name, with no extra words around it40print(f"answers that are a team name: {sum(a in teams for a in answers)}/{len(answers)}")
python unconstrained-first-try.pymessages: 20
answers that are a team name: 0/20
模型的回答沒有任何一個是團隊名稱,因此路由器沒有可以交給團隊的內容。這項測量會保留模型的回答,但絕不會把它們回傳給呼叫者。
這個失敗並不表示小型模型永遠無法進行路由。它顯示的是:這個模型以這種方式被詢問時,不會回傳團隊。有兩種不同的修正方式,我們依序說明。第 4 章會限制回答,使模型只能寫出團隊名稱。第 5 章會在模型上訓練一個分類頭,讓每個團隊只需一次前向傳遞就能得到分數。本章兩者都不採用,這也是本章的路由器使用替身模型的錄製回答來執行的原因。
實用原則: 在模型為任何訊息進行路由之前,先在固定的樣本上計算它的回答中有多少是團隊名稱,並將該數量與樣本大小比較。如果模型沒有為每則訊息回傳團隊,就不要照現狀用它來路由。請將它的回答限制在各團隊之內,或針對這項任務訓練它。把轉交規則套用在不是團隊的回答上,保護的是一個不存在的團隊。
粗略的路由器在何處失靈
粗略的路由器在正式環境中會以四種方式失靈,而且每一種都會留下客服人員看得到的跡象。
第一種是出現不存在的團隊名稱。自由文字的模型可能寫出不在清單上的團隊,或是寫出一整句話,而路由器若把這段文字原樣送出,就等於沒有把訊息送給任何人。替身模型的錄製結果不會發生這種情形,因為它的文法只允許那些標籤,但讀者自己的模型就可能發生。這種情形的跡象是答案不是團隊名稱,而無約束測試會計算屬於團隊名稱的答案有多少個。路由器應把這類答案視為錯誤,將它計數,並把訊息交給人員處理。record_answers 在這種情況下已經會引發錯誤,路由器也必須比照辦理。
第二種是漂移。替身模型的答案只在錄製時所用的檔案、提示詞與樣本下成立。錄製的清單(manifest)會記下檔案的 SHA-256、提示詞的雜湊值、解碼設定與樣本,所以其中任何一項改變,都算是另一次錄製。讀者若看到分數改變,但程式碼並沒有變動,應先比對清單,再檢查提示詞。
第三種是門檻不再適用。在某一個開發分割上選定的門檻,可能在訊息的組成改變時不再適用。這種情形的跡象是,在新的開發訊息上衡量路由器時,轉交率或未轉交訊息的準確率出現偏移。第 5 章會把門檻與選定它所用的開發分割一併記錄,讓銀行看得出這個數字是依據什麼擬合的,而第 9 章則負責監看這種偏移。
第四種是成本與人員的負擔。託管模型會對每次呼叫計費。由銀行自行執行的路由器,則是在自己機器上以運算資源計費,第 3 章會計算一則訊息以詞元與前向傳遞計的成本,而第 10 章則把記錄下來的速度換算成費用。每一次轉交都是人員的工作,轉交率就是這項工作所占的比例。我們建議在每一份關於路由器的報告中,都把轉交率與準確率並列,這樣旗標所帶來的成本就不會被遺漏。
無法說明自己何時不確定的路由器,會隱藏自己的錯誤,而旗標讓這些錯誤變得可以計數。本章做了以下這些決定。後續各章會沿用它們,或是更動並說明理由:
- 路由器會回傳團隊、信心值與轉交旗標,而且每條回傳團隊的路徑都要經過
handoff。 - 在第 5 章於開發分割上選定門檻之前,門檻只是一個占位值。
- 每個路由器都以準確率、轉交率與未轉交訊息的準確率評分,使用同一份固定樣本,並在每項數字旁附上計數。
- 替身模型是基準線,它的答案已經錄製下來。讀者自己的模型也以同樣的方式,用
record_answers錄製答案。 - 不能為每則訊息都回傳團隊的模型,還不算是路由器。
本章,於本版次中
版次 2026.11.9範例於 2026年11 月 20 通過測試本章 4 個範例 個範例中有 4 個通過
譯自英文書,版次 2026.11.9。