以單則訊息的成本來選擇基礎模型
閱讀約需 28 分鐘 分鐘,5 節 中共有 3 個範例。
讀完本章後,你能說出本書保留的兩個基礎模型,以固定的修訂版本載入各個模型,並在選定模型之前,算出一則路由訊息所需的詞元數與參數量。
銀行客服信箱中的每一則訊息都需要付出成本才能完成路由:模型讀取訊息,並挑選負責的團隊,而路由器起始所用的模型,決定了這項成本的高低。路由器是第 1 章所建構的整套系統,本章則要選出其下的小型開放模型。第 2 章已經確定了用來衡量路由器的樣本。本章先以成本作為選擇依據,因為銀行在圍繞模型建構任何東西之前,就能算出一則訊息的成本。
我們保留哪些候選模型
基礎模型(base model)是已經在大量文字上預訓練過的模型,你再把它調整到適用於單一任務。後續每一章都建立在這個選擇之上,包括提示、訓練、蒸餾與部署服務,因此值得依據證據來做決定。開放模型很多,所以本書用兩個問題縮小範圍:模型能否在銀行現有的硬體上執行,以及銀行能否使用它的授權條款?
實務上,授權條款要先看。它決定銀行可以在自己的系統中如何使用該模型;銀行不得執行的模型,不論大小,都不是候選。本書把每個模型的授權條款記錄在它的固定版本旁邊,讀者因此能看到本書所用的同一份紀錄。
第一個候選是 SmolLM2,這是發布於 Hugging Face 的一個模型系列。135M 模型在本書固定的提交版本上的模型卡,用一句話列出了這個系列的三種大小:135M、360M 與 1.7B 個參數。同一張模型卡將授權條款列為 license: apache-2.0,本書的固定版本紀錄中,保留的兩個模型也都是這個授權。模型卡也指出 135M 模型的訓練資料為 2 兆個 token。這些數字只來自 135M 模型的模型卡。
本書保留三種大小中的兩種。下方清單列出這兩種,其後的表格則把三種並列比較,並附上各固定版本所記錄的授權條款。
- SmolLM2-135M-Instruct 是核心模型。本書其餘部分都會訓練並部署它。
- SmolLM2-360M-Instruct 作為比較對象。本書會載入它、計算它的參數與層數,並在本章與第 4 章中將它與核心模型並用。本書不訓練它。
| 模型 | 在本書中的角色 | 已固定於 models.toml |
授權條款 |
|---|---|---|---|
| SmolLM2-135M-Instruct | 核心模型,由本書其餘部分訓練並部署 | 是 | Apache-2.0 |
| SmolLM2-360M-Instruct | 與核心模型並列的比較對象 | 是 | Apache-2.0 |
| SmolLM2 1.7B | 未固定,也不執行 | 否 | 無紀錄 |
1.7B 模型並未固定在本書的 models.toml 檔案中,本書也不執行它。本書的範例設定使用兩個 CPU 執行緒,因此每個候選模型都必須在這個資源限制內載入並執行。對於只有這種資源的銀行,我們建議以 135M 模型作為起點,理由見本章其餘部分。
本書的參考基準是另一個模型。在這個案例中,銀行目前由一個託管模型來路由訊息,而本書從不呼叫這類模型。取代它的是 Qwen3-4B-Instruct-2507,這是一個較大的開放模型,它對測試訊息的回答只記錄一次,之後離線讀取。這個替代模型是衡量各候選模型的基準,不是路由器的候選。第 1 章會介紹它。
實用原則: 從該系列中最小、且能通過你在開發集(dev split)上所設定指標的模型開始。開發集是保留下來供選擇之用的訓練訊息(第 2 章)。只有在較小的模型未達某項指標時,才往上提升一個大小,而且要先在相同的樣本上量測過較大的模型。這是經驗法則,在你自己的量測結果另有說明之前,它都成立。
以固定的修訂版本載入每個模型
上一節列出了兩個模型。只有名稱,無法說明你載入的是模型檔案的哪一個版本,因為模型存放在由多個提交組成的儲存庫中,而像 main 這樣的分支可能移到新的提交。以完整提交雜湊固定的修訂版本,指的是檔案的某一個快照。固定版本檔 examples/models.toml 則記錄了該快照中每個檔案的 SHA-256,執行環境會據此檢查。共用的載入器會把提交傳給 transformers 函式庫(本書固定使用 5.23.0),並在該檔案中查出每個模型對應的提交。
對每個模型,該檔案記錄了儲存庫、提交、授權條款,以及模型所需每個檔案的 SHA-256。檔案開頭說明,執行環境會對每個模型只擷取一次,逐檔檢查,之後再以離線方式讀取。此檔案由 re-check models --pin 產生,開頭也註明不要手動編輯。因此,讀者若要更動固定版本,應執行該指令,而不是自行把新的提交輸入檔案。沒有固定版本的模型,就沒有可查詢的提交,所以共用載入器不會載入它。
範例在匯入該函式庫之前,就先設定函式庫的離線旗標,因此載入時只會讀取執行環境已經持有的內容。載入器也會把權重設為 float32,並以函式庫中單純的 eager 形式執行注意力機制。本書的確定性規則固定了這兩項設定,所以範例每次執行都會得到相同的數值。若離線載入在讀者的機器上失敗,在更動其他項目之前,請先將磁碟上的檔案與固定版本檔中的清單比對。
範例也從輸出端監看這些固定版本。它會印出每個模型的參數量,因此模型大小一有變動,就會在本書自身的輸出中顯示為不同的一行,而本章引用自該行的每個數字也會隨之改變。讀者若看到不同的數量,便知道應先比對哪一個固定版本。若提交改變而大小不變,這裡就看不出來,所以固定版本本身仍是依據的紀錄。
有一個範例會從執行環境已擷取、並已依固定版本檢查過的檔案載入兩個保留的模型,過程不使用網路,並印出本書最初的大小統計。
1"""Load the 135M and 360M SmolLM2 models at their pins, offline, and print each one's parameter count and layer count. The chapter's size claims rest on both lines; the parameter line is rounded to whole millions."""23import os45os.environ["HF_HUB_OFFLINE"] = "1"6os.environ["TRANSFORMERS_OFFLINE"] = "1"78import torch # noqa: E402910torch.set_num_threads(2)1112import router_lib # noqa: E4021314# Seeds, deterministic algorithms and float32, set before either model loads.15router_lib.setup_runtime()1617SMALL = "HuggingFaceTB/SmolLM2-135M-Instruct"18MEDIUM = "HuggingFaceTB/SmolLM2-360M-Instruct"192021def size(model):22 """Return (parameter count in millions, rounded to a whole number) and the layer count."""23 # parameters() yields a shared tensor once, so the tied embedding and output head count once.24 total = sum(p.numel() for p in model.parameters())25 return round(total / 1e6), model.config.num_hidden_layers262728# load_model returns (tokenizer, model). This example needs only the models.29_, small = router_lib.load_model(SMALL)30_, medium = router_lib.load_model(MEDIUM)3132small_millions, small_layers = size(small)33medium_millions, medium_layers = size(medium)3435print(f"parameters, millions, rounded: {small_millions} and {medium_millions}")36print(f"layers: {small_layers} and {medium_layers}")
python load-both-models-offline.pyparameters, millions, rounded: 135 and 362
layers: 30 and 32
參數是模型在訓練期間學得的數值之一,層則是詞元所經過的多個堆疊區塊之一。參數與層是本章僅使用的兩種大小指標。360M 是兩者中較大的一個。第一行輸出給出每個模型的參數量,四捨五入至整數百萬:135 and 362。第二行依相同順序給出層數:30 and 32。速度不在其中,因為時間取決於機器。throughput 紀錄會在指定的機器上,以替代模型為基準,量測分類器及其 int8 副本(第 7 章說明方法,第 10 章報告比值)。該紀錄並不量測 360M。
這些數量來自在此載入模型的結果,而不是來自模型卡。
在正式環境中,固定版本能回答結果改變時你要問的第一個問題,也就是結果是由哪些檔案產生的。模型的更換會在 models.toml 中顯示為差異,提交與檔案雜湊都記錄在那裡。當讀者手上的模型給出與本書不同的輸出時,請先比對提交。
**實用原則:**以 examples/models.toml 中的提交固定每個模型,並以該提交和離線旗標載入。把參數量與層數記錄在固定版本旁,這樣模型大小的變動就會顯示為輸出中改變的一行,而不會在後面的章節中出人意料地出現。
衡量一則訊息的成本
上一節說明了這兩個模型是什麼。本節說明一則訊息會讓它們付出多少成本。一則訊息的成本來自模型讀入的內容與寫出的內容。路由器的提示包含 77 個團隊名稱、訊息本身,以及要求指派團隊的請求;團隊清單在每次呼叫中都相同,因此每則訊息都要負擔這部分的成本。
提示的開頭是這句話:「Route this customer message from an online bank to one support team.」接著要求只回答團隊名稱,列出各團隊,再給出訊息,並以「Team:」一詞結尾。除了訊息本身,這段文字在各則訊息之間完全相同,所以一則訊息的成本就是固定文字的成本加上該訊息本身長度的成本。
分詞器(tokenizer)會把提示的文字轉成詞元(token),也就是模型讀取的單位。計數以詞元而非字元為單位,因為模型讀的是詞元。計數需要分詞器的規則,但不需要權重,因此這是在選定設計之前就能取得的第一項成本。分類器讀入訊息一次,並為每個團隊回傳一個分數。生成式模型讀入提示一次,然後一次寫出一個詞元來產生答案,而它寫出的每個詞元,都等於多通過網路一次。後續各章會用到這兩種設計。
一個範例針對單一測試訊息,計算兩種設計各需要多少次前向傳遞(forward pass),每一次就是對網路的一次呼叫。範例使用未掛載任何轉接器(adapter)的 135M 模型。這裡分類器的分類頭尚未訓練,所以只有傳遞次數有意義。
1"""Count the forward passes one test_40 message costs a classifier and a generative model, with the 135M model and no adapter. The point rests on the generative line: the model makes one pass for each token it writes, plus one for the end token."""23import os45os.environ["HF_HUB_OFFLINE"] = "1"6os.environ["TRANSFORMERS_OFFLINE"] = "1"78import torch # noqa: E402910torch.set_num_threads(2)1112import router_lib # noqa: E40213from transformers import AutoModelForSequenceClassification # noqa: E4021415router_lib.setup_runtime()1617SMALL = "HuggingFaceTB/SmolLM2-135M-Instruct"18texts = [text for text, _ in router_lib.read_rows("test")]19# read_sample gives row indices into the test split; index 0 is the sample's first message.20message = texts[router_lib.read_sample("test_40")[0]]212223def count_passes(model, run):24 """Return how many forward calls the model makes while run() executes."""25 calls = []26 # A forward hook on the whole model fires once per call to its forward, so each generation step counts.27 handle = model.register_forward_hook(lambda module, args, output: calls.append(1))28 run()29 handle.remove()30 return len(calls)313233tokenizer, causal = router_lib.load_model(SMALL)34# SmolLM2's tokenizer sets a pad token; this line keeps the example working with one that doesn't.35tokenizer.pad_token = tokenizer.pad_token or tokenizer.eos_token36# The trie holds each team name's tokens, so constrained_team can write only a team name, one token per pass, then the end token.37trie = router_lib.build_trie(tokenizer)38# The pinned commit from models.toml, and the float32 weights and eager attention that load_model also sets.39# The head is new, with one score per team (77), and untrained here; only the pass count matters.40classifier = AutoModelForSequenceClassification.from_pretrained(41 SMALL, revision=router_lib._pins()[SMALL], num_labels=len(router_lib.LABELS),42 dtype=torch.float32, attn_implementation="eager",43).eval()44# The classification head finds each message's last token through this id, so the config needs it too.45classifier.config.pad_token_id = tokenizer.pad_token_id4647classifier_passes = count_passes(classifier, lambda: router_lib.classify(classifier, tokenizer, [message]))48answers = []49generative_passes = count_passes(causal, lambda: answers.append(router_lib.constrained_team(tokenizer, causal, trie, message)))50# answers[0] holds (label index, label text). The text is encoded with a leading space, as the model writes it after "Team:".51answer_tokens = len(tokenizer.encode(" " + answers[0][1], add_special_tokens=False))5253print(f"classifier forward passes: {classifier_passes}")54print(f"generative forward passes: {generative_passes}")55print(f"answer tokens, end token not counted: {answer_tokens}")
python count-forward-passes.pyclassifier forward passes: 1
generative forward passes: 8
answer tokens, end token not counted: 7
生成式模型的成本會隨答案變長而增加,分類器則不會。對這則訊息而言,分類器進行 1 次傳遞。生成式模型進行 8 次傳遞,答案中的 7 個詞元各佔一次,結束詞元再佔一次。
第二個範例使用 135M 模型的分詞器,計算固定測試樣本中 40 則訊息各自的路由器提示有多少詞元。這個範例不執行任何模型。
1"""Count the router prompt's tokens for each message in test_40, with the 135M model's tokenizer. No model runs. The point rests on the mean line: a day's prompt cost is the mean, not the median, times the number of messages."""23import os45os.environ["HF_HUB_OFFLINE"] = "1"6os.environ["TRANSFORMERS_OFFLINE"] = "1"78import torch # noqa: E402910torch.set_num_threads(2)1112import router_lib # noqa: E40213from transformers import AutoTokenizer # noqa: E4021415router_lib.setup_runtime()1617SMALL = "HuggingFaceTB/SmolLM2-135M-Instruct"1819# Only the tokenizer is read from the pinned commit; no weights load.20tokenizer = AutoTokenizer.from_pretrained(SMALL, revision=router_lib._pins()[SMALL])2122texts = [text for text, _ in router_lib.read_rows("test")]23# read_sample gives row indices into the test split, in the order the sample lists them.24messages = [texts[i] for i in router_lib.read_sample("test_40")]2526# router_prompt builds the same prompt the router sends. encode keeps its default, so any special tokens are counted too.27counts = sorted(len(tokenizer.encode(router_lib.router_prompt(message))) for message in messages)2829# The median of an even count is the lower of the two middle values, so it is a whole number of tokens.30median = counts[(len(counts) - 1) // 2]3132total = sum(counts)33mean = round(total / len(counts))3435print(f"messages: {len(counts)}")36print(f"prompt tokens min: {counts[0]}")37print(f"prompt tokens median: {median}")38print(f"prompt tokens max: {counts[-1]}")39print(f"prompt tokens total: {total}")40print(f"prompt tokens mean, rounded: {mean}")
python count-prompt-tokens.pymessages: 40
prompt tokens min: 580
prompt tokens median: 585
prompt tokens max: 614
prompt tokens total: 23493
prompt tokens mean, rounded: 587
各提示之間只有訊息不同,因為團隊清單在每個提示中都是相同的文字。所以分布範圍從最短提示的 580 個詞元,到最長提示的 614 個,中位數為 585 個詞元。這裡的中位數取兩個中間值中較小的那一個,因此是整數個詞元。
在實際營運中,團隊清單一有變動,計數就會跟著變動。新增一個團隊,就會在每個提示中多加上它的名稱,從那天起每則訊息的成本都會增加。每次修改清單後都應重新計數,並讓清單維持相同的順序,使提示的其餘部分不會隨之改變。
要把計數換算成一天的總量,應使用平均數而不是中位數,因為一天的提示詞元數是各提示的總和。這 40 則樣本訊息共計 23493 個詞元,平均每則 587 個詞元。這裡平均數高於中位數,所以用中位數乘以訊息數會低估提示詞元數。將平均數乘以路由器當天處理的訊息數,就得到它讀入的提示詞元數,這還未計入任何輸出。輸出端取決於所採用的設計,這些設計會在後續章節介紹。
本節只給出計數。一則訊息所花的時間要由紀錄來量測,正如載入步驟所指出的。
**實用原則:**在選定設計之前,先用你將要執行的模型所搭配的分詞器計算提示的詞元數,並在提示每次變動時重新計算。計數是屬於該分詞器的,因此用另一個模型的分詞器得出的計數,回答的是另一個問題。
為何以 135M 為核心
前面各節已說明 135M 模型的定位:它較小,也是本書其餘部分用來訓練與部署的模型。本節說明做出這項選擇的理由,並指出這項選擇尚未獲得證實之處。
要讓小型模型為訊息指派處理團隊,大致有兩種方式。一種是在提示詞中詢問模型該選哪個團隊;另一種是以已標註的訊息訓練模型。Bucher 與 Martini 在 2024 年的一篇預印本中,比較了微調過的 BERT 類模型,以及以零樣本方式下提示的大型託管模型,例如 ChatGPT 與 Claude Opus。其摘要指出,較小的微調模型一致且顯著地優於較大的提示式模型(arXiv:2406.08660v2)。這項比較是以微調的小型模型對上提示式的大型模型,並非小型對小型,而且只出自一篇預印本。本書將它視為先衡量微調小型模型的理由,並不將它視為微調模型在收件匣上必然勝出的證明。
這兩種設計的失敗方式也不同,而成本數字並未顯示這一點。生成式模型以文字寫出答案,因此該文字可能是不屬於 77 個團隊之一的字串。分類器則為 77 個團隊各自評分,所以它的答案必定是其中之一,而移交規則正是讀取這個分數,將不確定的訊息送交人員處理。第 4 章將生成式的答案限制在這 77 個名稱之內,第 5 章則訓練分類器。
成本方面的理由,根據的是載入步驟中的數字。就它印出的兩項數字而言,135M 模型都較小:參數量為 135 and 362 百萬,層數為 30 and 32,每組數字中先列出的是 135M 的數值。135M 模型的模型卡形容它輕巧到可在裝置端執行,並能勝任多種任務。這些數字的證據是本書的範例,而該描述的證據則是模型卡。
模型卡也限制了模型應有的用途:「這些模型應作為輔助工具,而非決定性的資訊來源。」這項提醒與路由器的設計相符。這種規模的模型是客服人員的助理,它不確定的訊息會交給人員處理。第 1 章介紹了這項移交機制。
本章並未證明 135M 模型能達到各項衡量指標。第 4 章會讓兩個模型處理相同的訊息,這正是本節所欠缺的比較。第 5 章以已標註的訊息訓練 135M 模型,並依第 2 章所定的指標,在開發集上加以衡量。在此之前,這項選擇只建立在成本數字與上述研究之上。
有三種情況會改變這項選擇,而每一種都是以衡量而非爭論來決定。若 135M 模型在微調後未達開發集的某項指標,下一步是以相同的訓練資料列訓練 360M 模型,用相同方式衡量,並在開發集上比較兩者。若 135M 模型達到開發集的各項指標,但移交的訊息多於客服人員所能承接,則可調整的是移交門檻。第 5 章會在開發集上設定該門檻,並一併給出它所帶來的移交率。若銀行要路由的是另一組訊息,這項選擇就得重新開始,因為本章的指標描述的是銀行業務訊息,不適用於其他訊息。
這項選擇有一項代價,讀者應予權衡,而本章並未衡量它。本章既未給出任一模型的載入時間,也未給出其執行時間,而第一節的實用原則要求在選擇定案之前先做這項衡量。本章只是暫時做出這項選擇,後續各章會依相同的指標加以確認或取代。
實用原則: 先微調較小的模型,並依你在查看測試集之前所定的指標,在開發集上衡量它。在較小的模型於開發集上未達某項指標之前,把較大的模型保留作為比較對象,並且不要依測試集的結果切換模型。
更大的模型需要什麼
上一節選定了較小的模型,並把較大的模型 SmolLM2-360M-Instruct 留作未決的問題。本節說明這個問題需要什麼,以及本書對此已知與未知的部分。
對於狹窄的任務而言,較大的模型不一定就是較好的模型。一項於 2024 年首次發表、並獲 EMNLP 2025 接受的研究,在八個語言模型與八項文字分類任務上,比較了微調、指令微調、提示與情境內學習。其摘要的結論是:較大的模型並不一定帶來較好的效能或較低的變異(arXiv:2402.12819v4)。這只是一項研究,本書引用它是為了說明有必要測量較大的模型,而不是要排除較大的模型。
未決的問題在於:以與 135M 相同的配方訓練的 360M,是否能在開發集的各項指標上勝出,且幅度足以抵銷它額外的成本。本書並未訓練 360M,因此並不知道答案。本書也沒有測量 360M 在本書範例所使用的兩條 CPU 執行緒上,訓練需要多少時間與記憶體。第 4 章會以相同的提示把 360M 當作比較對象。
想要得到這個答案的讀者,可以循著本書的作法進行。360M 已經固定版本,並且可以離線載入,如載入步驟所示。先用它的分詞器計算路由器提示的詞元數,再以與 135M 相同的訓練列來訓練它。每一步都是獨立的變更,而且比較始終建立在相同的資料上,因此兩個結果可以在開發集上並列比較。
此系列中最大的模型 1.7B 需要的資源更多。本書並未固定它的版本,也不對它作任何主張。
較大模型的每則訊息成本,會隨它處理的每一則訊息而產生,而本書並未測量 360M 的這項成本。在任何人訓練 360M 之前,載入步驟已經顯示出它大了多少:參數有 135 and 362 百萬個、30 and 32 層,每組數字中先列的是 135M 的數值。第 7 章中的 throughput 記錄,是在一部指名的機器上,以替代品為對照來測量分類器及其 int8 副本,其中並不包含 360M。
本章所做的決定,供讀者對照自己銀行的需求來檢查:
- 核心模型是 SmolLM2-135M-Instruct,比較對象是 SmolLM2-360M-Instruct。
- 兩個模型都透過共用的載入器,在
examples/models.toml所列的提交版本下離線載入。 - 路由器提示的成本以詞元計算,使用 135M 模型的分詞器,計算時不執行任何模型。
- 本章沒有出現任何時間或記憶體數字。這些數字稍後會來自在指名機器上的測量。
- 本書不訓練 360M。
可以帶著往後走的教訓是:已發表的研究可以說較大的模型未必有幫助,但只有在你自己的樣本上做自己的測量,才能說明它是否真的有幫助。
實用原則: 在選擇較大的模型之前,先以與較小模型相同的配方訓練它,並在你自己的機器上,以相同的開發與測試樣本來測量。依它的各項指標,以及在該機器上執行的成本來評斷,而不要依已發表的分數。
本章,於本版次中
版次 2026.11.9範例於 2026年11 月 20 通過測試本章 3 個範例 個範例中有 3 個通過
譯自英文書,版次 2026.11.9。