通过计算一条消息的成本来选择基础模型
阅读约需 28分钟 分钟,5节中含3个示例。
读完本章,你能说出本书保留的两个基础模型,按固定的修订版本加载其中每一个,并在选定模型之前,以词元数和参数量计算出路由一条消息的成本。
银行支持邮箱里的每一条消息,在路由时都有成本:模型读取消息并选出对应的团队,而路由器起步所用的模型决定了这笔成本。路由器是第 1 章所构建的整个系统,本章则为它选定其下的小型开源模型。第 2 章已经确定了用来衡量路由器的样本。本章先按成本来选择,因为在围绕模型构建任何东西之前,银行就可以先算出一条消息的成本。
我们保留哪些候选模型
基座模型是指已在大量文本上完成预训练、再针对某一项任务加以适配的模型。后续每一章都建立在这一选择之上,包括提示词、训练、蒸馏和部署,因此值得依据证据来做出选择。开源模型很多,所以本书用两个问题来缩小范围:模型能否在银行现有的硬件上运行,银行能否使用它的许可证?
在实践中,许可证要先看。它决定银行可以在自己的系统中如何使用该模型,而银行不得运行的模型,无论规模大小,都不能成为候选。本书把每个模型的许可证记录在它的固定版本旁边,读者因此可以看到本书所用的同一份记录。
第一个候选是 SmolLM2,这是在 Hugging Face 上发布的一个模型系列。135M 模型的模型卡(取本书固定的那次提交)用一句话给出了该系列的三种规模:135M、360M 和 1.7B 参数。同一张卡片把许可证列为license: apache-2.0,本书对所保留的两个模型的固定版本记录都是如此。卡片还给出 135M 模型的训练数据为 2 万亿个词元。这些数字仅来自 135M 模型的卡片。
本书保留三种规模中的两种。下面的列表给出这两个模型,其后的表格把三者并列比较,并附上各固定版本所记录的许可证。
- SmolLM2-135M-Instruct 是核心模型。本书其余部分都对它进行训练和部署。
- SmolLM2-360M-Instruct 用作对照。本书加载它,统计它的参数量和层数,并在本章和第 4 章中把它与核心模型放在一起使用。本书不训练它。
| 模型 | 在本书中的角色 | 是否在models.toml中固定 |
许可证 |
|---|---|---|---|
| SmolLM2-135M-Instruct | 核心模型,由本书其余部分训练和部署 | 是 | Apache-2.0 |
| SmolLM2-360M-Instruct | 与核心模型并列的对照 | 是 | Apache-2.0 |
| SmolLM2 1.7B | 未固定,也不运行 | 否 | 无记录 |
1.7B 模型没有固定在本书的models.toml文件中,本书也不运行它。本书的示例设置了两个 CPU 线程,因此每个候选模型都必须在这一预算内完成加载和运行。对于只有这一预算的银行,我们建议以 135M 模型作为起点,理由见本章其余部分。
本书的参照对象是另一个模型。在案例中,银行目前由一个托管模型来路由消息,而本书从不调用托管模型。它的替身是 Qwen3-4B-Instruct-2507,这是一个更大的开源模型,它对测试消息的回答只记录一次,之后离线读取。该替身是衡量各候选模型的基线,而不是路由器的候选。第 1 章介绍了它。
**工作准则:**从该系列中最小的、能通过你在开发集上所设度量的模型开始。开发集是留出用于选择的训练消息(第 2 章)。只有当较小的模型未达到某项度量时,才上调一个规模,并且只有在你用相同的样本测量过较大的模型之后。这是一条经验法则。在你自己的测量结果另有说明之前,它都成立。
按固定修订版本加载每个模型
上一节给出了两个模型的名称。仅凭名称,无法确定加载的是模型文件的哪个版本,因为模型存放在由多个提交组成的仓库中,而像 main 这样的分支可能移动到新的提交上。用完整提交哈希固定的修订版本指向文件的某一个快照,固定版本文件 examples/models.toml 则记录该快照中每个文件的 SHA-256,运行时会对其进行校验。共享加载器把提交传给 transformers 库(本书将其固定在 5.23.0),并在该文件中查找每个模型对应的提交。
对每个模型,该文件记录仓库、提交、许可证,以及模型所需每个文件的 SHA-256。文件头部说明,运行时对每个模型只获取一次,逐个文件校验,然后离线读取。该文件由 re-check models --pin 生成,其头部注明不得手工编辑。因此,读者要更改某个固定版本时,应运行该命令,而不是把新的提交直接键入文件。没有固定版本的模型就没有可供查找的提交,所以共享加载器不会加载它。
示例在导入该库之前先设置其离线标志,因此加载时只读取运行时已有的内容。加载器还把权重设为 float32,并以该库朴素的 eager 形式运行注意力。本书的确定性规则对这两项都作了规定,所以示例的每次运行都得到相同的数值。如果离线加载在读者的机器上失败,请先把磁盘上的文件与固定版本文件中的清单对照,再做其他改动。
示例也从输出一侧监视这些固定版本。它会打印每个模型的参数量,所以模型规模的变化会表现为本书自身输出中的一行变化,本章从该行引用的每个数字也随之改变。读者看到不同的参数量时,就知道应先比对哪个固定版本。提交变了而规模不变的情况不会在此显现,因此固定版本本身仍然是记录依据。
下面的示例从运行时已获取并对照固定版本校验过的文件中加载两个保留的模型,不使用网络,并打印本书最初的规模计数。
1"""Load the 135M and 360M SmolLM2 models at their pins, offline, and print each one's parameter count and layer count. The chapter's size claims rest on both lines; the parameter line is rounded to whole millions."""23import os45os.environ["HF_HUB_OFFLINE"] = "1"6os.environ["TRANSFORMERS_OFFLINE"] = "1"78import torch # noqa: E402910torch.set_num_threads(2)1112import router_lib # noqa: E4021314# Seeds, deterministic algorithms and float32, set before either model loads.15router_lib.setup_runtime()1617SMALL = "HuggingFaceTB/SmolLM2-135M-Instruct"18MEDIUM = "HuggingFaceTB/SmolLM2-360M-Instruct"192021def size(model):22 """Return (parameter count in millions, rounded to a whole number) and the layer count."""23 # parameters() yields a shared tensor once, so the tied embedding and output head count once.24 total = sum(p.numel() for p in model.parameters())25 return round(total / 1e6), model.config.num_hidden_layers262728# load_model returns (tokenizer, model). This example needs only the models.29_, small = router_lib.load_model(SMALL)30_, medium = router_lib.load_model(MEDIUM)3132small_millions, small_layers = size(small)33medium_millions, medium_layers = size(medium)3435print(f"parameters, millions, rounded: {small_millions} and {medium_millions}")36print(f"layers: {small_layers} and {medium_layers}")
python load-both-models-offline.pyparameters, millions, rounded: 135 and 362
layers: 30 and 32
参数是模型在训练中学到的数值之一,层是词元依次经过的堆叠模块之一。参数和层是本章仅使用的两种规模指标。360M 是两者中较大的一个。输出的第一行给出每个模型的参数量,四舍五入到整百万:135 and 362。第二行按相同顺序给出层数,即 30 and 32。速度不在其中,因为耗时取决于机器。throughput 记录在指定的机器上,以替身为基准测量分类器及其 int8 副本(第 7 章说明了方法,第 10 章报告了比值)。该记录不测量 360M 模型。
这些计数来自在此处加载模型,而不是来自模型卡片。
在生产环境中,固定版本回答的是结果变化时你要问的第一个问题,即结果由哪些文件产生。模型的更换会在 models.toml 中表现为一处差异,提交和文件哈希都记录在那里。当读者的模型副本给出的输出与本书不同时,应先比对提交。
工作准则: 在 examples/models.toml 中按提交固定每个模型,并使用该提交和离线标志加载它。把参数量和层数记录在固定版本旁边,这样模型规模的变化会表现为输出中的一行变化,而不会在后面的章中成为意外。
测量一条消息的成本
上一节介绍了这两个模型是什么。本节说明一条消息会让它们付出多少成本。一条消息的成本来自模型读入的内容和写出的内容。路由器的提示词包含 77 个团队名称、消息本身和对团队的请求,而团队列表在每次调用中都相同,所以每条消息都要为它付出成本。
提示词以这句话开头:"Route this customer message from an online bank to one support team."。它要求只给出团队名称,随后列出各个团队,再给出消息,并以单词 "Team:" 结尾。除消息本身外,这段文字在各条消息之间完全相同,所以一条消息的成本等于固定文本加上消息自身的长度。
分词器把提示词的文本转换为词元,即模型读取的单位。计数以词元而不是字符为单位,因为模型读取的是词元。计数需要分词器的规则,但不需要权重,所以这是在选定设计之前就能得到的第一项成本。分类器读取一次消息,并为每个团队返回一个分数。生成式模型读取一次提示词,然后逐个词元写出答案,它写出的每个词元都是通过网络的又一次前向传播。后续各章会用到这两种设计。
一个示例统计了两种设计下处理单条测试消息的前向传播次数,每次前向传播即对网络的一次调用。该示例使用不带适配器的 135M 模型。这里分类器的分类头尚未训练,所以只有传播次数有意义。
1"""Count the forward passes one test_40 message costs a classifier and a generative model, with the 135M model and no adapter. The point rests on the generative line: the model makes one pass for each token it writes, plus one for the end token."""23import os45os.environ["HF_HUB_OFFLINE"] = "1"6os.environ["TRANSFORMERS_OFFLINE"] = "1"78import torch # noqa: E402910torch.set_num_threads(2)1112import router_lib # noqa: E40213from transformers import AutoModelForSequenceClassification # noqa: E4021415router_lib.setup_runtime()1617SMALL = "HuggingFaceTB/SmolLM2-135M-Instruct"18texts = [text for text, _ in router_lib.read_rows("test")]19# read_sample gives row indices into the test split; index 0 is the sample's first message.20message = texts[router_lib.read_sample("test_40")[0]]212223def count_passes(model, run):24 """Return how many forward calls the model makes while run() executes."""25 calls = []26 # A forward hook on the whole model fires once per call to its forward, so each generation step counts.27 handle = model.register_forward_hook(lambda module, args, output: calls.append(1))28 run()29 handle.remove()30 return len(calls)313233tokenizer, causal = router_lib.load_model(SMALL)34# SmolLM2's tokenizer sets a pad token; this line keeps the example working with one that doesn't.35tokenizer.pad_token = tokenizer.pad_token or tokenizer.eos_token36# The trie holds each team name's tokens, so constrained_team can write only a team name, one token per pass, then the end token.37trie = router_lib.build_trie(tokenizer)38# The pinned commit from models.toml, and the float32 weights and eager attention that load_model also sets.39# The head is new, with one score per team (77), and untrained here; only the pass count matters.40classifier = AutoModelForSequenceClassification.from_pretrained(41 SMALL, revision=router_lib._pins()[SMALL], num_labels=len(router_lib.LABELS),42 dtype=torch.float32, attn_implementation="eager",43).eval()44# The classification head finds each message's last token through this id, so the config needs it too.45classifier.config.pad_token_id = tokenizer.pad_token_id4647classifier_passes = count_passes(classifier, lambda: router_lib.classify(classifier, tokenizer, [message]))48answers = []49generative_passes = count_passes(causal, lambda: answers.append(router_lib.constrained_team(tokenizer, causal, trie, message)))50# answers[0] holds (label index, label text). The text is encoded with a leading space, as the model writes it after "Team:".51answer_tokens = len(tokenizer.encode(" " + answers[0][1], add_special_tokens=False))5253print(f"classifier forward passes: {classifier_passes}")54print(f"generative forward passes: {generative_passes}")55print(f"answer tokens, end token not counted: {answer_tokens}")
python count-forward-passes.pyclassifier forward passes: 1
generative forward passes: 8
answer tokens, end token not counted: 7
生成式模型的成本随答案增长,分类器的成本则不会。对这条消息,分类器进行 1 次传播。生成式模型进行 8 次传播,答案中的 7 个词元各一次,结束词元一次。
第二个示例使用 135M 模型的分词器,统计固定测试样本中 40 条消息各自对应的路由器提示词的词元数。它不运行任何模型。
1"""Count the router prompt's tokens for each message in test_40, with the 135M model's tokenizer. No model runs. The point rests on the mean line: a day's prompt cost is the mean, not the median, times the number of messages."""23import os45os.environ["HF_HUB_OFFLINE"] = "1"6os.environ["TRANSFORMERS_OFFLINE"] = "1"78import torch # noqa: E402910torch.set_num_threads(2)1112import router_lib # noqa: E40213from transformers import AutoTokenizer # noqa: E4021415router_lib.setup_runtime()1617SMALL = "HuggingFaceTB/SmolLM2-135M-Instruct"1819# Only the tokenizer is read from the pinned commit; no weights load.20tokenizer = AutoTokenizer.from_pretrained(SMALL, revision=router_lib._pins()[SMALL])2122texts = [text for text, _ in router_lib.read_rows("test")]23# read_sample gives row indices into the test split, in the order the sample lists them.24messages = [texts[i] for i in router_lib.read_sample("test_40")]2526# router_prompt builds the same prompt the router sends. encode keeps its default, so any special tokens are counted too.27counts = sorted(len(tokenizer.encode(router_lib.router_prompt(message))) for message in messages)2829# The median of an even count is the lower of the two middle values, so it is a whole number of tokens.30median = counts[(len(counts) - 1) // 2]3132total = sum(counts)33mean = round(total / len(counts))3435print(f"messages: {len(counts)}")36print(f"prompt tokens min: {counts[0]}")37print(f"prompt tokens median: {median}")38print(f"prompt tokens max: {counts[-1]}")39print(f"prompt tokens total: {total}")40print(f"prompt tokens mean, rounded: {mean}")
python count-prompt-tokens.pymessages: 40
prompt tokens min: 580
prompt tokens median: 585
prompt tokens max: 614
prompt tokens total: 23493
prompt tokens mean, rounded: 587
各个提示词只在消息上有差别,因为团队列表在每个提示词中都是同一段文本。所以词元数的分布从最短提示词的 580 个,到最长提示词的 614 个,中位数为 585 个词元。这里的中位数取两个中间值中较小的一个,所以是整数个词元。
在生产环境中,团队列表一变,计数也随之变化。增加一个团队,就会把它的名称加入每个提示词,从那天起每条消息的成本都会上升。每次修改列表后都应重新计数,并保持列表顺序不变,这样提示词的其余部分就不会随之改变。
要把计数换算成一天的数字,应使用平均值而不是中位数,因为一天的提示词词元数是各个提示词之和。这 40 条样本消息共计 23493 个词元,平均每条 587 个词元。这里平均值高于中位数,所以用中位数乘以消息数会低估提示词词元数。把平均值乘以路由器当天处理的消息数,就得到它读入的提示词词元数,此时尚未计入任何输出。输出一侧取决于设计,各种设计将在后续章节介绍。
本节只给出计数。一条消息所需的时间由计时记录来测量,正如加载步骤所指出的。
工作准则: 在选定设计之前,用你将要运行的模型的分词器统计提示词的词元数,并在提示词每次改变时重新统计。计数归属于该分词器,所以用另一个模型的分词器得到的计数回答的是另一个问题。
为什么以 135M 为核心
前面的各节已经说明了 135M 模型的位置:它更小,并且是本书其余部分训练和部署的模型。本节给出这一选择的理由,并指出这一选择尚未得到证实之处。
要让小模型对一条消息做路由,大致有两种方法。一种是在提示词中直接询问模型应选哪个团队。另一种是用带标签的消息训练模型。Bucher 和 Martini 在 2024 年的一篇预印本中,比较了微调后的 BERT 类模型与以零样本方式提示的大型托管模型,例如 ChatGPT 和 Claude Opus。摘要报告称,较小的微调模型始终且显著地优于较大的提示模型(arXiv:2406.08660v2)。这一比较是微调的小模型对提示的大模型,而不是小模型对小模型,并且只来自一篇预印本。本书把它作为先测量微调小模型的理由,而不把它当作微调模型在收件箱上必然获胜的证明。
这两种设计的失败方式也不同,而成本计数无法显示这一点。生成式模型以文本形式写出答案,因此这段文本可能是一个不属于 77 个团队的字符串。分类器为 77 个团队中的每一个打分,所以它的答案总是其中之一,而移交规则正是读取这个分数,把拿不准的消息送给人工处理。第 4 章把生成式的答案约束在这 77 个名称之内,第 5 章则训练分类器。
成本方面的理由建立在加载步骤中的计数之上。按它打印的两项计数,135M 模型都更小:参数为 135 and 362 百万,层数为 30 and 32,每对数字中前者是 135M 模型的数值。135M 模型的模型卡称它足够轻量,可在设备端运行,并能胜任范围广泛的任务。本书的示例是这些计数的依据,模型卡则是这一描述的依据。
模型卡还限定了模型的用途:“这些模型应当用作辅助工具,而不是权威的信息来源。”这一提醒与路由器的设计一致。这种规模的模型是支持人员的助手,它拿不准的消息会交给人工。第 1 章介绍了这种移交。
本章并未表明 135M 模型能达到各项指标。第 4 章会在相同的消息上运行两个模型,这正是本节所缺少的比较。第 5 章用带标签的消息训练 135M 模型,并在开发集划分上依照第 2 章设定的指标对它进行测量。在此之前,这一选择只依赖成本计数和上述研究。
有三种情形会改变这一选择,而每一种都由测量而不是由争论来决定。如果 135M 模型在微调后未达到某项开发集指标,下一步就是用同样的训练行训练 360M 模型,以同样的方式测量,并在开发集划分上比较两者。如果 135M 模型达到了开发集指标,但移交的消息多于支持人员能够处理的数量,则可调节的是移交阈值。第 5 章在开发集划分上设定该阈值,同时给出它所带来的移交率。如果银行路由的是另一组消息,这一选择需要重新开始,因为本章的指标描述的是银行业务消息,而不是其他消息。
这一选择有一项代价,读者应当加以权衡,而本章并未对它进行测量。本章没有给出任何一个模型的加载时间或运行时间,而第一节中的工作准则要求在最终确定选择之前完成这项测量。本章只是暂时做出这一选择,后面的各章会依据同样的指标对它加以确认或替换。
工作准则: 先微调较小的模型,并依照你在查看测试集划分之前设定的指标,在开发集划分上对它进行测量。在较小的模型于开发集划分上未达到某项指标之前,保留较大的模型作为对照,并且不要依据测试集划分来切换模型。
更大的模型需要什么
上一节选定了较小的模型,把较大的模型 SmolLM2-360M-Instruct 是否值得采用这个问题留待后议。本节说明回答这个问题需要什么,以及本书对此已知和未知的内容。
对于狭窄的任务,更大的模型并不自动就是更好的模型。一项于 2024 年首次发布、并被 EMNLP 2025 接收的研究,在八个语言模型和八个文本分类任务上,比较了微调、指令微调、提示和上下文学习。其摘要的结论是,更大的模型并不总能带来更好的性能或更低的方差(arXiv:2402.12819v4)。这只是一项研究,本书引用它是为了说明有必要测量较大的模型,而不是为了排除较大的模型。
悬而未决的问题是:用与 135M 相同的配方训练的 360M,能否在开发集指标上取得足够的优势,以抵偿它额外的成本。本书没有训练 360M,所以并不知道答案。本书也没有测量过,在本书示例所用的两个 CPU 线程上,运行一次 360M 训练需要多少时间和内存。第 4 章把 360M 用作在相同提示上的对照。
想得到这个答案的读者,可以沿用本书的做法。360M 已经固定了版本,并且可以离线加载,加载步骤对此有所展示。先用它的分词器统计路由器提示的词元数,再用与 135M 相同的训练行来训练它。每一步都是独立的改动,比较始终基于相同的数据,因此两组结果可以在开发集划分上并排比较。
该系列中最大的模型 1.7B 需要的资源还要更多。本书没有固定它的版本,也不对它作任何论断。
较大模型的单条消息成本,会随着它处理的每条消息而产生,而本书没有测量 360M 的这项成本。加载步骤已经显示,在任何人训练之前,360M 就大了多少:参数量为 135 and 362 百万,层数为 30 and 32,每对数字中先列出 135M 的数值。第 7 章中的 throughput 记录,在一台指定的机器上,将分类器及其 int8 副本与替身模型作了对比测量,其中不包括 360M。
本章所做的决定如下,供读者对照自己所在银行的需要进行检查:
- 核心模型是 SmolLM2-135M-Instruct,对照模型是 SmolLM2-360M-Instruct。
- 两个模型都通过共用的加载器,按
examples/models.toml中的提交版本离线加载。 - 路由器提示的成本以词元数计,使用 135M 模型的分词器,计数时不运行任何模型。
- 本章不给出任何时间或内存数字。这些数字留待后文,来自在指定机器上的测量。
- 本书不训练 360M。
需要带走的经验是:已发表的研究可以说更大的模型未必有帮助,而更大的模型是否真有帮助,只有你在自己的样本上做的测量才能说明。
工作准则: 在选择更大的模型之前,先用与较小模型相同的配方训练它,并在你自己的机器上,用相同的开发样本和测试样本测量它。依据它的各项指标和它在该机器上的运行成本来评判,而不要依据已发表的分数。
本章,在本版次中
版次 2026.11.9示例于 2026年11月20日 通过本章 3个示例 个示例中有 3 个通过
译自英文版图书,版次 2026.11.9。