选定模型之前,先衡量路由任务

阅读约需 30分钟 分钟,5节中含3个示例。

版次 2026.11.9 示例于 2026年11月20日 通过 36个示例中有36个通过 变化内容

AI 翻译。由人工以英文核验。 我们如何制作图书

译自英文版图书,版次 2026.11.9。 阅读原文

读完本章,你将能够说明本书各个样本的用途,计算路由器据以评分的三项指标并写出各自的分母,并读懂一份只记录一次、在每次比较中重复使用的基线。

目前,银行客服收件箱里的邮件由一个托管模型负责路由。本书的路由器是一个小型开源模型,由银行自行运行。问题在于:对于它保留下来处理的邮件,它能否与那个托管模型相当,并且在对某封邮件拿不准时能否如实表明。在比较任何模型之前,比较本身需要固定的数据、固定的样本和固定的指标。否则,两个看似相近的数字,可能来自不同的邮件,或者除以了不同的计数。

本书不调用托管模型,因此使用一个替身,即一个更大的开源模型:Qwen3-4B-Instruct-2507。它的回答来自第三方发布的 4 位 Q4_K_M GGUF 转换版本,固定在指定的修订版本上,回答范围限定为 77 个团队名称。它对每封测试邮件只回答一次,并保存为录制文件,示例离线读取这些回答,因此任何人都可以复现。如果读者有自己的模型,可以用同样的方式录制它的回答,详见第 1 章。

数据及其许可

最近一次修改见于版次 2026.11.2

路由器在 BANKING77 上训练和评测。BANKING77 是一个公开数据集,收录银行领域的客户服务查询(Casanueva et al., 2020)。每条消息带有 77 个标签中的一个。BANKING77 把这些标签称为意图;它们就是收件箱中的各个团队(第 1 章)。

Casanueva et al.(2020)在 Efficient Intent Detection with Dual Sentence Encoders 一文中介绍了这个数据集,该文发表于 Proceedings of the 2nd Workshop on Natural Language Processing for Conversational AI,第 38–45 页(Anthology ID 2020.nlp4convai-1.5;arXiv 2003.04807)。其摘要称它是来自单一领域的高难度数据集,包含 13,083 条已标注示例,涉及 77 个意图;其第 3 节对银行领域数据集(论文中称为 BANKING 77)给出了同样的数量。数据卡记录了这些文件所取自的提交。两个文件合计包含同样的 13,083 条消息,下一节会对其计数。

数据卡还说明了本书所依赖的几项事实。它指出,这些文件是数据源自带的训练集与测试集划分的副本,没有重新划分,并且每个团队在两个文件中都有出现。路由器在训练文件上训练,在测试文件上评分,这样评分所用的是数据源自己留出的消息,而不是本书自行选定的划分。

许可为 CC BY 4.0。数据旁边的 LICENSE 文件以 "Attribution 4.0 International" 开头。依据该许可,数据可以被共享和改编,但须注明来源。本书把许可文件放在数据旁边,并在数据卡中附上引用,因此重用这些文件的读者可以获得许可所要求的内容。

消息保持发布时的原样。没有任何示例打印消息文本,也没有任何一章引用消息文本,所以消息的内容不会出现在书页上。示例从数据中打印出来的一切,都是计数或比率。

工作准则: 把许可文件放在数据旁边,在数据卡中引用论文,只打印计数,不打印消息文本。如果你重用由真实客户消息构成的数据集,先阅读它的数据卡,再打印其中的任何内容,并在数据集的文档所在之处引用来源。

开发集、测试集与固定样本

最近一次修改见于版次 2026.11.9

源数据划分的两个文件本身并不够用。路由器需要用于调优的消息、用于报告结果的消息,以及一个小型集合,使示例能在几秒内跑完。这些集合都必须事先固定,否则后来的结果可能只是样本不同所致,而不是模型不同所致。

开发集从训练文件中划出,绝不从测试文件中划出。对每个团队,按类别文件中的顺序,本书用固定的随机种子抽取该团队训练消息的约十分之一,并把行号提交到 examples/data/banking77/samples.json。不在开发集中的训练消息,就是模型用来训练的消息。由于抽样是逐团队进行的,每个团队在开发集中所占的份额与其在训练文件中的份额一致,训练消息很少的团队在开发集中的份额也很小,但不会为零。

测试集是源数据自带的留出文件。本书从中抽取一份分层样本,每个团队 13 条消息,共 1001 条。该样本只洗牌一次,所用的生成器与开发集抽样相同,并接在其后继续使用,洗牌后的顺序也会提交。该顺序的三个前缀有各自的名称。洗牌后的测试样本中,前 40 条消息是 test_40,前 200 条是 test_200,整个样本是 test_1001。洗牌样本的前缀是一次随机抽取,因此 test_40 并不是按团队顺序读取的。

各项计数来自已提交的样本,本书也只引用这些计数。其中第一个示例 count-the-splits 还会检查:每个开发集行号都是唯一的,且都落在训练文件范围内,因此每条开发消息都是训练行;同时检查 test_40 和 test_200 分别是 test_1001 的前 40 条和前 200 条。

首先要看的是每个划分的规模,以及各团队在其中的分布有多不均匀。计数不需要模型,所以读者可以先运行这个示例。它读取训练文件、测试文件和开发样本,并统计每个划分:

count-the-splits.py Python 3.12.15 · torch 2.15.0+cpu · transformers 5.23.0 通过
"""Count each BANKING77 split and its messages per team, and check the committed samples; no model runs.The prose's point rests on the four "per label" lines for the test and training files."""import osos.environ["HF_HUB_OFFLINE"] = "1"os.environ["TRANSFORMERS_OFFLINE"] = "1"import torch  # noqa: E402torch.set_num_threads(2)import router_lib  # noqa: E402from collections import Counter  # noqa: E402router_lib.setup_runtime()train = router_lib.read_rows("train")test = router_lib.read_rows("test")dev = router_lib.read_sample("dev")  # dev row numbers index train.csv, never test.csvassert len(set(dev)) == len(dev), "dev indices repeat"assert max(dev) < len(train), "dev indices fall outside train.csv"train_per_label = Counter(label for _, label in train)test_per_label = Counter(label for _, label in test)test_1001 = router_lib.read_sample("test_1001")  # committed order: prefixes are the first n of ittest_40 = router_lib.read_sample("test_40")test_200 = router_lib.read_sample("test_200")# test_40 and test_200 are prefixes of the shuffled order, not new drawsassert test_1001[:40] == test_40, "test_40 is not the first 40 of test_1001"assert test_1001[:200] == test_200, "test_200 is not the first 200 of test_1001"sample_per_label = Counter(test[i][1] for i in test_1001)  # rows are (text, label index); [1] is the labeltrain_counts = [train_per_label[i] for i in range(len(router_lib.LABELS))]  # one entry per team, so a team with no rows counts 0test_counts = [test_per_label[i] for i in range(len(router_lib.LABELS))]sample_counts = [sample_per_label[i] for i in range(len(router_lib.LABELS))]print(f"train rows: {len(train)}")print(f"dev rows: {len(dev)}")print(f"test rows: {len(test)}")print(f"labels: {len(router_lib.LABELS)}")print(f"test per label min: {min(test_counts)}")print(f"test per label max: {max(test_counts)}")print(f"train per label min: {min(train_counts)}")print(f"train per label max: {max(train_counts)}")print(f"test_1001 per label min: {min(sample_counts)}")print(f"test_1001 per label max: {max(sample_counts)}")
输出python count-the-splits.py
train rows: 10003
dev rows: 1003
test rows: 3080
labels: 77
test per label min: 40
test per label max: 40
train per label min: 35
train per label max: 187
test_1001 per label min: 13
test_1001 per label max: 13

测试文件是均匀的,每个团队的数量相同;训练文件则不然,各团队的消息数从 35 条到 187 条不等。这种差距正是开发集要逐团队抽取、而不是从整个文件中随机抽取十分之一的原因。测试文件自身的最少与最多,即 40 和 40,是相等的。

分层样本同样是均匀的,每个团队 13 至 13 条消息。

测试文件均匀,是源数据的一个属性,本书依赖这一点。各团队数量相等,意味着测试集不会因为路由器擅长处理最大的团队而给它加分。在各团队数量不均的样本上表现良好的路由器,可能看起来比实际更好,因为它的大部分得分来自消息最多的那些团队。

第 5 章在开发集上选定移交阈值,并把这一选择记录在适配器的清单中。这一选择背后的规则是:在开发集上调优,绝不在测试集上调优。提示词、模型和方案在读取任何测试结果之前就已固定,不会因为某个测试结果而更改;测试结果只读取一次,用于在上述固定样本上报告。

在生产环境中,收件箱同样适用这条规则。应保留一份取自收件箱已有消息的开发集,并保留一份在路由器调优期间无人查看的测试集。在调优期间被读取过的测试集看上去仍然像测试集,但它不再测量任何新的东西,之后在它上面测得的路由器,会比它在后续流量上的实际表现显得更好。

工作准则: 开发集只从训练行中逐团队抽取,使用固定种子,并提交其行号。每个测试样本只抽取一次,提交其顺序,且只在报告时读取。所有阈值、提示词和设置都在开发集上选定。当开发集太小而无法作出决定时,应从训练文件中再抽取更多开发消息,绝不从测试文件中抽取。

三项指标,各有其分母

最近一次修改见于版次 2026.11.2

样本说明要对哪些消息评分,指标则说明要统计什么。路由器会返回一个团队、一个置信度和一个转人工标志,因此可以用三种方式评分,每种方式回答的是运行它的银行所关心的不同问题。

准确率问的是路由器给出的团队有多大比例是正确的。转人工率问的是有多大比例的消息需要由人来阅读。未转人工消息的准确率问的是,在路由器自己留下处理的消息上,它有多大比例是正确的。每个问题都有各自的分母,本书在每一行输出中都将这三者分开列出。置信度是路由器给其团队的概率,阈值是低于该值即转人工的取值,二者的定义见第 1 章。

指标 统计对象 除以
准确率 团队与标准团队一致的消息 样本中的全部消息
转人工率 置信度低于阈值的消息 样本中的全部消息
未转人工消息的准确率 未转人工的消息中正确的消息 未转人工的消息

用公式表示,设样本中有 N 条消息:准确率 = 正确数 / N;转人工率 = 转人工数 / N;未转人工消息的准确率 = 留下的消息中正确数 / 留下数,其中留下数 = N 减去转人工数。

有两条规则使这些指标可以在各候选方案之间比较。第一条规则是,转人工的消息计入准确率的分母,若其团队有误,则按错误计。单看准确率并不会奖励转人工,因为转人工的消息只有在其团队正确时才算正确。单独看未转人工消息的准确率,则会掩盖转人工的代价,因为它恰好排除了交给人处理的那些消息。转人工率则显示出这一代价。三个数字必须一起阅读,只在其中一项上更好的路由器,尚不能证明它整体更好。

第二条规则关于打印。每个比率都按百分数四舍五入到小数点后一位,并与其计数并列打印,这样读者可以通过手算相除来核对比率。没有计数的比率无法核对,而不带分母打印的比率,在被引用时可能掩盖其样本。

当第三项指标的分母为零时,该指标没有定义。当所有消息都转人工、因而没有消息被留下时,就会出现这种情况。此时本书打印“未定义”,如基线一节所示,而不打印零,因为零意味着所有留下的消息都错了,而实际上根本没有留下的消息。

这些指标对标签评分。本章的脚本,以及第 1 章和第 4 章中的测量,只返回团队以供评分,不向调用方返回任何内容。向调用方返回团队的路由器,是通过第 1 章引入的转人工规则来做到这一点的,使低于阈值的消息交给人,而不是交给某个团队。

在生产环境中,转人工率是最先发生变化的指标。消息的构成会随季节、产品发布,或某个故障使收件箱充斥同一类问题而变化。准确率保持不变的路由器,转人工的消息仍可能远多于开发集的预测,而发现这一点的唯一办法,是在路由器实际收到的流量上打印带计数的转人工率。

**工作准则:**打印三项指标时,每项都附上其计数和分母,并将每个比率四舍五入到小数点后一位。报告未转人工消息的准确率时,要与转人工率并列,不要单独报告。没有消息被留下时,打印“未定义”,而不是零。

基于已记录答案的基线

最近一次修改见于版次 2026.11.2

只有拿某个对象对照打分,度量才有意义。基线就是替身模型在 test_1001 上的得分,第 10 章的最终比较使用的正是这个样本。后面的各章会在它的两个前缀 test_40 和 test_200 上给候选方案打分,这两个前缀分别是同一固定样本的前 40 条和前 200 条消息。每个前缀都根据同一份记录打分,因此其上的基线就是针对同样消息的同样答案。

替身模型对 test_1001 中的每条消息各回答了一次。这些答案存放在一份记录 examples/data/recorded/standin-baseline/answers.jsonl 中,每个答案给出一个团队名称及其对数概率。记录旁边附有一份清单。清单写明生成该记录的脚本、模型及其固定的修订版本、提示词的哈希值、解码设置和随机种子,以及答案文件的哈希值。代码在读取任何一行之前,会先依据该哈希值检查答案文件,所以文件一旦被改动,运行就会失败,而不会让得分随之改变。

记录是被读取的,而不是被运行的。每个使用基线的示例读取的都是同样的答案,因此即使生成记录的运行时后来更新了,基线也不会在两次运行之间发生变化。采用记录而不是在每个示例里调用模型,原因与设置固定版本的原因相同。记录把答案固定在某一模型的某一修订版本上,所以读者日后运行同一示例,会看到同样的数字。本书从不调用托管 API,因为托管模型的答案不能以同样的方式固定。替身模型是任何人都能运行的开源模型,本书获取它的答案的唯一途径就是这份记录。

基线也不是上限。它是候选方案在同样的消息上必须超过的得分,它本身并不说明转交的取舍。一个在准确率上超过基线的候选方案,转交的消息仍可能多于支持人员能够阅读的数量,因此基线总是与三个度量一起阅读,绝不当作单一数字。

占位阈值的代价是什么?在 test_1001 上用三个度量打分,替身模型会显示阈值 0.5 转交了多少条消息,以及对其余消息的回答有多大比例正确。它的置信度是 llama-cpp-python 为其受约束的答案返回的概率,即记录的对数概率的指数。该阈值是第 1 章的占位值,所以它的转交率并不是本书最终采用的转交率,第 5 章会在 dev 上选定真正的阈值。该示例还应用了一个高于所有置信度的阈值,这会转交每一条消息。

baseline-measures.py Python 3.12.15 · torch 2.15.0+cpu · transformers 5.23.0 通过
"""Score the stand-in's recorded answers on test_1001 with the three measures, at chapter 1's placeholder threshold and at one above every confidence; no model runs. The point rests on the accuracy and hand-off lines, and the answers' hash is checked first."""import hashlib, json, math, osos.environ.update(HF_HUB_OFFLINE="1", TRANSFORMERS_OFFLINE="1")import torch  # noqa: E402torch.set_num_threads(2)import router_lib  # noqa: E402router_lib.setup_runtime()PLACEHOLDER = 0.5  # Chapter 5 chooses the real threshold on the dev split.ABOVE_ALL = 1.01  # Confidence is at most 1.0, so this hands off every message.RECORDED = router_lib.HERE / "data" / "recorded" / "standin-baseline"manifest = json.loads((RECORDED / "manifest.json").read_text())raw = (RECORDED / "answers.jsonl").read_bytes()assert hashlib.sha256(raw).hexdigest() == manifest["output_sha256"]["answers.jsonl"]answers = {row["index"]: row for row in map(json.loads, raw.decode().splitlines())}  # keyed by test.csv row, not by sample positionrows = router_lib.read_rows("test")sample = router_lib.read_sample("test_1001")golds = [rows[i][1] for i in sample]  # in the sample's committed order, so position k of each list is one messagepreds = [answers[i]["label"] for i in sample]# Confidence is the probability llama-cpp-python returns for the constrained answer: exp of its log-probability.confs = [math.exp(answers[i]["logprob"]) for i in sample]n = len(sample)first = router_lib.metrics(preds, golds, confs, PLACEHOLDER)  # one call returns the counts and rates of all three measureshigh = router_lib.metrics(preds, golds, confs, ABOVE_ALL)print(f"messages: {n}")print(f"placeholder threshold: {PLACEHOLDER}")print(f"accuracy: {first['correct']}/{n} ({first['accuracy']:.1%})")print(f"handed off: {first['handed_off']}/{n} ({first['handoff_rate']:.1%})")m = first["not_handed_off"]print(f"accuracy on messages not handed off: {first['correct_not_handed_off']}/{m} ({first['accuracy_not_handed_off']:.1%})")print(f"threshold above every confidence: {ABOVE_ALL}")print(f"handed off at that threshold: {high['handed_off']}/{n} ({high['handoff_rate']:.1%})")if high["accuracy_not_handed_off"] is None:  # None means no message is kept, so the measure has no denominator    print("accuracy on messages not handed off at that threshold: not defined (0 messages not handed off)")else:    print(f"accuracy on messages not handed off at that threshold: {high['correct_not_handed_off']}/{high['not_handed_off']}")
输出python baseline-measures.py
messages: 1001
placeholder threshold: 0.5
accuracy: 560/1001 (55.9%)
handed off: 30/1001 (3.0%)
accuracy on messages not handed off: 554/971 (57.1%)
threshold above every confidence: 1.01
handed off at that threshold: 1001/1001 (100.0%)
accuracy on messages not handed off at that threshold: not defined (0 messages not handed off)

在占位阈值下,替身模型的准确率为 560/1001 (55.9%),转交了 30/1001 (3.0%)。在它保留的消息上,准确率为 554/971 (57.1%)。

在高于所有置信度的阈值下,转交率为 1001/1001 (100.0%),因此未转交消息上的准确率为 not defined (0 messages not handed off)。

读者自己的托管模型是另一条基线。它在同样的消息上得分会不同,本书也不声称替身模型的数字就是收件箱的数字。读者的基线是其模型在 test_1001 上的已记录答案,并用本章的三个度量打分。真正重要的比较,是读者的候选方案与该基线在同样的消息上、以同样的计数进行的比较。

下一节统计替身模型的错误答案,并说明这些错误出现在哪些团队之间。错误答案的数量是基线的第一个数字。

工作准则: 在 test_1001 上把基线记录一次,这是每个候选方案的前缀所来自的固定样本。把模型的固定修订版本、提示词的哈希值和解码设置存入清单,并在读取任何一行之前依据哈希值检查答案文件。每个候选方案只与在同样消息上打分的基线比较,无论那是 test_40、test_200 还是 test_1001。当你自己的托管模型作为基线时,以同样的方式记录它的答案,并在报告中说明它的得分与替身模型的不同。

标签冲突之处

最近一次修改见于版次 2026.11.2

基线的计数说明了替身模型出错的频率,但没有说明它把哪些团队混淆了,而支持人员能够据以采取行动的正是这些混淆。路由器容易混淆的一对团队,可能需要更清晰的团队描述、针对这一对的规则,或在训练中为二者之一补充更多消息。这些都无法从总数中得知,因此本书从记录下来的答案中读取这些团队对,而不是预先假定哪些团队相近。

统计错误答案需要用到记录本身,所以下一个示例会读取该记录,对照清单进行核对,检查其中是否恰好包含 test_1001 的消息,然后统计错误答案,以及出现最频繁的三个“标准答案到作答”的团队对。并列时按各团队在类别文件中的位置决定先后,因此每次运行都以相同的顺序输出相同的团队对。

confusions-in-the-baseline.py Python 3.12.15 · torch 2.15.0+cpu · transformers 5.23.0 通过
"""Count the stand-in's wrong answers, its three most frequent gold-to-answer pairs and the teams it never answers, on test_1001; no model runs. The point rests on the "pair" and "never answered" lines."""import hashlib, json, osos.environ.update(HF_HUB_OFFLINE="1", TRANSFORMERS_OFFLINE="1")import torch  # noqa: E402torch.set_num_threads(2)import router_lib  # noqa: E402from collections import Counter  # noqa: E402router_lib.setup_runtime()RECORDED = router_lib.HERE / "data" / "recorded" / "standin-baseline"manifest = json.loads((RECORDED / "manifest.json").read_text())raw = (RECORDED / "answers.jsonl").read_bytes()assert hashlib.sha256(raw).hexdigest() == manifest["output_sha256"]["answers.jsonl"]records = [json.loads(line) for line in raw.decode().splitlines()]sample = router_lib.read_sample("test_1001")assert sorted(r["index"] for r in records) == sorted(sample), "recorded rows differ from test_1001"assert all(router_lib.LABELS[r["label"]] == r["team"] for r in records), "label and team disagree"test, LABELS = router_lib.read_rows("test"), router_lib.LABELSgold_totals = Counter(test[i][1] for i in sample)answered = Counter(r["label"] for r in records)pairs = Counter((test[r["index"]][1], r["label"]) for r in records if r["label"] != test[r["index"]][1])  # (gold, answer); [1] is the gold labelwrong = sum(pairs.values())# Ties break on the lower gold label index, then the lower answer index.top = sorted(pairs.items(), key=lambda kv: (-kv[1], kv[0][0], kv[0][1]))[:3]never = sorted(team for k, team in enumerate(LABELS) if answered[k] == 0)  # sorted by name, so uppercase names print firstprint(f"messages: {len(sample)}")print(f"wrong answers: {wrong}")print(f"wrong rate: {100 * wrong / len(sample):.1f}% ({wrong} of {len(sample)})")for rank, ((gold, answer), count) in enumerate(top, start=1):    print(f"pair {rank} count: {count}")    print(f"pair {rank} gold: {LABELS[gold]}")    print(f"pair {rank} answer: {LABELS[answer]}")    print(f"pair {rank} of gold team: {count}/{gold_totals[gold]}")print(f"teams never answered: {len(never)}")for rank, team in enumerate(never, start=1):    gold = LABELS.index(team)    count, answer = max(((c, a) for (g, a), c in pairs.items() if g == gold), key=lambda ca: (ca[0], -ca[1]))  # most frequent wrong answer; ties go to the lower answer index    print(f"never answered {rank} team: {team}")    print(f"never answered {rank} messages: {gold_totals[gold]}")    print(f"never answered {rank} most often as: {LABELS[answer]}")    print(f"never answered {rank} most often count: {count}")
输出python confusions-in-the-baseline.py
messages: 1001
wrong answers: 441
wrong rate: 44.1% (441 of 1001)
pair 1 count: 13
pair 1 gold: Refund_not_showing_up
pair 1 answer: request_refund
pair 1 of gold team: 13/13
pair 2 count: 13
pair 2 gold: failed_transfer
pair 2 answer: transfer_not_received_by_recipient
pair 2 of gold team: 13/13
pair 3 count: 12
pair 3 gold: card_arrival
pair 3 answer: card_delivery_estimate
pair 3 of gold team: 12/13
teams never answered: 4
never answered 1 team: Refund_not_showing_up
never answered 1 messages: 13
never answered 1 most often as: request_refund
never answered 1 most often count: 13
never answered 2 team: card_arrival
never answered 2 messages: 13
never answered 2 most often as: card_delivery_estimate
never answered 2 most often count: 12
never answered 3 team: failed_transfer
never answered 3 messages: 13
never answered 3 most often as: transfer_not_received_by_recipient
never answered 3 most often count: 13
never answered 4 team: order_physical_card
never answered 4 messages: 13
never answered 4 most often as: get_physical_card
never answered 4 most often count: 10

替身模型的错误率为 44.1% (441 of 1001)。在不设阈值的情况下,错误率等于 1 减去准确率,所以这一错误率与基线一节中的准确率相加为 100%。

最频繁的三个团队对,每一对都占去了其标准答案团队的全部或几乎全部样本消息。第一对占 13/13,第二对占 13/13,第三对占 12/13,也就是说,前两对占去了各自标准答案团队的每一条消息,第三对则占去了除一条以外的全部消息。团队名称为每一对都提示了一个原因:第一对涉及退款,第二对涉及转账,第三对涉及银行卡的送达及其送达时间估计。这只是对名称的解读。本章并未阅读这些消息,也没有任何示例输出这些消息,所以这些团队对只是值得查看的理由,不是关于消息内容的结论。

在 77 个团队中,替身模型从未给出 4 个团队的名称,因此标准答案团队属于这些团队的每一条消息都是错的。对于其中之一 card_arrival,最常见的错误答案是 card_delivery_estimate,它占去该团队消息中的 12。

对于其中另一个团队 order_physical_card,最常见的错误答案是 get_physical_card,它占去该团队消息中的 10。记录并未显示这些团队为何从未被给出,所以这份清单只是值得查看的理由。

这些团队对描述的是替身模型在此样本上的表现,而不是团队本身或收件箱。读者自己的模型会有自己的团队对,读者应当根据自己记录的答案来统计。当问题是如何修复某一团队对时,修复方案必须在开发集上选择并检验,正如开发集与测试集一节所要求的那样。如果某项改动是通过阅读 test_1001 上的团队对而选定的,就等于在测试划分上做了调优,其在该划分上的结果不能作为路由器的衡量结果报告。

当生产环境中某个团队的转交或投诉增多时,应首先重复这一统计。在收件箱自身记录的答案上重新统计团队对,输出每一对及其计数,并将清单与基线中的清单比较。清单的变化说明路由器的行为发生了转移,即使总体比率没有变化。

本章的决定,简述如下:

  • 开发集按团队从训练文件中抽取,使用固定的种子,其行号已提交。
  • 测试样本的顺序固定,并且只在报告时读取。
  • 每项指标都与其计数和分母一起输出,分母为零时以“未定义”代替。
  • 替身模型在 test_1001 上记录的答案即为基线,读取自经清单核对的文件。

基线的三个数字合起来看,就是候选模型在相同消息上必须超过的分数。第 3 章在选择基础模型之前,先在 test_40 上统计路由器提示词的词元数。第 5 章在开发集上选择转交阈值,并在该处说明规则。第 10 章在相同的 test_1001 样本上将路由器与基线进行比较。

工作准则: 对每个候选模型,在相同的样本上统计错误答案和最频繁的团队对,并输出每一对及其计数。把这些团队对当作值得查看之处的清单来读。输出最频繁的三个团队对,而不是只输出第一个,因为只有一对容易引起过度解读,而一份清单能显示错误是集中还是分散。在再次读取测试划分之前,先在开发集上检验任何修复。

本章,在本版次中

版次 2026.11.9示例于 2026年11月20日 通过本章 3个示例 个示例中有 3 个通过

译自英文版图书,版次 2026.11.9。

引用本节

格式

每种格式均引用英文原书,本译本以其为准。

每种格式都会注明该版次。其链接会打开当前版次,节标题处会说明该节文本最后一次修改的时间。访问日期和检索日期即为您打开此页的当天。

本页内容

第 2 章,共 10 章: 选定模型之前,先衡量路由任务

  1. 数据及其许可
  2. 开发集、测试集与固定样本
  3. 三项指标,各有其分母
  4. 基于已记录答案的基线
  5. 标签冲突之处

返回顶部全部章节