为路由器标注版本、监测其转交情况,并以人工兜底
阅读约需 36分钟 分钟,8节中含4个示例。
读完本章,你将能够:按生成答案的各个部分为路由器命名,在路由加载这些部分之前对其进行检查,依据既定基线统计每个消息窗口的转交率,并说明每条被转交的消息流向何处。
第 8 章把路由器放在了一条路由之后,每个答案都带有一个团队,或一个把消息送交人工的标记。一条路由连续数月处理银行的客服消息,会引出三个问题,而路由本身无法回答。当前是哪个模型在作答?它的文件是否就是已经检查过的那些?被转交的消息是越来越多,还是越来越少?本章为每个问题配备一项控制措施和一个打印出来的计数。这些控制措施是本书自己的。
本章讨论自行运行模型所增加的内容:版本、人工兜底和重新训练。对服务的一般性监测,包括仪表盘、日志和告警,属于生产监测类图书的内容,本章不再重复。
按组成部分为路由器命名
路由器不只是一个模型。它包括基础模型、在该基础模型上训练的适配器、把消息转交给人工的阈值,以及产生该适配器的数据和训练方案。这几部分中只要有一处不同,两个路由器对同一条消息的回答就可能不同。日志中只写“路由器”的一行记录,无法区分它们。
适配器的文件不包含基础模型。PEFT 检查点指南指出,保存的权重只含适配器模块的参数,不含基础模型的任何内容。因此,适配器必须写明它所训练的基础模型,而且名称必须精确。本书用提交(commit)来指明基础模型,即 examples/models.toml 中的固定版本,因为简短的提交哈希并不够用。Hugging Face 下载指南(v2.4.0)要求,只要指定提交,就必须使用完整长度的哈希。如果没有指定修订版本,下载会取 main 分支当前所指的内容。分支名会随分支移动,所以它不是固定版本。第 5 章已把基础模型的修订版本记录在适配器的清单中,与阈值、数据提交和训练方案哈希放在一起。
版本写在名称里。banking77-lora-v1 是已记录的 LoRA 适配器,在开发划分之外的训练行上训练了一个轮次,版本为一。同一训练方案的新一次记录是 v2,它有自己的名称和自己的清单。清单中没有单独的版本字段。名称就是版本,而第 8 章的路由把版本报告为适配器名称的后缀。对于 banking77-lora-v1,该后缀是 v1。第 7 章中的 int8 副本是另一个模型,即 banking77-lora-v1-int8,本路由并不提供它。它的后缀会读作 int8,所以按名称提供的副本需要有自己的版本字段。
第一项检查读取清单,并将其中的基础模型修订版本与固定版本比较。它先输出适配器的名称,再输出比较结果:
1"""Show what the adapter check does before a route loads an adapter, and what it does to two edited copies.2The point rests on the "route may load" line and on the two "refused by make_app" lines."""3import os45os.environ["HF_HUB_OFFLINE"] = "1"6os.environ["TRANSFORMERS_OFFLINE"] = "1"7import tempfile # noqa: E4028import warnings # noqa: E4029from pathlib import Path # noqa: E4021011import torch # noqa: E4021213torch.set_num_threads(2)1415import router_lib # noqa: E4021617router_lib.setup_runtime()18RECORDED = router_lib.HERE / "data" / "recorded" / "lora-full"19# check_adapter hashes the manifest, the outputs and the LoRA settings; pinned is the manifest's digest matching its pin20manifest, s_ok, s_n, f_ok, f_n, pinned = router_lib.check_adapter(RECORDED)21# the base pin in models.toml, compared with the manifest's base revision22base = router_lib.pinned_revision(manifest["model"]) == manifest["model_version"]23print(f"adapter: {manifest['adapter']}")24print(f"base revision matches pin: {'yes' if base else 'no'}")25print(f"manifest matches pin: {'yes' if pinned else 'no'}")26print(f"settings matching: {s_ok}/{s_n}")27print(f"files matching: {f_ok}/{f_n}")28print("route may load: " + ("yes" if base and pinned and s_ok == s_n and f_ok == f_n else "no"))29with tempfile.TemporaryDirectory() as tmp:30 # changes a manifest field that is neither a LoRA setting nor an output file, so only the manifest digest sees it31 threshold = router_lib.edited_copy(RECORDED, Path(tmp) / "threshold", "manifest.json", "handoff_threshold", 0.0)32 # adds a key that LoraConfig does not know, to the config the settings are read from33 extra = router_lib.edited_copy(RECORDED, Path(tmp) / "extra", "adapter/adapter_config.json", "future_key", 1)34 for label, folder in [("threshold copy", threshold), ("extra-key copy", extra)]:35 _, s_ok, s_n, f_ok, f_n, pinned = router_lib.check_adapter(folder)36 print(f"{label}: manifest matches pin {'yes' if pinned else 'no'}, settings {s_ok}/{s_n}, files {f_ok}/{f_n}")37 print(f"{label} refused by make_app: {'yes' if router_lib.refused_by_make_app(folder) else 'no'}")38 with warnings.catch_warnings(record=True) as caught:39 warnings.simplefilter("always")40 router_lib.load_classifier(extra / "adapter")41 named = [w for w in caught if "future_key" in str(w.message)] # only the warning about the extra key42 print(f"warnings naming the extra key while PEFT loads the copy: {len(named)}")43 # the warning's first sentence: the text up to the first ". " in its message44 print(f"that warning: {named[0].category.__name__}: {str(named[0].message).split('. ')[0]}.")
python adapter-manifest-check.pyadapter: banking77-lora-v1
base revision matches pin: yes
manifest matches pin: yes
settings matching: 3/3
files matching: 3/3
route may load: yes
threshold copy: manifest matches pin no, settings 3/3, files 3/3
threshold copy refused by make_app: yes
extra-key copy: manifest matches pin yes, settings 3/3, files 2/3
extra-key copy refused by make_app: yes
warnings naming the extra key while PEFT loads the copy: 1
that warning: UserWarning: Unexpected keyword arguments ['future_key'] for class LoraConfig, these are ignored.
名称带有版本,即 banking77-lora-v1,且基础模型修订版本与固定版本一致(yes)。读者在读取任何文件之前,就可以对照固定版本检查这两个部分。
工作准则: 用基础模型的修订版本、适配器的名称(版本包含在名称中)、数据提交、阈值和训练方案哈希为路由器命名,并在路由提供服务之前,把这五项都写入适配器的清单。每次加载适配器时,都要把清单中的基础模型修订版本与 examples/models.toml 中的固定版本比较。固定版本已经移动,就意味着基础模型已不同,适配器在提供服务之前需要重新检查。
对照清单检查适配器的文件
加载并不等于版本检查。PEFT checkpoint guide 指出,LoRA 配置中的大多数条目并不是加载模型所必需的,因此即使配置被人手工改过,加载也可能成功。加载成功并不能证明这就是被固定的那个适配器。下面的多余键副本仍然可以加载,而且加载时会发出一条指明该多余键的警告。基座不匹配的情况在加载时确实会失败,并给出状态字典错误,这在研究探针中出现过;本示例不打印这种情况。
因此,检查把适配器与其清单对照,分为三部分。第一,它自行计算 manifest.json 的 SHA-256,并与 examples/adapter-pins.json 中为该适配器名称固定的摘要比较。该固定值涵盖清单中的每一个字段,包括阈值、基座修订版本和输出摘要。第二,它计算清单列出的每个输出文件的 SHA-256,并与清单记录的摘要比较。第三,它读取配置中的三项 LoRA 设置,即秩、决定缩放的 alpha 和目标层,并与清单比较。打印出的各行给出每一项中一致的数量,以及路由是否可以加载该文件夹。
对于已记录的适配器,清单与其固定值相符(yes),3/3 项设置和 3/3 个文件一致,因此路由可以加载它。
检查还会在两个被编辑过的副本上运行,每个副本各占一行。第一个副本在清单中把 handoff_threshold 改为 0,其输出行为 manifest matches pin no, settings 3/3, files 3/3。它的设置和文件仍然一致,因为阈值不是设置,也没有输出文件发生变化。只有清单自身的摘要能发现这一改动,所以该副本被拒绝。第二个副本在配置中增加了一个多余的键,其输出行为 manifest matches pin yes, settings 3/3, files 2/3。它的设置仍然一致,而文件检查会拒绝它,因为配置文件的哈希已不再匹配。PEFT 仍会加载该副本,加载时发出的警告中,1 指明了那个多余的键。完整内容如下:UserWarning: Unexpected keyword arguments ['future_key'] for class LoraConfig, these are ignored. 加载返回的模型忽略了该键,而这条警告就是 PEFT 对此所说的全部。警告不是拒绝。拒绝该副本的是这项检查。
第 8 章中的路由会运行这项检查。它的 make_app 在加载模型之前调用 check_adapter,同时还会把清单中的基座修订版本与固定值比较。任何不匹配都会引发错误,因此未通过的副本在模型进入内存之前就被拒绝。阈值副本被 make_app 拒绝(yes),多余键副本同样如此(yes)。这项检查信任代码仓库。它固定的摘要位于 examples/adapter-pins.json,与代码放在一起,因此只编辑文件夹而不编辑固定值文件的读者会被拒绝,而同时编辑两者的读者则不会。所以,固定值文件应像其他代码一样接受审查。
工作准则: 在任何路由加载适配器之前运行这项检查。把清单的 SHA-256 与代码一起固定,统计匹配的设置和文件数量,把每个数量连同其总数一并打印,并在任一数量不足或清单摘要不匹配时拒绝加载。哈希取自磁盘上的文件,检查和加载使用同一批文件,其间不得有任何写入。
监测转交率
转交率是指一个时间窗口内置信度低于阈值的消息数除以该窗口内的全部消息数。第 2 章定义了它,本章则按时间对它进行监测。监测需要三样东西:窗口、基线,以及判定某个窗口偏离基线过远的规则。
基线是 dev 划分在适配器阈值下的转交率。dev_handed_off 的算法是把所有 dev 消息路由一遍并统计转交数,结果为 148/1003 (14.8%)。第 5 章中的阈值示例打印了同一个计数 148/1003 (14.8%)。两者一致,因此这个基线正是该章选定阈值时所依据的基线。
来自 dev 的基线并不是对收件箱的预测。dev 划分是按团队从训练行中抽取的,测试样本则取自测试划分。两者都不是收件箱流量的样本,而实时消息中各团队的构成也并不清楚。因此,窗口与基线之间的差距只是一个需要追问的问题,它本身并不回答这个问题。
漂移规则是本书自行选定的,并非来自某个资料的数字。当一个窗口的转交率与基线相差超过规定的百分点数时(无论偏高还是偏低),该窗口即为漂移。打印出的规则为 more than 10 points from the baseline。运行监测的人应当自行选定一个数字,并在查看窗口之前把它记录下来。
已提交的测试样本 test_1001 没有日期,因此窗口是从它的前 100 条消息中切分出来的。前两个窗口各含 25 条消息,按样本顺序取自样本最前面的消息。第 3 周和第 4 周是回放,并非新的流量。对这两周,示例取样本中接下来的消息,按路由器的置信度从低到高排序,再把排序后的列表一分为二。示例在打印的那一行中把回放标记为模拟,即 simulated replay of sample messages 51 to 100。回放的构造是为了产生分布较广的置信度,以便展示该规则如何处理一个偏斜的窗口。与基线一样,它也不能说明收件箱的情况。
1"""Watch the router's hand-off rate week by week on a fixed, ordered sample of test_1001, against the dev baseline.2The point rests on the "drift" lines and on the "lowest confidence" and "right" lines of weeks 3 and 4, which the output3labels as a simulated replay."""45import os67os.environ["HF_HUB_OFFLINE"] = "1"8os.environ["TRANSFORMERS_OFFLINE"] = "1"910import json # noqa: E4021112import torch # noqa: E4021314torch.set_num_threads(2)1516import router_lib # noqa: E4021718router_lib.setup_runtime()19RECORDED = router_lib.HERE / "data" / "recorded" / "lora-full"20# the threshold is read from the manifest, not typed here21threshold = json.loads((RECORDED / "manifest.json").read_text())["handoff_threshold"]22tokenizer, model = router_lib.load_classifier(RECORDED / "adapter")2324handed_dev, n_dev = router_lib.dev_handed_off(model, tokenizer, threshold)25base = 100 * handed_dev / n_dev26print(f"dev hand-off rate (baseline): {handed_dev}/{n_dev} ({base:.1f}%)")27print(f"drift rule: more than {router_lib.DRIFT_POINTS:.0f} points from the baseline")28print("weeks 3 and 4: simulated replay of sample messages 51 to 100")29test = router_lib.read_rows("test")30# simulated=True (the default) adds weeks 3 and 4: messages 51 to 100, lowest confidence first, ties by position31for w, (rows, preds, confs) in enumerate(router_lib.watch_weeks(model, tokenizer, threshold), 1):32 n = len(rows)33 handed = sum(router_lib.handoff(c, threshold) for c in confs)34 rate = 100 * handed / n35 # the messages the router keeps, each with its gold team: test row i holds (text, gold team)36 kept = [(p, test[i][1]) for i, p, c in zip(rows, preds, confs) if not router_lib.handoff(c, threshold)]37 right = sum(p == g for p, g in kept)38 print(f"week {w} messages: {n}")39 print(f"week {w} handed off: {handed}/{n} ({rate:.1f}%)")40 # abs makes the rule two-sided, so a fall in the rate drifts as a rise does41 print(f"week {w} drift: {'yes' if abs(rate - base) > router_lib.DRIFT_POINTS else 'no'}")42 print(f"week {w} lowest confidence: {min(confs):.3f}")43 print(f"week {w} right among messages not handed off: {right}/{len(kept)}")
python handoff-windows.pydev hand-off rate (baseline): 148/1003 (14.8%)
drift rule: more than 10 points from the baseline
weeks 3 and 4: simulated replay of sample messages 51 to 100
week 1 messages: 25
week 1 handed off: 6/25 (24.0%)
week 1 drift: no
week 1 lowest confidence: 0.479
week 1 right among messages not handed off: 17/19
week 2 messages: 25
week 2 handed off: 4/25 (16.0%)
week 2 drift: no
week 2 lowest confidence: 0.378
week 2 right among messages not handed off: 19/21
week 3 messages: 25
week 3 handed off: 9/25 (36.0%)
week 3 drift: yes
week 3 lowest confidence: 0.246
week 3 right among messages not handed off: 16/16
week 4 messages: 25
week 4 handed off: 0/25 (0.0%)
week 4 drift: yes
week 4 lowest confidence: 0.981
week 4 right among messages not handed off: 25/25
窗口之所以小,是因为样本小,共四个窗口,每个含 25 条消息。在这样大小的窗口中,一条消息相当于转交率的 4 个百分点,所以一条消息就可能使窗口越过规则的界线。对真实收件箱的监测所需要的窗口应当足够大,使单独一条消息不会决定是否标记。窗口大小应写入报告,并在查看窗口之前说明。
第 1 周和第 2 周保持在规则之内,而回放则向两个方向漂移。四个窗口的结果如下,每项列出其计数和标记。
- 第 1 周转交 6/25 (24.0%),其漂移标记为 no。
- 第 2 周转交 4/25 (16.0%),其漂移标记为 no。
- 第 3 周转交 9/25 (36.0%),其漂移标记为 yes。
- 第 4 周转交 0/25 (0.0%),其漂移标记为 yes。
第 4 周是读者应当仔细查看的情形。降到零的转交率在这条规则下属于漂移,因为规则把下降与上升同样视为变化。转交率为零,是因为第 4 周的最低置信度为 0.981,高于阈值,所以窗口中没有消息被转交。在路由器保留的消息中,它答对了 25/25。这个窗口里都是高置信度且正确的回答,漂移标记报告的是它的转交率发生了变化,而不是路由器出了错。
第 3 周是另一种窗口。它的最低置信度为 0.246,转交数上升到 9/25 (36.0%),路由器在其保留的消息中答对了 16/16。转交数上升意味着更多消息送到了人工手中,但这本身并不能表明是什么原因造成了上升,是消息发生了变化,是出现的团队发生了变化,还是模型发生了变化。路由无法说明是哪一种,因为它的回答不带有消息的记录,第 8 章对它返回的转交率也有同样的说明。
**工作准则:**在每个大小相同的窗口中统计转交数,连同分母一起打印每个计数,并把每个转交率与适配器阈值下的 dev 基线相比较。在查看窗口之前设定漂移规则及其百分点数,并把它写入报告。把发生漂移的窗口视为去阅读其中的消息及其团队的理由,而不是对路由器的裁决。
对移交消息进行抽样
移交监控统计有多少消息被转交给了人工。它留下了两个问题:路由器对移交出去的消息判断是否正确,以及对自己留下处理的消息判断是否正确。本节说明如何回答第一个问题。这是下一步工作。本章不抽取样本,不报告标注结果,也不给出相应的数字。
由人工对移交消息的一份样本进行标注,样本以固定的随机种子抽取,标注结果会说明人工为每条消息选择了哪个团队。把这些标注与路由器的模型本来会选择的团队对照,就能看出在路由器拿不准的消息上,两者有多大比例不一致。路由器拿不准的消息,正是最需要人工检查其选择的消息,因此应当最先抽取这份样本。构建样本的读者可以用公开数据集的金标准标注代替人工标注,并应在报告中说明。
移交消息的样本无法说明路由器在自己留下的消息上表现如何。留下的消息是由路由返回了答案的消息,移交机制从不把它们送交人工。只有在路由已经作答之后,再由人工检查其中一部分,才能估计这些消息的准确率。对留下消息的检查是第二份样本,抽取方式与第一份相同,它不是移交消息样本的副产品。度量指标是未移交消息上的准确率,须给出其计数和分母,如第 5 章所定。
工作准则: 构建样本时,使用固定的随机种子抽取,打印已标注的消息数量,并报告路由器所选团队与人工所选团队一致的频率及其计数。按相同的安排对留下的消息抽样标注,并且只从该样本中读取路由器在留下消息上的准确率。绝不能从移交消息的样本中读出留下消息的准确率。
转交人工处理
对于被转交的消息,路由返回一个标志而不返回团队,第 8 章就是这样构建的。这条消息仍然必须有后续处理。本章的工作准则是:被转交的消息一律交给人工处理。替身模型 Qwen3-4B-Instruct-2507 的已记录答案可以作为建议随被转交的消息一同送出,并标明出自替身模型,由人工决定是否采用。替身模型在 test_1001 上的答案记录在 standin-baseline 中(第 2 章)。对于被转交的消息,路由器的团队绝不返回。
路由的 JSON 含有 team、confidence、handed_off、adapter 和 version,其中没有说明由谁作答的字段。因此,回退答案绝不能以这种结构发出。读者若希望在响应中带上建议,应有意另加一个自己的字段,并在响应中说明该字段的含义。
本书不讲授把调用托管模型作为回退的做法,也不为替身模型设定阈值。它的答案来自一份记录,回退脚本读取这份记录。该脚本衡量建议的正确频率,但不依据这一度量做出任何决定。
1"""Hand each handed-off message to a person, with the stand-in's recorded answer as a labelled suggestion.2The point rests on the "team returned for a handed-off message" line and the "suggestions right" line."""34import os56os.environ["HF_HUB_OFFLINE"] = "1"7os.environ["TRANSFORMERS_OFFLINE"] = "1"89import json # noqa: E4021011import torch # noqa: E4021213torch.set_num_threads(2)1415import router_lib # noqa: E4021617router_lib.setup_runtime()18RECORDED = router_lib.HERE / "data" / "recorded" / "lora-full"19# the threshold is read from the manifest, not typed here20threshold = json.loads((RECORDED / "manifest.json").read_text())["handoff_threshold"]21tokenizer, model = router_lib.load_classifier(RECORDED / "adapter")22test = router_lib.read_rows("test")23standin = router_lib.standin_rows() # a dict from test row index to the stand-in's answer, for the rows it answered24rows, handed = [], []25# simulated=False keeps weeks 1 and 2 only: the replay belongs to the watch, not to this example26for weekly_rows, _, confs in router_lib.watch_weeks(model, tokenizer, threshold, simulated=False):27 rows += weekly_rows28 handed += [i for i, c in zip(weekly_rows, confs) if router_lib.handoff(c, threshold)]2930# the list of records stands in for the person's queue, which the book does not build31# the suggestion is None where the stand-in has no recorded answer, and the team is always None32queue = [{"index": i, "team": None, "suggestion": standin[i]["label"] if i in standin else None} for i in handed]33suggested = [r for r in queue if r["suggestion"] is not None]34right = sum(r["suggestion"] == test[r["index"]][1] for r in suggested) # index 1 of a test row is its gold team3536print(f"messages routed: {len(rows)}")37print(f"handed off by the router: {len(handed)}/{len(rows)} ({100 * len(handed) / len(rows):.1f}%)")38print(f"sent to a person: {len(queue)}/{len(handed)}")39print(f"suggestions attached: {len(suggested)}/{len(handed)}")40print(f"suggestions right: {right}/{len(suggested)}")41print(f"team returned for a handed-off message: {sum(r['team'] is not None for r in queue)}")
python fallback-to-larger-model.pymessages routed: 50
handed off by the router: 10/50 (20.0%)
sent to a person: 10/10
suggestions attached: 10/10
suggestions right: 4/10
team returned for a handed-off message: 0
该示例对前两个窗口进行路由,共 50 条消息,路由器转交了其中的 10/50 (20.0%) 条。每条被转交的消息生成一条记录,输出会统计送交人工的记录数。替身模型有已记录答案的,记录便将其作为建议附上。在这些记录中,有 10/10 条带有建议,而为被转交的消息返回团队的次数是 0。记录列表代表人工的处理队列。本书不构建该队列,读者若自行构建,应让每条记录与其消息保存在一起。
在带有建议的被转交消息中,建议正确的占 4/10。这不到一半,也正因如此,建议只展示给人工,绝不用作答案。回退脚本不在路由器自行处理的消息上衡量替身模型。本样本中每条被转交的消息都带有建议,本章并不声称收件箱中的情形也是如此。
工作准则: 把每条被转交的消息送交人工。替身模型的已记录答案可以随消息附上,并标明为建议。绝不为它返回团队,也绝不在路由的响应结构中放入建议而不附带说明由谁作答的字段。在读者决定给予这些建议多大权重之前,先统计建议正确的数量,并同时给出该数量及其分母。
由触发条件启动再训练
出现漂移的窗口是一个需要查看的信号,它本身并不会启动再训练。本书设定了三个触发条件,本节逐一说明。第一个是漂移,即把本章监控中的规则应用于连续的窗口。当连续两个窗口出现漂移时,本书进行再训练。这个数字没有任何来源给出,你可以选择别的数字,但须事先写明。第二个触发条件是路由器返回的 77 个团队之外新增了一个团队。路由器没有针对它的训练样本,而人工标注会显示出该团队不在这 77 个之内。第三个是路由器留存的消息上错误团队增多,并经上一节的留存消息样本确认。它不是转交消息的样本,因为转交消息的团队从不返回,所以那里出现错误团队在预料之中,也不造成损害。下面的再训练脚本只演练第一个条件。记录的数据中没有新增团队,也没有人工标注,因此第二个和第三个条件在这里只是规则,没有测试。
1"""Decide whether to retrain, as a rule over the weekly drift flags from handoff-windows. The rule is the book's choice,2not a sourced threshold: retrain when two consecutive weeks drift, that is, their hand-off rate is more than3router_lib.DRIFT_POINTS from the dev baseline. The point rests on the "retrain trigger" line."""45import os67os.environ["HF_HUB_OFFLINE"] = "1"8os.environ["TRANSFORMERS_OFFLINE"] = "1"910import json # noqa: E4021112import torch # noqa: E4021314torch.set_num_threads(2)1516import router_lib # noqa: E4021718router_lib.setup_runtime()19RECORDED = router_lib.HERE / "data" / "recorded" / "lora-full"20# the threshold is read from the manifest, not typed here21threshold = json.loads((RECORDED / "manifest.json").read_text())["handoff_threshold"]22tokenizer, model = router_lib.load_classifier(RECORDED / "adapter")23handed_dev, n_dev = router_lib.dev_handed_off(model, tokenizer, threshold)24base = 100 * handed_dev / n_dev2526drifting, run, longest = [], 0, 027# the default simulated=True: weeks 3 and 4 are the replay, the same four windows the watch reads28for rows, _, confs in router_lib.watch_weeks(model, tokenizer, threshold):29 rate = 100 * sum(router_lib.handoff(c, threshold) for c in confs) / len(rows)30 flag = abs(rate - base) > router_lib.DRIFT_POINTS # two-sided, as in the watch31 drifting.append(flag)32 run = run + 1 if flag else 033 longest = max(longest, run)34 print(f"week {len(drifting)} drift: {'yes' if flag else 'no'}")3536print(f"weeks drifting: {sum(drifting)}/{len(drifting)}")37print(f"longest run of drifting weeks: {longest}")38print("rule: retrain when two consecutive weeks drift")39print("retrain trigger: " + ("fired" if longest >= 2 else "not fired"))
python retrain-trigger.pyweek 1 drift: no
week 2 drift: no
week 3 drift: yes
week 4 drift: yes
weeks drifting: 2/4
longest run of drifting weeks: 2
rule: retrain when two consecutive weeks drift
retrain trigger: fired
再训练脚本对与监控相同的四个窗口按顺序应用漂移规则,得出出现漂移的窗口数为 2/4,最长连续漂移周数为 2。第 3 周和第 4 周决定了这一结果,因为它们就是监控中的重放。触发结果为 fired,原因在于重放的构造方式,所以这次运行展示的是规则按所述方式起作用,并不反映收件箱本身发生了什么。
再训练真正启动时,它沿用第一个适配器的路径。它是 recordings/ 中的一份记录,与 banking77-lora-v1 一样,由该处的脚本写出,并写出字段相同的清单。它被命名为同一方案的下一个版本,因此再训练后的适配器是 v2。它的阈值按第 5 章的规则在开发集上重新选定,绝不在测试样本上选定。随后,再训练得到的文件夹还需要把其清单的摘要加入 examples/adapter-pins.json,这作为对仓库的一次变更,由他人审阅。在此之前,make_app 拒绝用它构建应用。旧适配器保持原位,直到 make_app 用新文件夹构建出应用。
**工作准则:**当你所述的触发条件得到满足时再训练,不要因为一个出现漂移的窗口就再训练。把触发条件、它的数字和规则,与满足它的窗口写在一起。再训练后的适配器是一份记录,以下一个版本命名,固定其清单摘要,并在开发集上重新选定阈值。在新适配器通过 make_app 中的检查之前,保留前一个适配器。
生产环境中会出什么问题
- 清单被手工编辑。 清单的摘要已被固定,因此检查会拒绝它。信任代码仓库的检查,只有在同时编辑固定文件时才会被绕过,而这是一项需要有人审阅的变更。
- 某个固定版本发生变动。
examples/models.toml中的基础固定版本可能在适配器之下发生变化,而该适配器的清单仍然指向旧的修订版本。make_app会比较二者,并拒绝构建。 - 回退按错误的刻度进行路由。 来自从未针对该阈值校准过的模型的置信度,不能充当关口。因此本书中的回退从不进行路由,建议只随人工撰写的消息一同传递。
- 窗口过小。 在 25 条消息的窗口中,一条消息相当于 4 个百分点。此时一个标记只反映一两条消息,依据它采取行动的读者,其实是在对噪声作出反应。
- 比率发生变动,却无从解释。 该路由的回答不记录消息本身,因此比率为何变动,只能结合消息及其所属团队来回答,并借助本章在后续步骤中描述的抽样。
第一类故障在构建应用时就能发现。被拒绝的文件夹会在启动时引发错误,因此在启动时构建应用的部署,会在任何消息失败之前发现有问题的文件夹。其他故障则体现在计数上。移交比率的变动会体现在窗口的计数中,漂移规则会将其报告出来。回退若回答了错误的消息,会体现在建议的计数上,其余问题则可通过对人工标注的抽样看出。
工作准则: 在启动时以及每个窗口中,把每项控制的计数打印在读者看得到的地方,并把能揭示故障的计数与它们所解释的比率放在同一份报告中。
这部分尚未翻译,因此以英文显示。
The decisions this chapter made
- A handed-off message always goes to a person. The stand-in's answer, when there is one, is a labelled suggestion, and the chapter counts how often it is right.
- The version check pins the SHA-256 of each adapter's
manifest.jsoninexamples/adapter-pins.json, andmake_apprefuses to build on any mismatch or a moved base pin. - The drift rule is 10 points from the dev baseline, in either direction, on windows of 25 messages.
- A retrain is due when two consecutive windows drift. The second and third triggers are stated rules, not tested here.
Chapter 10 uses the same measures as this chapter.
All four are the book's choices; see the drift rule. Together the controls check which model answers, count what it hands off and send each handed-off message to a person. The fallback rule follows the rule from chapter 1 that a flagged message goes to a person. The pin rule trades a review of the repository for a check that a load alone cannot make.
Working rule: Write each decision above into the report with its number and whether it is the book's choice or a sourced figure. Change a decision only by changing the rule it names, and rerun the examples that print its counts.
本章,在本版次中
版次 2026.11.9示例于 2026年11月20日 通过本章 4个示例 个示例中有 4 个通过
译自英文版图书,版次 2026.11.9。