文档没有说明时就拒答,并同时度量两类错误
阅读约需 35分钟 分钟,6节中含3个示例。
读完本章,你将能够统计助手无法依据文档作答的两种情形,在各自的分母上解读这两个比率,并判断一条更常拒答的规则在什么情况下值得付出相应的代价。
本书中的助手回答有关 sablefile 的问题。sablefile 是一个命令行工具,用来让项目中生成的文件与其所依据的模板保持同步;助手依据该工具的文档作答。当文档没有涵盖某个问题时,助手应当只回复一句固定的话:“The docs don't say.”,不再多说任何内容。这句话看上去是最稳妥的回答。团队在日志中看到一条错误回复,往往会倾向于让助手更频繁地拒答,因为拒答显得谨慎。但拒答同样可能出错。如果文档其实回答了这个问题,那么收到这句话的用户就被辜负了,而且任何地方都不会显示出错误。如果文档并没有回答,助手却照样作答,用户得到的就是一条没有任何依据的回复。更频繁地拒答,是用其中一种错误去换另一种。只统计其中一种错误的团队,会朝着一个看上去不错的数字去调整,却掩盖了另一种错误的代价。
本章在本书自身的回复上统计这两类错误。随后,本章在未经过滤的变体上检验一个显而易见的补救办法:当排名第一的节的检索得分较低时,由一道防护规则触发拒答。在该变体上,这道防护并没有帮助。这就是本章的结论,下文的大部分内容讨论的是这一结论如何得出,以及它在多大程度上可信。
两类错误,分别计数
测试集中的每个问题都有其类别。可回答的问题,是所问版本的文档能够回答的问题。不可回答的问题,是文档不能回答的问题。回复拒绝了可回答的问题,即构成误拒;回复回答了不可回答的问题,即构成误答。第一章在拒答检查中已经定义了这两者,本章在更多条目上沿用同样的定义。
这两个比率的分母不同,而要点正在分母之中。误拒率是被拒绝的可回答条目数,除以可回答条目的总数。误答率是被回答的不可回答条目数,除以不可回答条目的总数。若把两类错误放在同一个总数之上,可回答条目很多的测试集会使拒绝的数量显得很小,本应拒绝却作了回答的情形则淹没在总和里。每个比率需要各自的计数,每个计数需要各自的分母。
有两类条目不计入这两个比率。版本相关条目询问的是随版本而异的内容,因此其回复要对照所问版本的参考答案来评判,它自己的比率即版本正确率,在第9章中讨论。歧义条目有两种理解,按通过率评判,而不按任何一个拒答率评判。对这两类条目的拒绝,在此不算错误。代码仍会统计这些拒绝并将其打印出来,因此其中任何一次拒绝都不会被忽略。
只有当回复恰好是拒答语句、此外别无他物时,代码才把该回复计为拒绝。若回复先给出该语句,随后又给出一个答案,则不算拒绝,在两个比率中都按回答计。用其他措辞表达的拒绝也是如此:代码对该语句做精确匹配,所以措辞不同的拒绝会被计为回答。在可回答条目上,这在此不算错误;在不可回答条目上,这就是误答,这也正是提示词中要把该语句固定下来的原因。
**工作准则:**分别报告两个拒答率,各自除以自己的分母,并把版本相关条目和歧义条目排除在两个比率之外。要查看每个比率背后的条目,而不只看比率本身,因为比率可能掩盖少数关键的条目。
基线的表现
基线就是第一章构建的助手。它运行提示 P1:要求每条陈述都附引用,并在各节没有给出答案时输出拒答语句。它用 BM25 检索前三节,只检索所问版本的索引。它的回复每个条目只记录一次,示例读取的就是这份记录下来的回复。
三个变体各自只改动一处。prompt-b运行提示 P2,该提示要求在给出答案之前先引用答案所依据的句子。k5向模型提供前五节,而不是前三节。unfiltered从所有版本的索引中一并检索,并在每一节的标题中标明其版本,这样当某一节来自另一个版本时,模型能够看出来。每个变体对相同的条目都有各自的回复记录,因此每一次比较都是针对同一批问题的回复进行的。
为每份记录统计两类错误,需要一个示例 decline-rates。它读取四份记录在开发集和保留集上的全部内容,打印每个比率及其计数,并指出每类错误背后的条目。它的输出显示每份记录拒答了哪些可回答的条目,又回答了哪些不可回答的条目。
1"""Counts the two decline errors for each recording, on dev and on held-out: answerable items declined (false refusals)2and unanswerable items answered (false answers). Each rate line rests on its own count and denominator.34Version-dependent and ambiguous items are left out of both rates; the last line per split counts the declines among5them, which are not errors here."""6import lib # first: fixes the thread counts and seeds before anything else loads78from lib.contract import parse_reply9from lib.prompts import P1_SHA256, P2_SHA25610from lib.replay import ReplayModel11from lib.stats import pct12from lib.testset import load_items1314VARIANTS = ( # label, recording, the sha256 of the prompt it was made from15 ("baseline", "assistant-baseline", P1_SHA256), # P1, k=3, filtered to the asked version16 ("unfiltered", "assistant-unfiltered", P1_SHA256), # P1, k=3, sections from every version17 ("prompt-b", "assistant-prompt-b", P2_SHA256), # P2, k=3, filtered18 ("k5", "assistant-k5", P1_SHA256), # P1, k=5, filtered19)2021for label, recording, prompt_sha256 in VARIANTS:22 model = ReplayModel(recording, prompt_sha256) # refuses a recording made from another prompt23 for split in ("dev", "held-out"):24 items = load_items(split=split)25 declined = {item.id: parse_reply(model.reply(item.id, 0)).declined for item in items} # sample 0 only26 answerable = [item for item in items if item.kind == "answerable"]27 unanswerable = [item for item in items if item.kind == "unanswerable"]28 refused = sorted(item.id for item in answerable if declined[item.id])29 answered = sorted(item.id for item in unanswerable if not declined[item.id])30 other_kinds = ("version-dependent", "ambiguous")31 other = [item.id for item in items if item.kind in other_kinds and declined[item.id]]32 print(f"{label} {split} false refusal rate (answerable declined): {pct(len(refused), len(answerable))}")33 print(f"{label} {split} false refusals: {', '.join(refused) or 'none'}")34 print(f"{label} {split} false answer rate (unanswerable answered): {pct(len(answered), len(unanswerable))}")35 print(f"{label} {split} false answers: {', '.join(answered) or 'none'}")36 for item_id in answered: # what each false answer cites, and its text, so the chapter's claims can be checked37 reply = parse_reply(model.reply(item_id, 0))38 print(f"{label} {split} reply to {item_id} cites: {', '.join(reply.citations) or 'none'}")39 print(f"{label} {split} reply to {item_id} text: {reply.text}")40 print(f"{label} {split} declined, not counted (version-dependent and ambiguous): {len(other)}")
python decline-rates.pybaseline dev false refusal rate (answerable declined): 10.0% (4 of 40)
baseline dev false refusals: q-0052, q-0060, q-0063, q-0079
baseline dev false answer rate (unanswerable answered): 0.0% (0 of 13)
baseline dev false answers: none
baseline dev declined, not counted (version-dependent and ambiguous): 6
baseline held-out false refusal rate (answerable declined): 30.0% (6 of 20)
baseline held-out false refusals: q-0101, q-0102, q-0103, q-0105, q-0111, q-0118
baseline held-out false answer rate (unanswerable answered): 0.0% (0 of 7)
baseline held-out false answers: none
baseline held-out declined, not counted (version-dependent and ambiguous): 2
unfiltered dev false refusal rate (answerable declined): 12.5% (5 of 40)
unfiltered dev false refusals: q-0005, q-0052, q-0058, q-0060, q-0079
unfiltered dev false answer rate (unanswerable answered): 15.4% (2 of 13)
unfiltered dev false answers: q-0018, q-0039
unfiltered dev reply to q-0018 cites: remote-retries
unfiltered dev reply to q-0018 text: Yes, sablefile 1.1 can fetch a remote template from a private URL that needs a login token, as long as the token is included in the request. The retry behavior for such fetches is up to 5 times before giving up, and this applies to `sync` and `diff` operations [sec:remote-retries]. The `check` command does not fetch anything and thus does not apply to such scenarios.
unfiltered dev reply to q-0039 cites: check-exit-status
unfiltered dev reply to q-0039 text: When check finds a drifted file, it prints `DRIFT` and the path, and exits with status 1. [sec:check-exit-status]
unfiltered dev declined, not counted (version-dependent and ambiguous): 9
unfiltered held-out false refusal rate (answerable declined): 45.0% (9 of 20)
unfiltered held-out false refusals: q-0101, q-0102, q-0103, q-0105, q-0106, q-0111, q-0115, q-0116, q-0117
unfiltered held-out false answer rate (unanswerable answered): 0.0% (0 of 7)
unfiltered held-out false answers: none
unfiltered held-out declined, not counted (version-dependent and ambiguous): 3
prompt-b dev false refusal rate (answerable declined): 7.5% (3 of 40)
prompt-b dev false refusals: q-0052, q-0063, q-0079
prompt-b dev false answer rate (unanswerable answered): 0.0% (0 of 13)
prompt-b dev false answers: none
prompt-b dev declined, not counted (version-dependent and ambiguous): 4
prompt-b held-out false refusal rate (answerable declined): 25.0% (5 of 20)
prompt-b held-out false refusals: q-0101, q-0102, q-0103, q-0105, q-0111
prompt-b held-out false answer rate (unanswerable answered): 0.0% (0 of 7)
prompt-b held-out false answers: none
prompt-b held-out declined, not counted (version-dependent and ambiguous): 0
k5 dev false refusal rate (answerable declined): 7.5% (3 of 40)
k5 dev false refusals: q-0052, q-0062, q-0079
k5 dev false answer rate (unanswerable answered): 0.0% (0 of 13)
k5 dev false answers: none
k5 dev declined, not counted (version-dependent and ambiguous): 5
k5 held-out false refusal rate (answerable declined): 30.0% (6 of 20)
k5 held-out false refusals: q-0102, q-0103, q-0105, q-0106, q-0111, q-0116
k5 held-out false answer rate (unanswerable answered): 0.0% (0 of 7)
k5 held-out false answers: none
k5 held-out declined, not counted (version-dependent and ambiguous): 2
基线在开发集上的误拒率是10.0% (4 of 40)。它的误拒条目是q-0052、q-0060、q-0063和q-0079,每一个都是文档涵盖的可回答条目。它在开发集上的误答率是0.0% (0 of 13),也就是说开发集中不可回答的条目它一个也没有回答。第一章同样没有发现误答,但只有四个不可回答的条目,条目太少,不足以对比率下什么结论。基线还拒答了6个开发集条目,它们属于两个比率都不计入的两类条目。
第 2 章统计出该基线有10次过度拒答。这个计数涵盖文档能够回答的每个条目,包括与版本相关的条目,因此既包含上面的误拒,也包含对与版本相关和有歧义的条目的拒答,而后者不在本比率之内。
下表把四份记录在两个数据划分上并列呈现。每个单元格给出一个比率及其计数。
| 记录 | 开发集误拒 | 开发集误答 | 保留集误拒 | 保留集误答 |
|---|---|---|---|---|
| baseline | 10.0% (4 of 40) | 0.0% (0 of 13) | 30.0% (6 of 20) | 0.0% (0 of 7) |
| unfiltered | 12.5% (5 of 40) | 15.4% (2 of 13) | 45.0% (9 of 20) | 0.0% (0 of 7) |
| prompt-b | 7.5% (3 of 40) | 0.0% (0 of 13) | 25.0% (5 of 20) | 0.0% (0 of 7) |
| k5 | 7.5% (3 of 40) | 0.0% (0 of 13) | 30.0% (6 of 20) | 0.0% (0 of 7) |
先看 unfiltered 一行,因为它是开发集上唯一出现误答的一行。它的误拒率是12.5% (5 of 40),基线的是10.0% (4 of 40)。unfiltered 拒答了两个基线回答了的可回答条目,即q-0005和q-0058,同时回答了基线拒答的q-0063。净结果是四十个条目中多拒答了一个。开发集上每一处与基线的误拒差异都是四十个条目中的一个。就这些条目而言,一个条目不足以据以断定哪份记录更好,区间与样本量说明了这样大小的样本能够说明什么。
unfiltered 变体还回答了两个不可回答的开发集条目,而基线一个也没有回答。它的误答率是15.4% (2 of 13)。这是一个没有区间的两个条目的计数,因此本章把它作为计数报告,而不是作为测得的上升。这两处误答是q-0018和q-0039。
这两个问题都针对 sablefile 1.1,而 1.1 版文档对两者的答案都没有提及:能否用登录令牌从私有地址获取远程模板,以及diff在发现差异时返回什么退出状态。基线对两者都拒答。unfiltered 的回复对两者都作了回答,并且每条都引用了相邻的一节。对q-0018的回复引用了remote-retries,即远程获取的重试规则。对q-0039的回复引用了check-exit-status,并给出了check的退出状态,而这是一个不同于问题所问的diff的命令。示例会打印每处引用和每条回复的文本,因此无需打开记录就能核对这些说法。unfiltered 变体改变的是检索而不是提示,所以应当首先查看引用。
把开发集拒答向另一个方向移动的变体是prompt-b和k5。两者在开发集上的误拒都比基线少一个,并且都没有回答任何不可回答的开发集条目。prompt-b的误拒率是7.5% (3 of 40)。k5的是7.5% (3 of 40)。就这些条目而言,各自都比基线少一个,而一个条目不足以据以下结论。
保留集的数字仅为完整起见而报告。prompt-b的误拒率是25.0% (5 of 20)。k5的是30.0% (6 of 20)。基线的是30.0% (6 of 20)。prompt-b与基线之间的差距是二十个条目中的一个,就这些条目而言,它不足以据以下结论。本章不选定任何变体,因为开发集上的差异各自只是一个条目。
工作准则: 在修改提示之前,先逐条人工阅读开发集上的每一处误拒,因为其中某一处可能指向文档中的真实缺口。在相同的条目上比较各变体,并且只在示例打印了成对区间时才报告成对区间。没有打印时,就报告这些条目上的计数,不就哪个变体更好得出结论。保留集只运行一次,用来确认在开发集上做出的选择。unfiltered 变体在这里是一个警示:在开发集上,它回答了基线拒答的不可回答条目。本章在没有区间的情况下报告这一点,因此它是需要核查的理由,而不是测得的上升。
对已记录回复的防护
防护基于一个朴素的想法。BM25 按每个节与问题共有的词语为其打分。当文档中没有任何内容涉及某个问题时,最匹配的节与问题共有的词应当很少,其分数也就应当很低。防护读取最匹配节的分数,当分数低于阈值时拒绝回答。这个想法只是一个假设,可能不成立。一个问题可能与某个并不回答它的节共有许多词,下面的扫描就是对此的检验。
防护可以在不再次运行模型的情况下加以度量。检索是确定性的:同一个问题每次得到相同的最高排名节和相同的分数。因此,每个条目的最高分都可以由索引算出,防护也就成为一条应用于已记录回复的规则。它的网格和规则是 lib/guard.py 中的常量。防护只会把回答变为拒绝,绝不会撤销拒绝,所以它能降低误答,却只会提高误拒。
防护的分数必须来自生成它所评判的回复的那个索引,而 unfiltered 回复是由所有版本的节生成的。因此,防护读取 unfiltered 记录,并在全版本索引上取最高 BM25 分数。若采用所询问版本的索引中的分数,则是在 unfiltered 模型从未见过的节上度量。防护在 unfiltered 变体上测试,是因为基线不回答任何无法回答的开发集条目,防护在那里无物可除,而 unfiltered 变体回答了其中两个。本章对基线上的防护不作任何论断。
网格从 0.00 到 10.00,步长为四分之一,高于每一个开发集分数。对每个阈值,规则把两个比率相加,各自除以自己的分母,并选出和最小的阈值。这种等权重是一种选择,“过多与过少”一节会回到这一点。若出现并列,取较低的阈值,因为它改变的回复更少。该规则在 lib/guard.py 中陈述,并在开发集上挑选。留出集并非未被触及,因为基线的表现一节中的第一张表已经给出了它未加防护时的比率。防护在留出集上只运行了一次,使用的是冻结的阈值。
扫描在 tune-guard-dev 中运行,它在网格的每一步打印两个比率,最后给出规则的选择。它以最重要的检查开头:每个条目所记录的节必须与索引返回的节一致,否则这些分数描述的就是一个从未产生过这些回复的检索。
1"""Sweeps the decline guard's threshold over dev replies of the unfiltered recording, printing both rates at each2threshold, and the threshold the dev rule picks. The line for 0.00 is the recorded replies with no guard, since no top3score is below zero; the rule's pick rests on the rate lines below it. Only dev is read here."""4import lib # first: fixes the thread counts and seeds before anything else loads56from lib.guard import GRID, GUARD_RECORDING, RULE, contexts_match, denominators, errors, pick_threshold, rows7from lib.stats import pct89dev = rows("dev")10answerable, unanswerable = denominators(dev)11print(f"recording: {GUARD_RECORDING} (all versions, dev items)")12print(f"answerable dev items: {answerable}")13print(f"unanswerable dev items: {unanswerable}")1415mismatches = contexts_match("dev")16print(f"dev items whose recorded sections differ from the retrieval: {mismatches}")17assert mismatches == 0, "the scores come from a retrieval that did not make the recorded replies"18highest = max(row.score for row in dev)19print(f"highest top score on dev: {highest:.3f}")20assert highest < GRID[-1], "the grid must reach above every dev score"2122print(f"rule: {RULE}")23for threshold in GRID:24 refusals, answers = errors(dev, threshold)25 print(f"threshold {threshold:.2f}, false refusal rate: {pct(len(refusals), answerable)}")26 print(f"threshold {threshold:.2f}, false answer rate: {pct(len(answers), unanswerable)}")2728refusals, answers = errors(dev, 0.0)29print(f"recorded false refusals (no guard): {', '.join(refusals) or 'none'}")30print(f"recorded false answers (no guard): {', '.join(answers) or 'none'}")31scores = {row.item_id: row.score for row in dev}32for item_id in answers: # the top score of each recorded false answer, so a reader can see where it falls on the grid33 print(f"top score of recorded false answer {item_id}: {scores[item_id]:.3f}")3435chosen = pick_threshold(dev)36assert chosen == 0.0, f"the dev rule now picks {chosen:.2f}, not 0.00"37refusals, answers = errors(dev, chosen)38print(f"threshold chosen by the dev rule: {chosen:.2f}")39print(f"at the chosen threshold, false refusal rate: {pct(len(refusals), answerable)}")40print(f"at the chosen threshold, false answer rate: {pct(len(answers), unanswerable)}")
python tune-guard-dev.pyrecording: assistant-unfiltered (all versions, dev items)
answerable dev items: 40
unanswerable dev items: 13
dev items whose recorded sections differ from the retrieval: 0
highest top score on dev: 9.949
rule: pick the threshold in GRID whose false refusal rate plus false answer rate is smallest, each rate over its own denominator; when two thresholds tie, take the lower one
threshold 0.00, false refusal rate: 12.5% (5 of 40)
threshold 0.00, false answer rate: 15.4% (2 of 13)
threshold 0.25, false refusal rate: 12.5% (5 of 40)
threshold 0.25, false answer rate: 15.4% (2 of 13)
threshold 0.50, false refusal rate: 12.5% (5 of 40)
threshold 0.50, false answer rate: 15.4% (2 of 13)
threshold 0.75, false refusal rate: 12.5% (5 of 40)
threshold 0.75, false answer rate: 15.4% (2 of 13)
threshold 1.00, false refusal rate: 12.5% (5 of 40)
threshold 1.00, false answer rate: 15.4% (2 of 13)
threshold 1.25, false refusal rate: 12.5% (5 of 40)
threshold 1.25, false answer rate: 15.4% (2 of 13)
threshold 1.50, false refusal rate: 12.5% (5 of 40)
threshold 1.50, false answer rate: 15.4% (2 of 13)
threshold 1.75, false refusal rate: 12.5% (5 of 40)
threshold 1.75, false answer rate: 15.4% (2 of 13)
threshold 2.00, false refusal rate: 12.5% (5 of 40)
threshold 2.00, false answer rate: 15.4% (2 of 13)
threshold 2.25, false refusal rate: 15.0% (6 of 40)
threshold 2.25, false answer rate: 15.4% (2 of 13)
threshold 2.50, false refusal rate: 17.5% (7 of 40)
threshold 2.50, false answer rate: 15.4% (2 of 13)
threshold 2.75, false refusal rate: 17.5% (7 of 40)
threshold 2.75, false answer rate: 15.4% (2 of 13)
threshold 3.00, false refusal rate: 20.0% (8 of 40)
threshold 3.00, false answer rate: 15.4% (2 of 13)
threshold 3.25, false refusal rate: 30.0% (12 of 40)
threshold 3.25, false answer rate: 15.4% (2 of 13)
threshold 3.50, false refusal rate: 32.5% (13 of 40)
threshold 3.50, false answer rate: 15.4% (2 of 13)
threshold 3.75, false refusal rate: 37.5% (15 of 40)
threshold 3.75, false answer rate: 15.4% (2 of 13)
threshold 4.00, false refusal rate: 40.0% (16 of 40)
threshold 4.00, false answer rate: 7.7% (1 of 13)
threshold 4.25, false refusal rate: 45.0% (18 of 40)
threshold 4.25, false answer rate: 7.7% (1 of 13)
threshold 4.50, false refusal rate: 55.0% (22 of 40)
threshold 4.50, false answer rate: 7.7% (1 of 13)
threshold 4.75, false refusal rate: 60.0% (24 of 40)
threshold 4.75, false answer rate: 0.0% (0 of 13)
threshold 5.00, false refusal rate: 62.5% (25 of 40)
threshold 5.00, false answer rate: 0.0% (0 of 13)
threshold 5.25, false refusal rate: 70.0% (28 of 40)
threshold 5.25, false answer rate: 0.0% (0 of 13)
threshold 5.50, false refusal rate: 77.5% (31 of 40)
threshold 5.50, false answer rate: 0.0% (0 of 13)
threshold 5.75, false refusal rate: 77.5% (31 of 40)
threshold 5.75, false answer rate: 0.0% (0 of 13)
threshold 6.00, false refusal rate: 80.0% (32 of 40)
threshold 6.00, false answer rate: 0.0% (0 of 13)
threshold 6.25, false refusal rate: 82.5% (33 of 40)
threshold 6.25, false answer rate: 0.0% (0 of 13)
threshold 6.50, false refusal rate: 87.5% (35 of 40)
threshold 6.50, false answer rate: 0.0% (0 of 13)
threshold 6.75, false refusal rate: 87.5% (35 of 40)
threshold 6.75, false answer rate: 0.0% (0 of 13)
threshold 7.00, false refusal rate: 92.5% (37 of 40)
threshold 7.00, false answer rate: 0.0% (0 of 13)
threshold 7.25, false refusal rate: 92.5% (37 of 40)
threshold 7.25, false answer rate: 0.0% (0 of 13)
threshold 7.50, false refusal rate: 92.5% (37 of 40)
threshold 7.50, false answer rate: 0.0% (0 of 13)
threshold 7.75, false refusal rate: 92.5% (37 of 40)
threshold 7.75, false answer rate: 0.0% (0 of 13)
threshold 8.00, false refusal rate: 92.5% (37 of 40)
threshold 8.00, false answer rate: 0.0% (0 of 13)
threshold 8.25, false refusal rate: 95.0% (38 of 40)
threshold 8.25, false answer rate: 0.0% (0 of 13)
threshold 8.50, false refusal rate: 95.0% (38 of 40)
threshold 8.50, false answer rate: 0.0% (0 of 13)
threshold 8.75, false refusal rate: 95.0% (38 of 40)
threshold 8.75, false answer rate: 0.0% (0 of 13)
threshold 9.00, false refusal rate: 97.5% (39 of 40)
threshold 9.00, false answer rate: 0.0% (0 of 13)
threshold 9.25, false refusal rate: 97.5% (39 of 40)
threshold 9.25, false answer rate: 0.0% (0 of 13)
threshold 9.50, false refusal rate: 97.5% (39 of 40)
threshold 9.50, false answer rate: 0.0% (0 of 13)
threshold 9.75, false refusal rate: 97.5% (39 of 40)
threshold 9.75, false answer rate: 0.0% (0 of 13)
threshold 10.00, false refusal rate: 100.0% (40 of 40)
threshold 10.00, false answer rate: 0.0% (0 of 13)
recorded false refusals (no guard): q-0005, q-0052, q-0058, q-0060, q-0079
recorded false answers (no guard): q-0018, q-0039
top score of recorded false answer q-0018: 3.762
top score of recorded false answer q-0039: 4.592
threshold chosen by the dev rule: 0.00
at the chosen threshold, false refusal rate: 12.5% (5 of 40)
at the chosen threshold, false answer rate: 15.4% (2 of 13)
检查通过:开发集中有零个条目不一致,示例也断言该数目为零。开发集上的最高分是 9.949,低于网格的上限。
从扫描的底部看起。在 0.00 处没有分数低于阈值,所以这一行显示的是未加防护的已记录回复。那里的误拒率是 12.5% (5 of 40),误答率是 15.4% (2 of 13)。直到 2.00 的每一行都与此相同。在 2.25 处,误拒开始上升,达到 15.0% (6 of 40)。
误答直到 4.00 才下降,此处的误答率是 7.7% (1 of 13)。在 4.75 处误答率是 0.0% (0 of 13),所以没有任何无法回答的开发集条目被回答。4.75 处的误拒率是 60.0% (24 of 40)。
扫描中没有一行能使两个比率同时低于无防护的那一行。每个降低误答的阈值都会提高误拒,每个不触动误拒的阈值也不触动误答。在开发集上,防护只是一种权衡,而不是改进。
扫描也显示了该分数的局限。q-0018 的最高分是 3.762,q-0039 的最高分是 4.592。阈值要到 4.00 及以上才能拦住 q-0018,而此时误拒率已经是 40.0% (16 of 40)。要到 4.75 及以上才能拦住 q-0039。没有任何一个切分点能在被拒绝的可回答条目不到一半的情况下拦住两个被回答的条目。可能的原因在于分数本身:它统计共有的词,而一个关于同一条命令的节,可能与一个它并不回答的问题共有许多词。这是对扫描结果的解读,不是度量得出的事实。要检验它,需要对条目逐一人工打分,本章不做这件事。
规则的选择是 0.00。在该阈值处,误拒率是 12.5% (5 of 40),误答率是 15.4% (2 of 13)。两者都与无防护的已记录回复相同。这个选择是并列时的取舍结果,不是发现。从 0.00 到 2.00 的各行和相同,规则取其中最低的一个,所以规则选出的防护就是没有防护。
工作准则: 防护的分数要用生成回复的同一个索引来构建,并且在读取任何比率之前先检查两者是否一致。然后通读整个扫描,在每一行上同时看两个比率。若某个选择与什么都不做并列,说明规则没有找到任何改变回复的理由,这是一个值得保留的答案。
拒答过多与过少
扫描结果显示了团队在加入该护栏后将面临的取舍,也显示了每种度量方式会报告什么。假设一个团队只统计错误回答。在开发集上,能阻止全部错误回答的最低阈值是 4.75,于是该团队会选定 4.75,并报告称助手不再回答它无法依据文档支持的问题。扫描结果中 4.75 那一行显示了这份报告所掩盖的代价。在 4.75 处,误拒率为 60.0% (24 of 40)。报告中不会有任何内容提到这一点,因为团队从未统计另一类错误。
在生产环境中,这正是需要警惕的失效情形。用户提出了文档中有答案的问题,却得到了拒答语句,而回复中没有任何迹象表明这句拒答是错的。这一代价唯一出现的地方是误拒计数。不统计它的团队只看到错误回答为零,便直接上线。
该规则对两类错误给予同等权重,而这是一项属于团队自己的选择。团队可能认为错误回答的代价远高于误拒,例如一个言之凿凿的错误回答会把用户引向错误的修复办法。只要该团队设定的权重大到足以改变总和,它在开发集上就会得到不同的选择,扫描结果显示了变化的方向:错误回答的权重越高,所选阈值越偏向拒答更多的一侧。这样的团队应当在任何人查看扫描结果之前先写下自己的权重,再把它们交给规则。本章不会用其他权重重新运行该规则,也不会为此重新打开留出的数据划分。在看过留出数据的数字之后再选权重,就相当于在该划分上进行了第二轮调参。
阈值同样属于产生这些回复的助手。分数取决于索引,而索引取决于各节的切分方式以及收录了哪些版本。其中任何一项发生变化,分数都会随之移动,因此阈值必须在开发集上重新选取,并且在任何人查看比率之前,示例中的第一项检查必须再次通过。
工作准则: 在调整阈值之前,用团队自己的衡量标准写下每类错误的代价,并在任何人查看扫描结果之前,把这些权重交给规则。
读者应当接受什么
留出集只运行了一次,阈值固定为 0.00。这次运行是 guard-held-out,它首先断言开发集规则(见拒答防护)仍然选出这个值。因此,开发数据或规则一旦改变,运行就会在打印任何留出集数字之前停止。
1"""Applies the decline guard, with its threshold frozen from dev, to the held-out items of the unfiltered recording, and2prints both rates with 95% bootstrap intervals over items. The threshold is a constant chosen by tune-guard-dev's rule3on dev; the assert checks that the rule still picks it, so a change to the dev data or the rule fails here."""4import lib # first: fixes the thread counts and seeds before anything else loads56from lib.guard import denominators, errors, guarded, pick_threshold, rows7from lib.stats import bootstrap_mean, interval_pct, pct89# Picked on dev by tune-guard-dev (the rule in lib/guard.py), then frozen. Held-out is not used to change it.10FROZEN_THRESHOLD = 0.01112dev_pick = pick_threshold(rows("dev")) # reads dev only13assert dev_pick == FROZEN_THRESHOLD, f"the dev rule now picks {dev_pick:.2f}, not the frozen {FROZEN_THRESHOLD:.2f}"1415held = rows("held-out")16answerable, unanswerable = denominators(held)17refusals, answers = errors(held, FROZEN_THRESHOLD)18print(f"threshold (frozen from dev): {FROZEN_THRESHOLD:.2f}")19print(f"held-out answerable items: {answerable}")20print(f"held-out unanswerable items: {unanswerable}")21changed = [row.item_id for row in held if guarded(row, FROZEN_THRESHOLD) != row.declined]22print(f"held-out replies the guard changed to declines: {len(changed)} of {len(held)}")2324# One 0/1 flag per item: the bootstrap over these flags is the bootstrap of the rate, over items.25refused_flags = [float(guarded(row, FROZEN_THRESHOLD)) for row in held if row.kind == "answerable"]26answered_flags = [float(not guarded(row, FROZEN_THRESHOLD)) for row in held if row.kind == "unanswerable"]27assert len(refused_flags) == answerable and len(answered_flags) == unanswerable2829refusal_lo, refusal_hi = bootstrap_mean(refused_flags, level=0.95) # 2,000 resamples, seeded (lib/stats.py)30answer_lo, answer_hi = bootstrap_mean(answered_flags, level=0.95)31print(f"false refusal rate: {pct(len(refusals), answerable)} interval {interval_pct(refusal_lo, refusal_hi)}")32print(f"false refusals: {', '.join(refusals) or 'none'}")33print(f"false answer rate: {pct(len(answers), unanswerable)} interval {interval_pct(answer_lo, answer_hi)}")34print(f"false answers: {', '.join(answers) or 'none'}")
python guard-held-out.pythreshold (frozen from dev): 0.00
held-out answerable items: 20
held-out unanswerable items: 7
held-out replies the guard changed to declines: 0 of 27
false refusal rate: 45.0% (9 of 20) interval [25.0%, 70.0%]
false refusals: q-0101, q-0102, q-0103, q-0105, q-0106, q-0111, q-0115, q-0116, q-0117
false answer rate: 0.0% (0 of 7) interval [0.0%, 0.0%]
false answers: none
固定后的防护机制改变了 0 of 27 条留出集回复,所以留出集的输出就是没有防护机制时记录的输出。在留出集上,错误拒答率为 45.0% (9 of 20) interval [25.0%, 70.0%]。错误回答率为 0.0% (0 of 7) interval [0.0%, 0.0%]。
错误拒答率与第一张表中未过滤变体的相同,留出集的运行在主要结论上与开发集一致:在规则选定的阈值上,防护机制什么也没有做。如果团队只看留出集上的错误回答率,会看到零,并得出结论,认为助手不会回答它无法支持的问题。误差其实在拒答之中,而任何阈值都无法消除这些拒答,因为防护机制只会增加拒答。
留出集上的错误回答率为 0.0% (0 of 7) interval [0.0%, 0.0%]。
它打印出的区间没有宽度。该区间对留出集中七个无法回答的条目重采样。其中没有一个被错误回答,所以每次重采样都没有错误,自助法也就无从产生变化。忠实性给出了这种零事件情形的推理,而本示例没有打印精确的界限,因此不能把该区间当作界限来读。它无法区分错误回答率为零,与一个恰好被这七个条目漏掉的小比率。七个条目只能说明,其中没有一个被错误回答。
开发集的情况也没有更好。在开发集上,未过滤的回复在没有防护机制时给出 15.4% (2 of 13)。阈值为 4.00 时给出 7.7% (1 of 13),少了一个条目。
错误拒答区间之所以宽,原因不同:二十个条目留下了一段数据无法区分的比率范围。留出集的数字为 45.0% (9 of 20) interval [25.0%, 70.0%]。区间与样本量解释了构造这些区间的、基于条目的自助法,以及成对差异需要多少条目。科哈维及其同事在网络对照实验中也指出了同样的问题。在他们的指南网络对照实验:综述与实用指南中,检验功效不足被列为常见错误。对于这样小的比率,七个条目的留出集功效不足,本章直接说明这一点,而不让零代表确定性。
综合来看,这些结果说明了一件具体的事。在未过滤变体上,按开发集规则选出的阈值,防护机制不改变任何回复,所以本章不加入它。两类错误在开发集的未过滤回复中依然存在。在留出集上,错误拒答是代价,而本章没有任何做法能减少它们。这个结果是一项决定,也是测量所支持的决定。
本章的决定如下:
- 两种拒答率都进入每一次比较,各自使用自己的分母。
- 依赖版本的条目和有歧义的条目不计入这两种比率,它们的拒答单独计数。
- 拒答规则在开发集上选定,权重事先写下,整个扫描结果都要读过,选择在运行留出集之前固定。
- 留出集对每条规则只运行一次。零事件上的区间要连同这一说明一起报告,而不是作为“零错误”的结论。
- 不把检索分数防护机制加入未过滤变体。它在开发集上的选择不改变任何回复,在留出集上的运行也不改变任何回复。
工作准则: 只有当防护机制在留出集上的运行按其开发集扫描所预示的方向改变回复时,它才配得上一席之地。如果没有,就保留这个结果,因为它表明助手有哪些错误,也表明检索分数上的阈值无法修复这些错误。
本书之外
本章不涉及攻击。用户试图让助手说出它不该说的话,这属于安全问题,有其自身的威胁与防御,并已计划另写一本书专门讨论,即《Securing LLM Applications and Agents》。本章给出的拒答率衡量的是针对文档的正常提问,其中没有任何数据能说明助手在一个蓄意破坏它的用户的压力下会有怎样的表现。
其他研究者已在别的模型上衡量过同样的取舍,这些论断值得了解,但不宜借用其数字。XSTest 是一套测试集,其中的提示看似不安全,实则安全。其作者构建它,是因为模型会拒绝那些措辞与不安全提示相近、或涉及敏感话题的安全提示(Röttger 等,2024)。OR-Bench 发表于 ICML 2025,测量了许多模型,并报告经过安全调优的模型所增加的安全性往往伴随着更多的过度拒答(Cui 等,2024)。一篇关于语言模型弃答的综述为模型拒绝作答这一行为给出了通用名称,并按查询、模型和人类价值对弃答进行了归类(Wen 等,2024)。一项 2026 年的医疗领域基准报告了该领域中对良性提示的过度拒答,所用的是它自己的一组提示(Zhang 等,2026)。
这些论文在其他数据集上测试的是其他模型,所以它们的比率不能直接套用到本助手上。可以沿用的是它们呈现的形态,也就是本章要在自己的案例上检验的论断。在这组数据上,守卫只有多拒绝回答一些本可回答的条目,才能减少错误回答,这是以错误回答换取错误拒答的取舍。提示和检索方面的改动可以同时改变这两类错误,未过滤的变体就做到了。本章报告的结果只来自本书自己的运行。
工作准则: 在因为某篇论文报告模型会过度拒答,就采用某条拒答规则之前,先在你自己的助手和你自己的条目上衡量这条规则,并把两类错误都计入。不要把论文中的数字放进你的结果,引用论文是为了说明促使你去做这项衡量的想法。
本章,在本版次中
版次 2026.11.3示例于 2026年11月21日 通过本章 3个示例 个示例中有 3 个通过
译自英文版图书,版次 2026.11.3。