ドキュメントに記載がないときは断り、両方の種類の誤りを測定する
読了まで約34 分分、6 節 節の 3 例 例。
この章を読み終えると、アシスタントがドキュメントに基づいて答えることに失敗する二通りの仕方をそれぞれ数え、二つの割合をそれぞれの分母のもとで読み取り、より頻繁に断る規則がその代償に見合うかどうかを判断できるようになる。
この本のアシスタントは sablefile に関する質問に答える。sablefile は、プロジェクトの生成ファイルを、その元になったテンプレートと同期させ続けるコマンドラインツールであり、アシスタントはこのツールのドキュメントに基づいて回答する。ドキュメントが質問を扱っていない場合、アシスタントは固定の一文「The docs don't say.」だけを返すことになっている。この一文は安全な答えに見える。ログに誤った回答を見つけたチームは、断ることが慎重に見えるため、アシスタントにもっと頻繁に断らせたくなる。ところが、断ることもまた誤りになりうる。ドキュメントが質問に答えていたのにこの一文を受け取ったユーザーは、ユーザーは役に立てられなかったことになるが、どこにもエラーは表れない。逆に、ドキュメントが答えていないのにアシスタントが答えてしまえば、ユーザーの手元には裏付けのない回答が残る。より頻繁に断るということは、一方の誤りを他方の誤りと交換することである。片方しか数えないチームは、見栄えのよい数値を目指して調整を進め、もう一方の誤りの代償を覆い隠してしまう。
この章では、本書自身の回答について両方の誤りを数える。そのうえで、最も自然な対策、すなわち最上位の節の検索スコアが低いときに断るガードを、フィルタなしの変種で検証する。この変種では、ガードは効果を示さない。これがこの章の結果であり、以降の記述の大部分は、その結果をどのように測定したか、そしてどこまで信頼できるかを扱う。
二つの誤り、どちらも数える
テストセットの各質問には種類がある。回答可能な質問とは、質問で指定されたバージョンのドキュメントが答えている質問である。回答不能な質問とは、そのドキュメントが答えていない質問である。回答可能な質問を断る返答は誤った拒否となり、回答不能な質問に答える返答は誤った回答となる。第1章は拒否の確認でこの両方を定義した。本章では、同じ定義をより多くの項目に適用する。
二つの率は分母が異なり、その分母こそが要点を担っている。誤った拒否率は、断られた回答可能な項目の数を、回答可能な項目の数で割ったものである。誤った回答率は、答えられた回答不能な項目の数を、回答不能な項目の数で割ったものである。両方の誤りを一つの総数で割ると、回答可能な項目が多いセットでは拒否の件数が小さく見え、本来は拒否であるべきだった回答が合計の中に埋もれてしまう。それぞれの率には固有の件数が必要であり、それぞれの件数には固有の分母が必要である。
二種類の項目はどちらの率にも含めない。バージョン依存の項目は、バージョンごとに異なる事柄を尋ねる項目であり、その返答は質問で指定されたバージョンの正解と照らして判定される。この項目に固有の率であるバージョン正答率は第9章で扱う。曖昧な項目は二通りの読み方があり、どちらかの拒否率ではなく、合格率で判定される。いずれの種類の項目でも、拒否は本章では誤りとは見なさない。ただしコードはこれらの拒否を数えて出力するので、そのどちらかで拒否が起きても見過ごされることはない。
コードが返答を拒否と数えるのは、返答が拒否の文だけで構成されている場合に限られる。拒否の文を述べたあとに回答を続ける返答は拒否ではなく、どちらの率でも回答として数えられる。言い換えによる拒否も同様である。コードは文を完全一致で照合するので、表現の異なる拒否は回答として数えられる。回答可能な項目では、これは本章では誤りにならないが、回答不能な項目では誤った回答になる。プロンプトで文を固定しているのはこのためである。
実践ルール: 二つの拒否率はそれぞれ固有の分母で割って別々に報告し、バージョン依存の項目と曖昧な項目はどちらの率からも除く。率だけでなく、各率の背後にある項目も読むこと。率は、重要となる少数の項目を覆い隠すことがあるからである。
ベースラインの挙動
ベースラインは、第1章で構築したとおりのアシスタントである。プロンプトP1を用いる。P1は、すべての記述に引用を付けることと、節に記載がない場合には辞退の文を返すことを求める。検索にはBM25を用い、質問で指定されたバージョンのインデックスだけから上位3節を取り出す。返答は項目ごとに1回だけ記録されており、例はその1回分の記録を読み取る。
3つの変種は、それぞれ1点だけを変える。prompt-bはプロンプトP2を用いる。P2は、回答を示す前に、その回答が依拠する文を引用する。k5は、モデルに3節ではなく上位5節を与える。unfilteredは、すべてのバージョンのインデックスをまとめて検索し、各節のヘッダにその節のバージョンを付ける。これにより、モデルは節が別のバージョンのものであることを確認できる。各変種には、同じ項目に対する返答の記録がそれぞれ用意されている。したがって、どの比較も同じ質問への返答どうしの比較になる。
各記録について2種類の誤りを数えるには、例decline-ratesを用いる。この例は4つの記録をdevスプリットとheld-outスプリットの両方で読み取り、各割合をその件数とともに出力し、各誤りの原因となった項目を挙げる。出力から、どの記録がどの回答可能な項目を辞退し、どの回答不能な項目に回答したかがわかる。
1"""Counts the two decline errors for each recording, on dev and on held-out: answerable items declined (false refusals)2and unanswerable items answered (false answers). Each rate line rests on its own count and denominator.34Version-dependent and ambiguous items are left out of both rates; the last line per split counts the declines among5them, which are not errors here."""6import lib # first: fixes the thread counts and seeds before anything else loads78from lib.contract import parse_reply9from lib.prompts import P1_SHA256, P2_SHA25610from lib.replay import ReplayModel11from lib.stats import pct12from lib.testset import load_items1314VARIANTS = ( # label, recording, the sha256 of the prompt it was made from15 ("baseline", "assistant-baseline", P1_SHA256), # P1, k=3, filtered to the asked version16 ("unfiltered", "assistant-unfiltered", P1_SHA256), # P1, k=3, sections from every version17 ("prompt-b", "assistant-prompt-b", P2_SHA256), # P2, k=3, filtered18 ("k5", "assistant-k5", P1_SHA256), # P1, k=5, filtered19)2021for label, recording, prompt_sha256 in VARIANTS:22 model = ReplayModel(recording, prompt_sha256) # refuses a recording made from another prompt23 for split in ("dev", "held-out"):24 items = load_items(split=split)25 declined = {item.id: parse_reply(model.reply(item.id, 0)).declined for item in items} # sample 0 only26 answerable = [item for item in items if item.kind == "answerable"]27 unanswerable = [item for item in items if item.kind == "unanswerable"]28 refused = sorted(item.id for item in answerable if declined[item.id])29 answered = sorted(item.id for item in unanswerable if not declined[item.id])30 other_kinds = ("version-dependent", "ambiguous")31 other = [item.id for item in items if item.kind in other_kinds and declined[item.id]]32 print(f"{label} {split} false refusal rate (answerable declined): {pct(len(refused), len(answerable))}")33 print(f"{label} {split} false refusals: {', '.join(refused) or 'none'}")34 print(f"{label} {split} false answer rate (unanswerable answered): {pct(len(answered), len(unanswerable))}")35 print(f"{label} {split} false answers: {', '.join(answered) or 'none'}")36 for item_id in answered: # what each false answer cites, and its text, so the chapter's claims can be checked37 reply = parse_reply(model.reply(item_id, 0))38 print(f"{label} {split} reply to {item_id} cites: {', '.join(reply.citations) or 'none'}")39 print(f"{label} {split} reply to {item_id} text: {reply.text}")40 print(f"{label} {split} declined, not counted (version-dependent and ambiguous): {len(other)}")
python decline-rates.pybaseline dev false refusal rate (answerable declined): 10.0% (4 of 40)
baseline dev false refusals: q-0052, q-0060, q-0063, q-0079
baseline dev false answer rate (unanswerable answered): 0.0% (0 of 13)
baseline dev false answers: none
baseline dev declined, not counted (version-dependent and ambiguous): 6
baseline held-out false refusal rate (answerable declined): 30.0% (6 of 20)
baseline held-out false refusals: q-0101, q-0102, q-0103, q-0105, q-0111, q-0118
baseline held-out false answer rate (unanswerable answered): 0.0% (0 of 7)
baseline held-out false answers: none
baseline held-out declined, not counted (version-dependent and ambiguous): 2
unfiltered dev false refusal rate (answerable declined): 12.5% (5 of 40)
unfiltered dev false refusals: q-0005, q-0052, q-0058, q-0060, q-0079
unfiltered dev false answer rate (unanswerable answered): 15.4% (2 of 13)
unfiltered dev false answers: q-0018, q-0039
unfiltered dev reply to q-0018 cites: remote-retries
unfiltered dev reply to q-0018 text: Yes, sablefile 1.1 can fetch a remote template from a private URL that needs a login token, as long as the token is included in the request. The retry behavior for such fetches is up to 5 times before giving up, and this applies to `sync` and `diff` operations [sec:remote-retries]. The `check` command does not fetch anything and thus does not apply to such scenarios.
unfiltered dev reply to q-0039 cites: check-exit-status
unfiltered dev reply to q-0039 text: When check finds a drifted file, it prints `DRIFT` and the path, and exits with status 1. [sec:check-exit-status]
unfiltered dev declined, not counted (version-dependent and ambiguous): 9
unfiltered held-out false refusal rate (answerable declined): 45.0% (9 of 20)
unfiltered held-out false refusals: q-0101, q-0102, q-0103, q-0105, q-0106, q-0111, q-0115, q-0116, q-0117
unfiltered held-out false answer rate (unanswerable answered): 0.0% (0 of 7)
unfiltered held-out false answers: none
unfiltered held-out declined, not counted (version-dependent and ambiguous): 3
prompt-b dev false refusal rate (answerable declined): 7.5% (3 of 40)
prompt-b dev false refusals: q-0052, q-0063, q-0079
prompt-b dev false answer rate (unanswerable answered): 0.0% (0 of 13)
prompt-b dev false answers: none
prompt-b dev declined, not counted (version-dependent and ambiguous): 4
prompt-b held-out false refusal rate (answerable declined): 25.0% (5 of 20)
prompt-b held-out false refusals: q-0101, q-0102, q-0103, q-0105, q-0111
prompt-b held-out false answer rate (unanswerable answered): 0.0% (0 of 7)
prompt-b held-out false answers: none
prompt-b held-out declined, not counted (version-dependent and ambiguous): 0
k5 dev false refusal rate (answerable declined): 7.5% (3 of 40)
k5 dev false refusals: q-0052, q-0062, q-0079
k5 dev false answer rate (unanswerable answered): 0.0% (0 of 13)
k5 dev false answers: none
k5 dev declined, not counted (version-dependent and ambiguous): 5
k5 held-out false refusal rate (answerable declined): 30.0% (6 of 20)
k5 held-out false refusals: q-0102, q-0103, q-0105, q-0106, q-0111, q-0116
k5 held-out false answer rate (unanswerable answered): 0.0% (0 of 7)
k5 held-out false answers: none
k5 held-out declined, not counted (version-dependent and ambiguous): 2
ベースラインのdevにおける誤辞退率は10.0% (4 of 40)である。誤辞退となった項目はq-0052、q-0060、q-0063、q-0079であり、いずれもドキュメントが扱っている回答可能な項目である。devにおける誤回答率は0.0% (0 of 13)であり、回答不能なdev項目にはいずれにも回答していない。第1章でも誤回答は見つからなかったが、回答不能な項目は4件しかなく、割合について多くを語るには少なすぎる。ベースラインはまた、どちらの割合にも含めない2種類に属するdev項目を6件辞退している。
第2章は、このベースラインについて過剰辞退を10件と数えている。この件数は、ドキュメントが答えを持つすべての項目を対象とし、バージョン依存の項目も含む。したがって、上記の誤辞退に加えて、この割合では除外しているバージョン依存および曖昧な項目への辞退も含んでいる。
表は、4つの記録を両スプリットについて並べたものである。各セルには、割合とその件数を示す。
| 記録 | dev誤辞退 | dev誤回答 | held-out誤辞退 | held-out誤回答 |
|---|---|---|---|---|
| baseline | 10.0% (4 of 40) | 0.0% (0 of 13) | 30.0% (6 of 20) | 0.0% (0 of 7) |
| unfiltered | 12.5% (5 of 40) | 15.4% (2 of 13) | 45.0% (9 of 20) | 0.0% (0 of 7) |
| prompt-b | 7.5% (3 of 40) | 0.0% (0 of 13) | 25.0% (5 of 20) | 0.0% (0 of 7) |
| k5 | 7.5% (3 of 40) | 0.0% (0 of 13) | 30.0% (6 of 20) | 0.0% (0 of 7) |
まずunfilteredの行を読む。devで誤回答のある行はこれだけだからである。誤辞退率は12.5% (5 of 40)であり、ベースラインは10.0% (4 of 40)である。unfilteredは、ベースラインが回答している回答可能な項目であるq-0005とq-0058の2件を辞退し、ベースラインが辞退しているq-0063には回答している。差し引きでは、40件のうち辞退が1件増えたことになる。devにおけるベースラインとの誤辞退の差は、いずれも40件中1件である。これらの項目では、1件の差から、どの記録が優れているかを結論することはできない。この規模の標本で何が示せるかは、区間と標本サイズで説明する。
unfilteredはまた、ベースラインが1件も回答していない回答不能なdev項目に2件回答している。誤回答率は15.4% (2 of 13)である。これは区間を伴わない2件という件数にすぎないため、本章では測定された上昇ではなく、件数として報告する。2件の誤回答はq-0018とq-0039である。
どちらの質問もsablefile 1.1に関するものであり、1.1のドキュメントにはどちらの答えも記載されていない。1つは、ログイン用トークンを使ってプライベートアドレスからリモートテンプレートを取得できるかどうかであり、もう1つは、diffが差分を検出したときにどの終了ステータスを返すかである。ベースラインはどちらも辞退する。unfilteredの返答はどちらにも回答しており、いずれも隣接する節を引用している。q-0018への返答はリモート取得の再試行規則であるremote-retriesを引用している。q-0039への返答はcheck-exit-statusを引用し、checkの終了ステータスを答えている。しかし、これは質問が尋ねているdiffとは別のコマンドである。例は各引用と各返答の本文を出力するので、記録を開かなくてもこれらの主張を確認できる。unfilteredの変種が変えるのは検索であってプロンプトではないので、まず引用を調べるべきである。
devの辞退を逆方向に動かす変種はprompt-bとk5である。どちらもdevの誤辞退がベースラインより1件少なく、回答不能なdev項目にはどちらも回答していない。prompt-bの誤辞退率は7.5% (3 of 40)であり、k5では7.5% (3 of 40)である。これらの項目では、どちらもベースラインより1件少ないだけであり、1件の差から結論を導くことはできない。
held-outの数値は、網羅のために報告する。prompt-bの誤辞退率は25.0% (5 of 20)であり、k5では30.0% (6 of 20)である。ベースラインでは30.0% (6 of 20)である。prompt-bとベースラインとの差は20件中1件であり、これらの項目では結論の根拠にならない。devの差はそれぞれ1件にすぎないので、本章ではどの変種も選ばない。
実践ルール: プロンプトを変更する前に、devスプリットの誤辞退を1件ずつ手で読むこと。そのうちの1件が、ドキュメントの実際の欠落を示している可能性があるからである。変種は同じ項目で比較し、対応のある区間は、例が出力している場合に限って報告する。出力がない場合は、これらの項目での件数を報告し、どの変種が優れているかについては結論を出さない。held-outスプリットは、devで行った選択を確認するために1回だけ実行する。ここで警戒すべきなのはunfilteredの変種である。devでは、ベースラインが辞退している回答不能な項目に回答しているからである。本章はこれを区間なしで報告しているので、これは確認すべき理由であって、測定された上昇ではない。
記録済みの応答に対するガード
ガードは単純な考えに基づいている。BM25は、各節が質問と共有する語に応じてその節にスコアを付ける。ドキュメントに質問に関する記述がなければ、最も一致した節が質問と共有する語は少なく、そのスコアは低いはずである。ガードは最も一致した節のスコアを読み、それがしきい値を下回ると回答を断る。この考えは仮説であり、成り立たないこともある。質問と多くの語を共有しながら、その質問に答えていない節が存在しうるからである。以下のスイープがその検証にあたる。
ガードはモデルを再実行せずに測定できる。検索は決定的であり、同じ質問からは毎回同じ上位の節と同じスコアが得られる。したがって、すべての項目の最上位スコアをインデックスから計算でき、ガードはすでに記録された応答に適用する規則になる。そのグリッドと規則はlib/guard.pyの定数である。ガードは回答を拒否に変えるだけで、拒否を取り消すことはない。そのため、誤回答は減らせるが、誤拒否は増やすことしかできない。
ガードのスコアは、判定対象の応答を生成したインデックスから得なければならない。そして、フィルタなしの応答は全バージョンの節から生成されている。そこでガードはunfilteredの記録を読み、全バージョンのインデックスにおける最上位のBM25スコアを用いる。質問されたバージョンのインデックスから得たスコアでは、フィルタなしのモデルが一度も見ていない節で測ることになってしまう。ガードをフィルタなしの変種で検証するのは、ベースラインでは回答不能な開発用項目にまったく回答しないため、ガードが取り除くものがそこにはなく、一方フィルタなしの変種は2件に回答しているからである。この章は、ベースラインに対するガードについては何も主張しない。
グリッドは0.00から10.00まで0.25刻みで、すべての開発用スコアより上まで続く。各しきい値について、規則は2つの率をそれぞれの分母で求めて足し合わせ、合計が最小となるしきい値を選ぶ。この等しい重み付けは一つの選択であり、多すぎる場合と少なすぎる場合の節で再び扱う。同点の場合は、変更される応答が少ない低いほうのしきい値を採る。この規則はlib/guard.pyに記述されており、選択は開発用データで行う。ホールドアウト分割は手つかずではない。ベースラインの挙動の最初の表に、ガードなしの率がすでに示されているからである。ガードのホールドアウトでの実行は、固定したしきい値で一度だけ行った。
スイープはtune-guard-devで実行する。これはグリッドの各段階で両方の率を表示し、続いて規則の選択を表示する。最初に最も重要な検査を行う。各項目について記録された節がインデックスの返す節と一致していなければならない。一致しなければ、スコアは応答を生成していない検索を記述することになる。
1"""Sweeps the decline guard's threshold over dev replies of the unfiltered recording, printing both rates at each2threshold, and the threshold the dev rule picks. The line for 0.00 is the recorded replies with no guard, since no top3score is below zero; the rule's pick rests on the rate lines below it. Only dev is read here."""4import lib # first: fixes the thread counts and seeds before anything else loads56from lib.guard import GRID, GUARD_RECORDING, RULE, contexts_match, denominators, errors, pick_threshold, rows7from lib.stats import pct89dev = rows("dev")10answerable, unanswerable = denominators(dev)11print(f"recording: {GUARD_RECORDING} (all versions, dev items)")12print(f"answerable dev items: {answerable}")13print(f"unanswerable dev items: {unanswerable}")1415mismatches = contexts_match("dev")16print(f"dev items whose recorded sections differ from the retrieval: {mismatches}")17assert mismatches == 0, "the scores come from a retrieval that did not make the recorded replies"18highest = max(row.score for row in dev)19print(f"highest top score on dev: {highest:.3f}")20assert highest < GRID[-1], "the grid must reach above every dev score"2122print(f"rule: {RULE}")23for threshold in GRID:24 refusals, answers = errors(dev, threshold)25 print(f"threshold {threshold:.2f}, false refusal rate: {pct(len(refusals), answerable)}")26 print(f"threshold {threshold:.2f}, false answer rate: {pct(len(answers), unanswerable)}")2728refusals, answers = errors(dev, 0.0)29print(f"recorded false refusals (no guard): {', '.join(refusals) or 'none'}")30print(f"recorded false answers (no guard): {', '.join(answers) or 'none'}")31scores = {row.item_id: row.score for row in dev}32for item_id in answers: # the top score of each recorded false answer, so a reader can see where it falls on the grid33 print(f"top score of recorded false answer {item_id}: {scores[item_id]:.3f}")3435chosen = pick_threshold(dev)36assert chosen == 0.0, f"the dev rule now picks {chosen:.2f}, not 0.00"37refusals, answers = errors(dev, chosen)38print(f"threshold chosen by the dev rule: {chosen:.2f}")39print(f"at the chosen threshold, false refusal rate: {pct(len(refusals), answerable)}")40print(f"at the chosen threshold, false answer rate: {pct(len(answers), unanswerable)}")
python tune-guard-dev.pyrecording: assistant-unfiltered (all versions, dev items)
answerable dev items: 40
unanswerable dev items: 13
dev items whose recorded sections differ from the retrieval: 0
highest top score on dev: 9.949
rule: pick the threshold in GRID whose false refusal rate plus false answer rate is smallest, each rate over its own denominator; when two thresholds tie, take the lower one
threshold 0.00, false refusal rate: 12.5% (5 of 40)
threshold 0.00, false answer rate: 15.4% (2 of 13)
threshold 0.25, false refusal rate: 12.5% (5 of 40)
threshold 0.25, false answer rate: 15.4% (2 of 13)
threshold 0.50, false refusal rate: 12.5% (5 of 40)
threshold 0.50, false answer rate: 15.4% (2 of 13)
threshold 0.75, false refusal rate: 12.5% (5 of 40)
threshold 0.75, false answer rate: 15.4% (2 of 13)
threshold 1.00, false refusal rate: 12.5% (5 of 40)
threshold 1.00, false answer rate: 15.4% (2 of 13)
threshold 1.25, false refusal rate: 12.5% (5 of 40)
threshold 1.25, false answer rate: 15.4% (2 of 13)
threshold 1.50, false refusal rate: 12.5% (5 of 40)
threshold 1.50, false answer rate: 15.4% (2 of 13)
threshold 1.75, false refusal rate: 12.5% (5 of 40)
threshold 1.75, false answer rate: 15.4% (2 of 13)
threshold 2.00, false refusal rate: 12.5% (5 of 40)
threshold 2.00, false answer rate: 15.4% (2 of 13)
threshold 2.25, false refusal rate: 15.0% (6 of 40)
threshold 2.25, false answer rate: 15.4% (2 of 13)
threshold 2.50, false refusal rate: 17.5% (7 of 40)
threshold 2.50, false answer rate: 15.4% (2 of 13)
threshold 2.75, false refusal rate: 17.5% (7 of 40)
threshold 2.75, false answer rate: 15.4% (2 of 13)
threshold 3.00, false refusal rate: 20.0% (8 of 40)
threshold 3.00, false answer rate: 15.4% (2 of 13)
threshold 3.25, false refusal rate: 30.0% (12 of 40)
threshold 3.25, false answer rate: 15.4% (2 of 13)
threshold 3.50, false refusal rate: 32.5% (13 of 40)
threshold 3.50, false answer rate: 15.4% (2 of 13)
threshold 3.75, false refusal rate: 37.5% (15 of 40)
threshold 3.75, false answer rate: 15.4% (2 of 13)
threshold 4.00, false refusal rate: 40.0% (16 of 40)
threshold 4.00, false answer rate: 7.7% (1 of 13)
threshold 4.25, false refusal rate: 45.0% (18 of 40)
threshold 4.25, false answer rate: 7.7% (1 of 13)
threshold 4.50, false refusal rate: 55.0% (22 of 40)
threshold 4.50, false answer rate: 7.7% (1 of 13)
threshold 4.75, false refusal rate: 60.0% (24 of 40)
threshold 4.75, false answer rate: 0.0% (0 of 13)
threshold 5.00, false refusal rate: 62.5% (25 of 40)
threshold 5.00, false answer rate: 0.0% (0 of 13)
threshold 5.25, false refusal rate: 70.0% (28 of 40)
threshold 5.25, false answer rate: 0.0% (0 of 13)
threshold 5.50, false refusal rate: 77.5% (31 of 40)
threshold 5.50, false answer rate: 0.0% (0 of 13)
threshold 5.75, false refusal rate: 77.5% (31 of 40)
threshold 5.75, false answer rate: 0.0% (0 of 13)
threshold 6.00, false refusal rate: 80.0% (32 of 40)
threshold 6.00, false answer rate: 0.0% (0 of 13)
threshold 6.25, false refusal rate: 82.5% (33 of 40)
threshold 6.25, false answer rate: 0.0% (0 of 13)
threshold 6.50, false refusal rate: 87.5% (35 of 40)
threshold 6.50, false answer rate: 0.0% (0 of 13)
threshold 6.75, false refusal rate: 87.5% (35 of 40)
threshold 6.75, false answer rate: 0.0% (0 of 13)
threshold 7.00, false refusal rate: 92.5% (37 of 40)
threshold 7.00, false answer rate: 0.0% (0 of 13)
threshold 7.25, false refusal rate: 92.5% (37 of 40)
threshold 7.25, false answer rate: 0.0% (0 of 13)
threshold 7.50, false refusal rate: 92.5% (37 of 40)
threshold 7.50, false answer rate: 0.0% (0 of 13)
threshold 7.75, false refusal rate: 92.5% (37 of 40)
threshold 7.75, false answer rate: 0.0% (0 of 13)
threshold 8.00, false refusal rate: 92.5% (37 of 40)
threshold 8.00, false answer rate: 0.0% (0 of 13)
threshold 8.25, false refusal rate: 95.0% (38 of 40)
threshold 8.25, false answer rate: 0.0% (0 of 13)
threshold 8.50, false refusal rate: 95.0% (38 of 40)
threshold 8.50, false answer rate: 0.0% (0 of 13)
threshold 8.75, false refusal rate: 95.0% (38 of 40)
threshold 8.75, false answer rate: 0.0% (0 of 13)
threshold 9.00, false refusal rate: 97.5% (39 of 40)
threshold 9.00, false answer rate: 0.0% (0 of 13)
threshold 9.25, false refusal rate: 97.5% (39 of 40)
threshold 9.25, false answer rate: 0.0% (0 of 13)
threshold 9.50, false refusal rate: 97.5% (39 of 40)
threshold 9.50, false answer rate: 0.0% (0 of 13)
threshold 9.75, false refusal rate: 97.5% (39 of 40)
threshold 9.75, false answer rate: 0.0% (0 of 13)
threshold 10.00, false refusal rate: 100.0% (40 of 40)
threshold 10.00, false answer rate: 0.0% (0 of 13)
recorded false refusals (no guard): q-0005, q-0052, q-0058, q-0060, q-0079
recorded false answers (no guard): q-0018, q-0039
top score of recorded false answer q-0018: 3.762
top score of recorded false answer q-0039: 4.592
threshold chosen by the dev rule: 0.00
at the chosen threshold, false refusal rate: 12.5% (5 of 40)
at the chosen threshold, false answer rate: 15.4% (2 of 13)
検査は通過する。差異のある開発用項目は0件であり、例はこの件数が0であることをアサートしている。開発用データでの最高の最上位スコアは9.949で、グリッドの上端より下にある。
スイープの下端から見ていく。0.00ではどのスコアもしきい値を下回らないため、この行はガードなしの記録済み応答を示す。ここでの誤拒否率は12.5% (5 of 40)、誤回答率は15.4% (2 of 13)である。2.00までのすべての行は同じ値になる。2.25で誤拒否が増え始め、15.0% (6 of 40)になる。
誤回答は4.00まで減らず、そこでの誤回答率は7.7% (1 of 13)である。4.75では誤回答率は0.0% (0 of 13)となり、回答不能な開発用項目への回答はなくなる。4.75での誤拒否率は60.0% (24 of 40)である。
スイープのどの行も、両方の率をガードなしの行より低くすることはない。誤回答を減らすしきい値はどれも誤拒否を増やし、誤拒否に手を付けないしきい値はどれも誤回答にも手を付けない。開発用データでは、ガードは改善ではなくトレードオフをもたらす。
スイープはスコアの限界も示す。q-0018の最上位スコアは3.762、q-0039の最上位スコアは4.592である。しきい値がq-0018を捉えるのは4.00以上に限られ、そこでの誤拒否率はすでに40.0% (16 of 40)である。q-0039を捉えるのは4.75以上に限られる。回答可能な項目の半数未満の拒否で、回答された2項目の両方を捉えるしきい値は存在しない。原因はおそらくスコア自体にある。スコアは共有語を数えるものであり、同じコマンドを扱う節は、その節が答えていない質問とも多くの語を共有しうる。これはスイープの解釈であって、測定された事実ではない。確かめるには項目を手作業で採点する必要があるが、この章では行わない。
規則の選択は0.00である。そのしきい値での誤拒否率は12.5% (5 of 40)、誤回答率は15.4% (2 of 13)である。どちらもガードなしの記録済み応答と同じである。この選択は同点時の決着であり、発見ではない。0.00から2.00までの行は合計が同じで、規則はその中で最も低いものを採るため、規則が選んだガードはガードなしである。
実践ルール: ガードのスコアは、応答を生成したのと同じインデックスから作り、率を読む前にその一致を検査する。そのうえで、すべての行で両方の率を見ながらスイープ全体を読む。何もしない場合と同点になる選択は、規則が応答を変更する理由を見つけなかったことを意味し、それは残しておく価値のある答えである。
拒否が多すぎる場合と少なすぎる場合
このスイープは、チームがガードを導入した場合に直面するトレードオフを示すとともに、どの指標を選ぶとどの値が報告されるかを示している。チームが誤答だけを数えたと仮定する。dev 上ですべての誤答を止められる最も低い閾値は 4.75 であるから、そのチームは 4.75 を選び、アシスタントは根拠のない質問には答えなくなったと報告するだろう。スイープの 4.75 の行は、この報告が隠している代償を示している。4.75 では誤拒否率が 60.0% (24 of 40) になる。もう一方の誤りをチームが数えていないため、報告にはそのことが何も現れない。
本番環境で注意すべき失敗はこれである。ドキュメントに答えがある質問をしたユーザーは拒否の文を受け取るが、その応答にはその文が誤りであったことを示す手がかりがない。コストが現れる場所は誤拒否の件数だけである。これを数えないチームは、誤答の 0 という数字を読んでそのまま出荷してしまう。
このルールは二つの誤りを同じ重みで扱うが、これはチームが下すべき選択である。たとえば自信たっぷりの誤答がユーザーを誤った修正へ導く場合など、チームは誤答のコストを誤拒否よりはるかに大きいと判断することがある。そのチームの重みが合計を動かせるほど大きければ、dev での選択は変わる。その方向はスイープが示しており、誤答への重みを高くするほど、選択はより多く拒否する閾値へ寄る。このようなチームは、スイープを誰かが読む前に重みを書き留め、それをルールに与えるべきである。この章では、別の重みでルールを再実行することはせず、そのためにホールドアウト分割を再び開くこともしない。ホールドアウトの数値を見た後で重みを選べば、その分割に対する二度目のチューニングになってしまうからである。
閾値は、応答を生成したアシスタントにも依存する。スコアはインデックスに依存し、インデックスはセクションの分割方法と収録されているバージョンに依存する。これらのいずれかを変更するとスコアが動くため、閾値を dev 上で選び直さなければならず、誰かが率を読む前に、例の最初のチェックを再び通過させなければならない。
実践ルール: 閾値をチューニングする前に、それぞれの誤りのコストをチーム自身の言葉で書き出し、スイープを誰かが読む前にその重みをルールに与えること。
読者が受け入れるべきこと
ホールドアウト分割は、閾値を 0.00 に固定して 1 回だけ実行した。この実行は guard-held-out であり、最初に、開発用の規則(ガードで述べた)が今もその値を選ぶことを検証する。そのため、開発用データまたは規則に変更があれば、ホールドアウトの数値が出力される前に実行が止まる。
1"""Applies the decline guard, with its threshold frozen from dev, to the held-out items of the unfiltered recording, and2prints both rates with 95% bootstrap intervals over items. The threshold is a constant chosen by tune-guard-dev's rule3on dev; the assert checks that the rule still picks it, so a change to the dev data or the rule fails here."""4import lib # first: fixes the thread counts and seeds before anything else loads56from lib.guard import denominators, errors, guarded, pick_threshold, rows7from lib.stats import bootstrap_mean, interval_pct, pct89# Picked on dev by tune-guard-dev (the rule in lib/guard.py), then frozen. Held-out is not used to change it.10FROZEN_THRESHOLD = 0.01112dev_pick = pick_threshold(rows("dev")) # reads dev only13assert dev_pick == FROZEN_THRESHOLD, f"the dev rule now picks {dev_pick:.2f}, not the frozen {FROZEN_THRESHOLD:.2f}"1415held = rows("held-out")16answerable, unanswerable = denominators(held)17refusals, answers = errors(held, FROZEN_THRESHOLD)18print(f"threshold (frozen from dev): {FROZEN_THRESHOLD:.2f}")19print(f"held-out answerable items: {answerable}")20print(f"held-out unanswerable items: {unanswerable}")21changed = [row.item_id for row in held if guarded(row, FROZEN_THRESHOLD) != row.declined]22print(f"held-out replies the guard changed to declines: {len(changed)} of {len(held)}")2324# One 0/1 flag per item: the bootstrap over these flags is the bootstrap of the rate, over items.25refused_flags = [float(guarded(row, FROZEN_THRESHOLD)) for row in held if row.kind == "answerable"]26answered_flags = [float(not guarded(row, FROZEN_THRESHOLD)) for row in held if row.kind == "unanswerable"]27assert len(refused_flags) == answerable and len(answered_flags) == unanswerable2829refusal_lo, refusal_hi = bootstrap_mean(refused_flags, level=0.95) # 2,000 resamples, seeded (lib/stats.py)30answer_lo, answer_hi = bootstrap_mean(answered_flags, level=0.95)31print(f"false refusal rate: {pct(len(refusals), answerable)} interval {interval_pct(refusal_lo, refusal_hi)}")32print(f"false refusals: {', '.join(refusals) or 'none'}")33print(f"false answer rate: {pct(len(answers), unanswerable)} interval {interval_pct(answer_lo, answer_hi)}")34print(f"false answers: {', '.join(answers) or 'none'}")
python guard-held-out.pythreshold (frozen from dev): 0.00
held-out answerable items: 20
held-out unanswerable items: 7
held-out replies the guard changed to declines: 0 of 27
false refusal rate: 45.0% (9 of 20) interval [25.0%, 70.0%]
false refusals: q-0101, q-0102, q-0103, q-0105, q-0106, q-0111, q-0115, q-0116, q-0117
false answer rate: 0.0% (0 of 7) interval [0.0%, 0.0%]
false answers: none
固定したガードが変更するホールドアウトの応答は 0 of 27 件であり、したがってホールドアウトの出力はガードなしの記録された出力と同じである。ホールドアウト分割での誤拒否率は 45.0% (9 of 20) interval [25.0%, 70.0%] である。誤回答率は 0.0% (0 of 7) interval [0.0%, 0.0%] である。
誤拒否率は最初の表にあるフィルタなしの変種と同じである。ホールドアウトの実行は、主要な点で開発用の結果と一致している。規則が選んだ閾値では、ガードは何も変えない。ホールドアウトの誤回答率だけを見たチームは、ゼロという値から、アシスタントは根拠で裏づけられないことには答えないと結論するだろう。しかし誤りがあるのは拒否の側であり、ガードは拒否を増やすだけなので、どの閾値でもそれを取り除くことはできない。
ホールドアウトの誤回答率は 0.0% (0 of 7) interval [0.0%, 0.0%] である。
表示された区間には幅がない。この区間は、ホールドアウトの回答不能な 7 件の項目を再標本化して求める。そのどれも誤って回答されていないので、すべての再標本で誤りがなく、ブートストラップは変動しえない。この件数がゼロの場合の考え方は忠実性に示されており、この例は厳密な限界値を出力しないため、この区間を限界値として読むことはしない。この区間では、誤回答率がゼロであることと、この 7 件がたまたま捉えなかった小さな率とを区別できない。7 件の項目が示すのは、そのどれも誤って回答されなかったということだけである。
開発用分割も同様である。開発用では、フィルタなしの応答はガードなしで 15.4% (2 of 13) となる。閾値 4.00 では 7.7% (1 of 13) となり、1 件少ない。
誤拒否率の区間が広い理由は別である。20 件の項目では、データから区別できない率の幅が残る。ホールドアウトの値は 45.0% (9 of 20) interval [25.0%, 70.0%] である。これらの区間を作る項目単位のブートストラップと、対応のある差に必要な項目数については、区間とサンプルサイズで説明している。Kohavi らは、ウェブ上の制御実験について同じ点を指摘している。そのガイドであるウェブ上の制御実験:概説と実践ガイドでは、検出力の不足した検定が典型的な誤りとして挙げられている。7 件の項目からなるホールドアウト分割は、これほど小さい率に対しては検出力が不足しており、本章はゼロを確実性の根拠とせず、そのことを明記する。
全体として、結果は具体的なことを述べている。フィルタなしの変種では、開発用の規則が選ぶ閾値において、ガードはどの応答も変えないので、本章ではこれを加えない。開発用のフィルタなしの応答には、両方の誤りが残っている。ホールドアウトでは誤拒否が代償であり、本章の何もそれを減らさない。この結果は一つの決定であり、測定が裏づける決定である。
本章の決定は次のとおりである。
- 両方の拒否率を、それぞれ固有の分母に対して、すべての比較に含める。
- バージョンに依存する項目と曖昧な項目は、両方の率から除き、その拒否は別に数える。
- 拒否の規則は開発用で選ぶ。その際、重みを先に書き下し、掃引の全体を読み、ホールドアウトを実行する前に選択を固定する。
- ホールドアウトは規則ごとに 1 回だけ実行する。件数がゼロの区間は、ゼロという発見としてではなく、この注意書きを付けて報告する。
- 検索スコアのガードは、フィルタなしの変種に加えない。開発用で選ばれた閾値は応答を変えず、ホールドアウトの実行でも変えない。
実践ルール: ガードが採用に値するのは、ホールドアウトの実行が、開発用の掃引が示した方向に応答を変えたときだけである。そうならなかったときは、その結果を残す。結果は、アシスタントにどの誤りがあるか、また検索スコアの閾値ではそれらを直せないことを示すからである。
本書の対象外
この章は攻撃を扱わない。ユーザーがアシスタントに言うべきでないことを言わせようとする問題は、固有の脅威と防御を持つセキュリティ上の問いであり、そのための別の書籍として Securing LLM Applications and Agents が計画されている。ここで示す拒否率は、ドキュメントに関する誠実な質問を測定したものであり、アシスタントを破ろうとするユーザーからの圧力のもとでどう振る舞うかについては何も示さない。
他の研究者も、別のモデルで同じトレードオフを測定している。その主張は、数値を借用しないまでも知っておく価値がある。XSTest は、危険に見えるが安全なプロンプトからなるテストスイートである。作成者らがこれを作ったのは、モデルが、危険なプロンプトと似た言葉遣いを用いた安全なプロンプトや、センシティブな話題に触れる安全なプロンプトを拒否するためである(Röttger and colleagues, 2024)。ICML 2025 で発表された OR-Bench は多数のモデルを測定し、安全性チューニングを施したモデルの安全性の向上が、しばしば過剰拒否の増加を伴っていたと報告している(Cui and colleagues, 2024)。言語モデルにおける回答の差し控え(abstention)に関するサーベイは、モデルが回答を拒むことの一般的な呼び名を与えており、差し控えをクエリ、モデル、人間の価値観という観点から整理している(Wen and colleagues, 2024)。医療分野における 2026 年のベンチマークは、独自のプロンプト集合を用いて、その領域で無害なプロンプトが過剰に拒否されることを報告している(Zhang and colleagues, 2026)。
これらの論文は別のモデルを別の集合で検証しているため、その拒否率をこのアシスタントにそのまま当てはめることはできない。引き継げるのは数値ではなくその形、すなわち本章が自前の事例で検証する主張である。この集合では、ガードが誤った回答を減らせるのは、回答可能な項目をより多く拒否することによってのみであり、これは誤った回答と誤った拒否との交換である。プロンプトや検索の変更は両方の誤りを動かしうるのであり、フィルタなしの変種がそうであった。この章が報告する結果は、本書自身の実行によるものだけである。
実践ルール: モデルが過剰に拒否するという論文の報告を理由に拒否ルールを採用する前に、自分のアシスタントと自分の項目でそのルールを測定し、両方の種類の誤りを数えること。論文の数値は自分の結果に混ぜず、測定のきっかけとなった着想に対してのみ論文を引用すること。
この版における本章
第2026.11.3版2026年11月21日時点で例が通過この章の3 例件のうち3件が合格
英語版の書籍(版2026.11.3)から翻訳した。