審査モデルの判定が信頼できなくなる境界を見つける
読了まで約27 分分、4 節 節の 3 例 例。
このページの内容
この章を読み終えると、本書のデータで示せる二つのバイアス、すなわち位置と長さについて、審査モデルを検査できるようになる。それぞれの検査が何を示し、何を未解決のまま残すかを説明でき、審査モデルの判定を信頼しなくなる条件を書き出すことができる。
第6章では、人間による評価を基準にして審査モデルの誤りを測定し、一対比較の審査モデルは二つの回答の順序を入れ替えたときにどう振る舞うのか、という問いで締めくくった。この章では、審査モデルが採点する sablefile の回答において、ほかに何が判定を動かしうるのかを問う。第5章で設定したとおり、審査モデルはテスト用の質問に対する回答を読み、参照回答と照らし合わせて、PASS か FAIL を出力する。その合格率はチームが報告する数値であり、判定が回答に依存している場合にのみ、報告する価値がある。二つの回答の順序を入れ替えると変わる判定や、内容が増えていないのに回答が長くなるほど上がる合格率は、回答の良し悪し以外のものを測っている。そのような判定に基づく合格率は、実際には何の進歩もないのに、進歩しているように見えることがある。
章全体に当てはまる注意が二つあるので、ここで一度だけ述べておく。一つ目は、審査モデルが Qwen3-4B-Instruct-2507 であり、この章のすべての比率はこのモデルで測定したものだという点である。この章が引用する公表済みの数値は別の審査モデルによるものであり、審査モデルに何が起こりうるかを示すにとどまり、このモデルが実際に何をするかを示すものではない。二つ目は規模である。人間が評価したペアと開発用の項目は小さな集合なので、すべての比率には件数を添え、すべての比較には区間を添える。
この章では三つの限界を順に取り上げる。一つ目は位置で、一対比較の判定がどちらの回答を先に提示したかに依存するかどうかである。二つ目は長さで、合格率が回答の長さとともに上がるかどうかである。三つ目は自己選好で、審査モデルが自分と同じモデルの書いた回答を好むかどうかである。最初の二つは、本書の記録だけで検査できる。検査に必要なものが記録に含まれているからである。人間が評価したすべてのペアが両方の順序で審査されており、すべての回答について長さを数えることができる。三つ目は検査できず、その節でその理由を述べる。最後の節では、三つの限界を、読者が適用できる規則に変える。各規則は件数に結び付けられている。
位置
2つの返信のどちらが優れているかを審査モデルに尋ねると、その答えはどちらの返信を先に読んだかに左右されることがある。片方の順序しか見ないチームはこの依存に気づかず、その報告には答えとともに順序の影響が紛れ込むことになる。
検査の内容は単純である。各ペアを2回審査する。1回は返信を一方の順序で、もう1回は入れ替えた順序で与える。好む返信に従う判定は一貫している。順序が変わると判定も位置に従って変わる場合、審査モデルの選択は返信の内容だけでなく、その返信が置かれた位置にも依存していることになる。審査モデルは、最初に読む返信に傾くことも、2番目に読む返信に傾くこともある。この検査が示すのは、順序を変えたときに現れる偏りだけである。偏りの原因までは言えないが、その必要もない。順序で変わる判定は、読み手がそのまま用いるべきではないからである。第5章では2つの順序と判定を設定し、第6章では審査モデルの選択を人手による評価と照合する。
人手で評価された各ペアは両方の順序で審査され、それぞれ4種類のいずれかに分類される。すなわち、一貫、順序変化、引き分け、判読不能である。例の出力では、順序変化のペアを flipped と呼んでいる。判読不能のペアとは、どちらかの順序で判定が欠けているものを指す。順序変化のペアについては、どちらの順序でも勝ったのがどの位置であるかが問題になる。
1"""How the pairwise judge's verdict follows the position it was shown in, on the HelpSteer2 pairs. Each pair is judged in both2orders and sorted as consistent, flipped, tie or unreadable. The flipped pairs are split by the position that won both orders,3and the consistent pairs are checked against the human preference."""4import lib # first: fixes the thread counts and seeds before anything else loads56from lib.bias import flip_direction7from lib.judging import both_orders, human_pairs8from lib.stats import bootstrap_mean, interval_pct, pct910AB = "judge-hs2-pairs-ab"11BA = "judge-hs2-pairs-ba"12SPLITS = ("dev", "held-out")1314pairs = human_pairs() # all 150 pairs, sorted by id, each with its split and the human's preferred response15orders = both_orders(AB, BA, list(pairs)) # every pair judged in both orders, sorted by id1617for split in SPLITS:18 in_split = [o for o in orders if pairs[o.pair_id].split == split]19 for kind in ("consistent", "flipped", "tie", "unreadable"):20 # the denominator is the split's pairs, so the counts add up to the split's size21 print(f"{kind}, {split}: {sum(1 for o in in_split if o.kind == kind)} of {len(in_split)} pairs")2223for split in SPLITS:24 flipped = [o for o in orders if o.kind == "flipped" and pairs[o.pair_id].split == split]25 # the letter A's position won both times when flip_direction says 'first'; B's when it says 'second'26 first = sum(1 for o in flipped if flip_direction(o) == "first")27 print(f"flipped, first position won both orders, {split}: {pct(first, len(flipped))}")2829# both splits pooled, one 0 or 1 per flipped pair: 1.0 when the first position won both orders30flipped_all = [1.0 if flip_direction(o) == "first" else 0.0 for o in orders if o.kind == "flipped"]31print(f"flipped, first position won both orders, both splits: {pct(int(sum(flipped_all)), len(flipped_all))}")32lo, hi = bootstrap_mean(flipped_all) # percentile bootstrap over the flipped pairs, as every interval in the book33print(f"first-position share interval, both splits: {interval_pct(lo, hi)}")3435for split in SPLITS:36 consistent = [o for o in orders if o.kind == "consistent" and pairs[o.pair_id].split == split]37 # in a consistent pair the two orders agree, so ab is the original response the judge picked38 agree = sum(1 for o in consistent if o.ab == pairs[o.pair_id].preferred)39 print(f"consistent pairs agreeing with the human, {split}: {pct(agree, len(consistent))}")
python position-flips.pyconsistent, dev: 60 of 75 pairs
flipped, dev: 15 of 75 pairs
tie, dev: 0 of 75 pairs
unreadable, dev: 0 of 75 pairs
consistent, held-out: 56 of 75 pairs
flipped, held-out: 19 of 75 pairs
tie, held-out: 0 of 75 pairs
unreadable, held-out: 0 of 75 pairs
flipped, first position won both orders, dev: 20.0% (3 of 15)
flipped, first position won both orders, held-out: 26.3% (5 of 19)
flipped, first position won both orders, both splits: 23.5% (8 of 34)
first-position share interval, both splits: [8.8%, 38.2%]
consistent pairs agreeing with the human, dev: 81.7% (49 of 60)
consistent pairs agreeing with the human, held-out: 83.9% (47 of 56)
判定の大半は2つの順序で一致する。dev では、一貫が60 of 75 pairs件、順序で変化したものが15 of 75 pairs件であった。held-out では、一貫が56 of 75 pairs件、順序で変化したものが19 of 75 pairs件であった。
引き分けは判読可能な判定として数えるため、順序変化率の分母に含まれる。ここでは dev の引き分けが0 of 75 pairs件、判読不能が0 of 75 pairs件であり、dev のすべてのペアが両方の順序で判定を返したことになる。
両方の分割を通じた順序変化率は22.7% (34 of 150)である。分母は両方の順序で読めたペアであり、どちらかの順序で判読不能だったペアは除かれる。
順序変化は2番目の位置に傾いている。分割ごとの件数は少ないので、読むべきはプールした件数である。両方の分割を合わせると、順序変化のうち最初の位置が占める割合は23.5% (8 of 34)である。その区間は[8.8%, 38.2%]で、区間全体が2分の1を下回っている。したがって、プールした件数により、これらのペアについては偏りと均等な分布とを区別できる。ただしプールした割合は少数の順序変化に基づいており、数件がどちらかに動くだけで数ポイント変わりうる。dev だけでは割合は20.0% (3 of 15)、held-out では26.3% (5 of 19)である。
他の研究でも別の審査モデルについて偏りが見つかっており、その向きは一様ではなかった。プレプリントであるWang ほか (2023)は、異なるモデルを用いた設定で、GPT-4 は最初の位置を、ChatGPT は2番目の位置を好むと報告した。Zheng ほか (2023)は NeurIPS 2023 Datasets and Benchmarks track で、既定のプロンプトを用いた GPT-4 が比較の65.0%で両方の順序に同じ判定を与えたと報告した。これらは他の審査モデルについて公表された設定である。何を測るべきかは教えてくれるが、4B の審査モデルに何を期待すべきかは教えてくれない。
一貫したペアは、その判定を選択として読めるペアである。そこで、この例ではこれらを人間の選好と照合する。dev では、一貫したペアで審査モデルが人間と一致した割合は次のとおりであった。
81.7% (49 of 60)。
held-out での割合は次のとおりであった。
83.9% (47 of 56)。
順序変化のペアにはこのような照合は行わない。順序で変わる判定は、審査モデルがどちらの返信を選んだかを示さないからである。一貫したペアだけで一致度を報告するチームは、集合のうち争いの少ない部分を測ったことになる。審査モデルの選択が疑わしいのは順序変化の部分であり、そこには別個の集計が必要である。
この偏りは、チームが比較を実施する方法に実際的な影響を及ぼす。たとえば、候補の返信を常に2番目の枠に置き、入れ替えを行わないチームを考える。審査モデルが2番目の枠に傾くなら、候補はその答えとは無関係な加点を受ける。候補を常に最初に置くチームでは、逆向きの誤差が生じる。すべてのペアで順序を入れ替え、順序変化を報告すれば、偏りがないことを期待するのではなく、偏りを比較から取り除くことができる。
実践ルール: すべての対比較は、判定を読む前に両方の順序で審査し、判定の件数と並べて順序変化率を報告する。順序変化のペアは、どちらの返信にとっても判定なしとして数え、先または後に置かれた返信の勝ちとはしない。順序変化が一方に傾く場合は、どちらに、何件、どの区間で傾くかを述べ、他の審査モデルも同じ向きに傾くと仮定してはならない。
長さ
長さは、位置とは別の問いを立てる。位置は、審査役がどの返答を先に見るかに関わる。長さは、返答そのものに関わる。問題は、審査役が長い返答に、長いというだけで高い評点を与えるかどうかである。この偏りは公表された研究に記述されているので、本書のテストもこれを探さなければならない。また、きれいな結果が意味を持つには、偏りがあればそれを示せたはずのテストでなければならない。
Zheng ら(2023)は、試験したすべてのモデルが冗長性バイアスを持ちうること、そして GPT-4 は他のモデルよりもはるかによくそれを防ぐことを報告した。ある攻撃では、23 件の回答に反復的なリストを付け加えた。失敗率は、2 つのモデルで 91.3%、GPT-4 で 8.7% であった。これらの数値は別の審査役と別の攻撃から得られたものである。ここで長さを測る理由にはなるが、本書における効果の大きさについては何も語らない。
テストは攻撃よりも単純である。基準のアシスタントが回答した開発用の返答を取り出し、語数で 3 つの帯に分け、帯ごとに審査役の合格率を出力する。帯を決める境界は例の中で固定してある。別の境界を使えば別の帯になり、図も変わりうる。
1"""The reference-guided judge's PASS rate by the length of the assistant's reply, on the dev items the baseline answered. The2reply lengths are in words, in three bands with the edges printed below. Each band's rate is printed with its count. Declined3replies and unreadable verdicts are left out, and each is printed with its count."""4import lib # first: fixes the thread counts and seeds before anything else loads56from lib.bias import LENGTH_EDGES, band_outcomes, read_verdicts, reply_lengths7from lib.stats import pct8from lib.testset import load_items910ASSISTANT = "assistant-baseline" # the reply the judge read, and the one whose length is measured11JUDGE = "judge-answers-baseline"1213dev = [item.id for item in load_items(split="dev")] # 80 dev items, sorted by id14lengths = reply_lengths(ASSISTANT, dev) # the answered items only: declined replies are left out here15verdicts = read_verdicts(JUDGE, dev) # None where the judge's first line is not a verdict1617print(f"band edges, in words: {LENGTH_EDGES[0]} and {LENGTH_EDGES[1]}")18print(f"declined, left out: {len(dev) - len(lengths)} of {len(dev)} dev items")19unreadable = [item_id for item_id in lengths if verdicts[item_id] is None]20print(f"unreadable verdict, left out: {', '.join(unreadable) if unreadable else 'none'}")2122for band, outcomes in band_outcomes(lengths, verdicts):23 print(f"{band}: {pct(int(outcomes.sum()), outcomes.size)}")
python length-and-verdicts.pyband edges, in words: 15 and 30
declined, left out: 23 of 80 dev items
unreadable verdict, left out: q-0043
under 15 words: 94.1% (16 of 17)
15 to 29 words: 83.3% (15 of 18)
30 words or more: 85.7% (18 of 21)
境界は 15 and 30 語の位置にある。辞退した返答は帯から除外しており、その数は 23 of 80 dev items である。審査役の最初の行を判定として読む。その行が判定でない場合、判定は読み取れないものとなり、例はそのような項目を出力して帯から除外する。それが FAIL として数えられることはない。ここで判定が読み取れなかったのは q-0043 である。
帯は回答された返答だけから作られるので、その分母は全体の集合より小さい。最後の節で行う第 2 のモデルとの比較は、別の項目の集合を用いる。審査役が両方のアシスタントについて読んだ開発用項目をすべて数え、第 5 章の回答用ルーブリックのもとでは正しい辞退を合格として数える。2 つの集合は同じではないので、それぞれの率を並べて比べてはならない。
合格率は長さとともに上昇しない。中間の帯の合格が最も少なく、最長の帯は中間の帯より多く合格したが、最短の帯よりは少なかった。3 つの帯に 1 本の直線を当てはめれば傾きは得られるが、これらの帯はその直線を支持しない。
最短の帯の合格は 94.1% (16 of 17) であった。
中間の帯の合格は 83.3% (15 of 18) であった。
最長の帯の合格は 85.7% (18 of 21) であった。
本書が報告する比較は、最長の帯から最短の帯を引いた差である。この順序は長さで決まっているので、率を見る前に定まる。合格率が最高の帯から最低の帯を引く方法は、率を見た後に選ぶことになり、しかも 0 を下回ることがない。差は -8.4 points, interval [-28.6, +8.1] points である。
方法は percentile bootstrap over items, each band resampled alone, 2000 resamples, 95% level である。2 つの帯には別々の項目が入っているので、それぞれを単独で再標本化し、各帯の件数は上に示した率の算出に使った件数である。帯ごとの件数は少ないので、区間は広い。区間は 0 を含むので、最長の帯と最短の帯の間には差は検出されなかったという結果になる。
差が検出されなかったことは、長さが無害であることを意味しない。この規模の帯では、差を 0 から区別できないということである。数ポイントの偏りは拾えない。返答 1 件で帯の率が数ポイント動くからである。区間と標本サイズが説明する項目単位のブートストラップは、これと同じ再標本化である。ここでは 2 つの帯をそれぞれ単独で再標本化しており、これは 2 つの別個の群に対する区間であり、その章ではそのような区間を構成していない。
長い返答が常に水増しされた返答であるとは限らない。問いのより多くの部分を扱う返答は、その理由でより多く合格するかもしれず、長さとともに上昇する率は、それだけでは水増しを示さない。両者を区別するには、長さと内容が切り離される返答、たとえば完全な回答と、同じ回答に埋め草を加えたものが必要である。ここでの帯は両者を区別できない。各帯の返答は、長さ以外の点でも異なっているからである。
実践ルール: 少数の帯から、長さの効果やその不在を断定してはならない。最長の帯と最短の帯を、差の区間と各帯の件数とともに比較する。区間が 0 を含むときは、それらの件数を添えて「差は検出されなかった」と述べ、そこでとどめる。長さがプロダクトに影響しうるなら、長さを変えて内容を変えないテストを作り、それを測定する。
自己選好:本書では検証できない
長さの節では、判定者が返答の長さに対して高い評価を与えるかどうかを問うた。この節では、返答を誰が書いたかによって高い評価を与えるかどうかを問う。本書はこれに答えることができない。その理由は、本書自身の設定が示している。
Panickssery らの研究(2024)はプレプリントであり、自己選好を、LLM評価者が自分の要約を他のモデルの要約よりも高く採点する傾向と定義している。このとき、人間の注釈者は両者の品質を同等と評価している。著者らは因果関係についての結果を初期的な証拠と呼び、相関だけでは因果関係の主張を証明できないとも述べている。この問いはどの判定者に対しても問う価値があり、その答えは当該の判定者で測定しなければならない。
検証には、人間の評価者から見て品質が等しい答えが必要である。それは判定者自身のモデルと別のモデルが生成したもの、あるいはそれぞれに帰属させたものである。同じ判定者が、それぞれの帰属のもとで同じ答えを読む。そうすれば、二つの合格率の差は書き手を通じてのみ生じる。設計の概略は明快であるが、本書の記録ではこれを実施していない。
本書にあるのは、一つの判定者が二人の書き手を読むという構成である。ベースラインのアシスタントと判定者は同一のモデル、Qwen3-4B-Instruct-2507である。もう一つの答えの集合は、より小さなモデルである Qwen3-0.6B によるもので、同じ判定者がこれを読んだ。本書には、これらの答えを品質を揃えて人間が評価した結果がない。この判定者がそれらの品質の唯一の尺度であるため、書き手を変えながら品質を固定して比較することはできない。
同じ開発用項目で、ベースラインの合格率は 78.5% (62 of 79) であった。第二のモデルの合格率は 40.5% (32 of 79) であった。差は -38.0 points, interval [-48.1, -26.6] points, n = 79 である。
素直に読めば、第二のモデルの答えははるかに合格しにくい。この差は品質の低さからも生じうるし、判定者が自分のモデルを好むことからも生じうる。本書のデータでは両者を区別できない。品質の唯一の尺度がこの判定者だからである。したがって、この差は、この判定者が読んだときの二つのアシスタントの違いにすぎない。それは自己選好の結果でもなければ、自己選好がないことの明確な証拠でもない。
判定者が自分のモデルに対して公平であると述べる報告は、その検証が本書の記録では実施されていないことを明記しなければならない。この点について何も述べなければ、明確な結果であるかのように読まれるが、ここではそうではない。チームが主張できるのはより限定的な内容である。すなわち、記録が示すのは二つのアシスタントの間の差であり、判定者が自分のモデルを贔屓するかどうかについては何も示していない。
実践ルール: 判定者とアシスタントが同一のモデルである場合は、そのことを合格率と併せて報告し、自己選好を検証済みとして報告してはならない。上記の確認、すなわち品質を揃えた答えを両方のモデルが生成したか両方に帰属させ、同じ判定者が読むという手順が整っていない限り、判定者を使って自分のモデルと別のモデルを比較してはならない。このような確認に必要な人間による評価は、第6章で整える。
判定を信頼しなくなる地点
限界は、読者が適用できる規則として示してはじめて役に立つ。また、各規則には照合すべき件数が必要である。表だけを確認する読者は、限界は知っても、その理由は知らない。理由は上の各節が一本ずつ示している。限界の表は、これらを項目名付きの行としてグループごとに出力する。グループは、順序変更率、長さの差とその方法、読み取れない判定、同一モデルの件数、第二のモデルとの比較の順である。順序変更率は、どちらの順序でも読み取れなかったペアを除く。一方、前述の位置の例は、分割に含まれるすべてのペアを数える。表は上から読むこと。各行が答える問いは一つであり、別の問いには答えないからである。
1"""The judge's limits as one table, one labelled line per limit, each computed as in position-flips and length-and-verdicts.2The length line compares the longest band with the shortest, fixed in advance by length order: each band holds different3items, so each is resampled on its own. The unreadable count is over every answer-judge recording on every item."""4import lib # first: fixes the thread counts and seeds before anything else loads56from lib.bias import band_outcomes, paired_passes, read_verdicts, reply_lengths, same_model_count, unreadable_count7from lib.judging import both_orders, human_pairs8from lib.stats import RESAMPLES, bootstrap_difference, bootstrap_mean, interval_points, pct9from lib.testset import load_items1011JUDGE = "judge-answers-baseline"12ANSWER_JUDGES = tuple(f"judge-answers-{variant}" for variant in ("baseline", "k5", "prompt-b", "second-model", "unfiltered"))13items = [item.id for item in load_items()]14dev = [item.id for item in load_items(split="dev")]1516# Order-change rate: flipped pairs over the pairs read in both orders. A tie is a readable verdict; an unreadable pair is left out.17pairs = human_pairs()18read_both = [o for o in both_orders("judge-hs2-pairs-ab", "judge-hs2-pairs-ba", list(pairs)) if o.kind != "unreadable"]19print(f"order-change rate: {pct(sum(1 for o in read_both if o.kind == 'flipped'), len(read_both))}")2021# Length gap: the longest band's PASS rate minus the shortest band's, fixed by length order, on the dev items.22shortest, _, longest = band_outcomes(reply_lengths("assistant-baseline", dev), read_verdicts(JUDGE, dev))23lo, hi = bootstrap_difference(shortest[1], longest[1])24print(f"length gap, longest band minus shortest band: {100 * (longest[1].mean() - shortest[1].mean()):+.1f} points, "25 f"interval {interval_points(lo, hi)}")26print(f"length gap method: percentile bootstrap over items, each band resampled alone, {RESAMPLES} resamples, 95% level")27print(f"shortest band, {shortest[0]}: {pct(int(shortest[1].sum()), shortest[1].size)}")28print(f"longest band, {longest[0]}: {pct(int(longest[1].sum()), longest[1].size)}")2930unreadable, total = unreadable_count(ANSWER_JUDGES, items)31print(f"unreadable verdicts, five answer-judge recordings: {unreadable} of {total}")32print(f"items per answer-judge recording: {len(items)}")33worst = max((unreadable_count([name], items) for name in ANSWER_JUDGES), key=lambda found: found[0])34print(f"most unreadable in one recording: {worst[0]} of {worst[1]}")3536same, judged = same_model_count(ANSWER_JUDGES)37print("self-preference test on these recordings: not possible")38print(f"same-model recordings: {same} of {judged}")3940# Second model beside the baseline, on the dev items both judged: a None verdict in either leaves the item out.41both, base_pass, second_pass = paired_passes(JUDGE, "judge-answers-second-model", dev)42print(f"baseline PASS rate, same dev items: {pct(int(base_pass.sum()), len(both))}")43print(f"second-model PASS rate, same dev items: {pct(int(second_pass.sum()), len(both))}")44diff_lo, diff_hi = bootstrap_mean(second_pass - base_pass)45print(f"second-model minus baseline, same dev items: {100 * (second_pass - base_pass).mean():+.1f} points, "46 f"interval {interval_points(diff_lo, diff_hi)}, n = {len(both)}")
python verdict-limits.pyorder-change rate: 22.7% (34 of 150)
length gap, longest band minus shortest band: -8.4 points, interval [-28.6, +8.1] points
length gap method: percentile bootstrap over items, each band resampled alone, 2000 resamples, 95% level
shortest band, under 15 words: 94.1% (16 of 17)
longest band, 30 words or more: 85.7% (18 of 21)
unreadable verdicts, five answer-judge recordings: 2 of 600
items per answer-judge recording: 120
most unreadable in one recording: 1 of 120
self-preference test on these recordings: not possible
same-model recordings: 4 of 5
baseline PASS rate, same dev items: 78.5% (62 of 79)
second-model PASS rate, same dev items: 40.5% (32 of 79)
second-model minus baseline, same dev items: -38.0 points, interval [-48.1, -26.6] points, n = 79
各率は、それぞれの分母に照らして読むこと。行ごとに分母は異なり、分母の小さい率は一件で大きく動く。この表は、判定者が一般に人間と一致するかどうかについては何も述べない。それは第6章の仕事である。判定者はここにあるすべての行を通過しても、重要なペアでは人間の評価と食い違うことがある。これらの限界は、較正を行う価値が生じるために判定が満たすべき条件であり、較正の代わりにはならない。
以下の規則はこれらの行に沿っており、各規則はそのうちの一つに基づく。
- 順序変更。 順序によって変わるペアワイズの判定を、結果として読んではならない。両方の分割にわたって順序変更を数え、判定の件数の横に順序変更率を出力する。
- 読み取れない判定。 それらを出力し、率からは除き、FAILとして数えてはならない。表は、回答判定の五つの記録で2 of 600件の判定を数えている。五つの記録とは、ベースライン、k5、プロンプトb、第2モデル、フィルタなしの各変種であり、それぞれ120件の項目で読まれた。一つの記録で失われた最大数は1 of 120件であった。これは測定された閾値ではなく経験則である。一つの記録で読み取れない判定が100件中1件を超えるときは、その記録から率を読む前にプロンプトを直すこと。
- 長さ。 少数の帯から長さの効果があると断じてはならず、ないと断じてもならない。長さの行は、最も長い帯と最も短い帯を区間付きで比較する。区間が0を含むときは、件数とともに「差は検出されなかった」と述べ、そこで止める。
- 同一モデル。 判定者とアシスタントが同じモデルであるときは、その事実を率の横に添えること。ここでは4 of 5件の判定済み記録がこれに当たる。本書はそれらの記録で自己選好を検証できない。したがって、自己選好の節が述べるとおり、判定者を使って自らのモデルと他のモデルを比較してはならない。
- 品質の一致。 二つのアシスタントの合格率の差は、アシスタント間の差であり、判定者の偏りではない。第二のモデルの行がその例であり、自己選好の節がどちらの結果も示さない理由でもある。
- 転移。 率が依拠する較正は別の行で測定されたものである。したがって、転移の仮定が許す範囲までしか持ち越してはならない。
停止条件に該当した判定は、捨てられるわけではない。順序が変わったペアや読み取れない判定は、その項目については判定なしとなる。それは出力され、数えられ、入るはずだった率からは除かれる。読み取れない判定の扱いと同じである。そして率は、除いた項目の数を報告する。同一モデルの記録は停止条件ではない。率の横に報告する。
本番運用では、限界は、誤った理由で動く率として現れる。たとえばチームがアシスタントのプロンプトを変更し、合格率が上がったとする。チームがプロンプトの成果とする前に、限界の表は三つの問いを発する。判定は順序によって変わったか、あるいは読まれなかったか。返答は長くなったか、また長さの行の区間は差を0から分離しているか。判定者は返答を書いたモデルか。最初の二つのどちらかが「はい」なら(原文どおり、いずれかが「はい」の場合)、その上昇は報告する前に独自の確認を要する。三つ目が「はい」なら、その事実を添えて上昇を報告する。
実践ルール: 判定が順序によって変わるとき、または読み取れないときは、その判定を信頼するのをやめ、報告にもそう記すこと。判定者が自らの回答を採点するモデルであるときは、その事実を率の横に報告し、自己選好の節が述べるとおり、判定者を使って自らのモデルと他のモデルを比較してはならない。合格率を公表する前に、第6章のように判定者を人間の評価と照合し、順序変更率、読み取れない判定の数、同一モデルの事実を率の横に出力すること。合格率が回答を表すのは、判定者が人間と一致する範囲に限られる。したがって、率は常にその較正とともに示すべきである。
この版における本章
第2026.11.3版2026年11月21日時点で例が通過この章の3 例件のうち3件が合格
英語版の書籍(版2026.11.3)から翻訳した。