判定器の誤りを人間の評価と照らして測り、合格率を補正する

読了まで約34 分分、7 節 節の 6 例 例。

第2026.11.3版 2026年11月21日時点で例が通過 54 例中 54 例が合格 変更点

AIによる翻訳。英語版は人による検証済みである。 当社の書籍の作り方

英語版の書籍(版2026.11.3)から翻訳した。 原文を読む

この章を読み終えると、判定器の判定が人間の評価とどう食い違うかを測り、その食い違いを見逃しと誤合格に分け、観測された合格率をそれらについて補正できるようになる。その際、補正が依拠する仮定も併せて書き記す。

第5章は、較正タスクの二つ目の書き方と、判定器の書き方は仮定するものではなく測るものだという規則で終わった。回答判定器は、各応答を書かれた参照と照らして読み、PASS か FAIL を付ける。アシスタントのベースライン実行の合格率は、この判定器から得られる。判定器は誤った応答を合格にすることもあれば、正しい応答を不合格にすることもあるため、この率は、アシスタントについての数値であると同時に、判定器についての数値でもある。第5章ではルーブリックを書き、判定を読んだ。この章では、それらの判定がどのくらいの頻度で、どちらの方向に誤るのか、そして誤りが分かったときにチームが率に対して何をするのかを問う。

人間による評価とその性質

判定器は、別の方法で作られたラベルと照らし合わせることでしか検証できない。本書では、NVIDIA が公開しているデータセット HelpSteer2 の人間による評価を用いる。各行には、プロンプト、それに対する応答が一つ、そして人間が付けた 0 から 4 までの五つの属性スコアが入っている。応答は他のモデルが生成したものである。この章で使う属性は正確さの一つだけである。サンプリングのコードは、このスコアを合格か不合格かに変換する。スコアが 3 または 4 であれば PASS、0 から 2 であれば FAIL とみなす。この区切りは本書が決めたものであり、判定器を一度も実行していない段階で定めた。

HelpSteer2 は本書独自のデータではない。応答は他のモデルのものであり、プロンプトは一般的な内容で、sablefile のために書かれたものではない。そのため、これらのラベルが測るのは、回答の判定器が答える問いとは異なる問いに対して判定器がどの程度うまく働くかである。この隔たりが転移の仮定の主題であり、この章の残りでもたびたびこの点に立ち返る。

較正用の判定器は、この一つの属性のために書かれたルーブリックに従って読み取る。ルーブリックは、返答に含まれるすべての事実と結果が正しいかどうかを問い、第 5 章で述べたとおり、長さ、口調、文体、書式を考慮から外すよう判定器に指示する。本書自身のテストセットを較正に使うこともできるが、sablefile の返答に対する人間の評価は本書にはない。そのため、較正には公開されている行を代わりに用い、その代償として転移の仮定を負う。データセットは、正確さについての合格ラインを与えてはくれない。そのラインは本書が自ら定めており、この章のすべての比率はそれを基準に読む必要がある。ラインが異なれば、すべての比率が動く。したがって、この章を別の研究と比較する読者は、まずその研究がラインをどこに置いたかを確かめるべきである。

較正用の行は、データセットの検証用分割から固定のシードで抽出したサンプルである。本文に印字可能な ASCII 以外の文字を含む行は、抽出の前に除外した。抽出では各分割から FAIL の行と PASS の行をそれぞれ約 45 件ずつ取り、プロンプトごとに 1 行だけを残す。したがって、基準率はデータセットの中に見いだされたものではなく、サンプリングによって決まったものである。サンプルは dev と held-out に分ける。同じデータセットには、一つのプロンプトに対する二つの応答の組と、それらの間の人間の選好も含まれている。選好の強さがゼロの組は除外する。

この分割によって、数値の使い方が決まる。dev は、本書が何かを設定する場所であり、補正に用いる比率もここで決める。held-out は、ほかのすべてが固定された後に、この章で一度だけ読む。ここでは、held-out を使って選ぶものは何もない。held-out の数値は、この章を書く前の記録確認の時点で最初に計算した。ここでは、何かを選ぶために再計算することなく、当時のままの値を報告する。

実践ルール: 判定器が答える問いのために作られたラベルで較正するか、そのラベルがその問いからどれだけ離れているかを本文に明記する。スコアを判定器の合格・不合格に変換するルールは、結果を見る前に書き留める。調整に使う分割と、一度だけ報告する分割は分けておく。

一致率とカッパ

一致率とは、判定器と人間が同じ判定を下した行の割合である。一方の判定が大半を占める場合、一致率は誤解を招くことがある。すべてを PASS にする判定器は、大半が PASS の標本とよく一致するため、一致率だけでは、その判定器と慎重な判定器を区別できない。対処法は、二つの判定の PASS 率だけから、偶然に達しうる一致率を求め、その分を取り除くことである。カッパはこれを行う指標である。PASS か FAIL かを判定する二人の評価者について、カッパは、観測された一致率から偶然の一致率を引き、それを 1 から偶然の一致率を引いた値で割ったものである。この式は McHugh によるカッパ統計量の概説に示されている。二人の評価者がすべての行で一致するとき、カッパは 1 である。

calibration-agreement.py Python 3.12.15 · numpy 2.5.5 合格
"""How often the reference-free correctness judge agrees with the human ratings on the HelpSteer2 sample, and Cohen's kappafor the same counts, on dev, on held-out and on both together.Agreement alone reads higher than the judge's skill when most rows are one verdict, so the kappa line is the one to readagainst chance: the chance agreement printed beside it is what the judge would reach by guessing at its own PASS rate."""import lib  # first: fixes the thread counts and seeds before anything else loadsfrom lib.calibration import agreement, chance_agreement, cohens_kappa, confusion, helpsteer2_judgmentsfrom lib.stats import pctfor label, split in (("all", None), ("dev", "dev"), ("held-out", "held-out")):    counts = confusion(helpsteer2_judgments(split))    print(f"agreement, {label}: {pct(counts.tp + counts.tn, counts.n)}")    # the chance figure is an expected rate, not a count, so it has no denominator beside it    print(f"chance agreement, {label}: {100 * chance_agreement(counts):.1f}%")    # kappa is printed with two decimals (plan section 6.5), not as a percentage    print(f"kappa, {label}: {cohens_kappa(counts):.2f}")
出力python calibration-agreement.py
agreement, all: 70.6% (127 of 180)
chance agreement, all: 50.3%
kappa, all: 0.41
agreement, dev: 71.1% (64 of 90)
chance agreement, dev: 50.2%
kappa, dev: 0.42
agreement, held-out: 70.0% (63 of 90)
chance agreement, held-out: 50.3%
kappa, held-out: 0.40

全行での一致率は 70.6% (127 of 180) である。二つの PASS 率のみから求めた偶然の一致率は 50.3% である。カッパは 0.41 であり、小数第 2 位まで示し、パーセント記号は付けない。これは率ではなく、独自の尺度を持つ統計量だからである。一致率と偶然の一致率はどちらも百分率なので、直接比較できる。カッパは偶然の分がすでに取り除かれた値であるから、判定器が偶然を超えて示した一致として読むべき数値である。

カッパは −1 から 1 までの値を取る。偶然の一致率に等しいとき 0 になり、二人の評価者の一致が偶然より少ないときには負になる。これは McHugh の概説にも述べられている。

三つの数値は、一致率、その隣にある偶然の一致率、カッパの順に読む。一致率が上がっても偶然の一致率が同時に上がっているなら、その改善は判定器ではなく基準率に由来する可能性がある。

二つの分割も同じように読む。dev での一致率は 71.1% (64 of 90) である。dev でのカッパは 0.42 である。held-out での一致率は 70.0% (63 of 90) であり、カッパは 0.40 である。

カッパが重要である理由は基準率にある。一方の判定が行の大半を占めると、偶然の一致率は高くなり、判定器は二つの判定を区別する力が弱くても高い一致率を示しうる。ここでの抽出では、PASS の行と FAIL の行がほぼ同数含まれるため、偶然の一致率は 2 分の 1 付近にある。dev での人間の PASS 率は 51.1% (46 of 90) である。偏った標本を持つチームでは、偶然の一致率が一致率に近くなると予想すべきであり、その場合は一致率が高く見えてもカッパはゼロに近くなる。そのようなチームは、まずカッパを読むべきである。

一致率が測るのは人間のラベルへの近さであり、応答が正しいかどうかではない。一致率が高いことは、判定器の判定が人間の判定と合っていることを示すだけで、アシスタントの応答が正しいことを示すわけではない。カッパは、一致が偶然からどれだけ離れているかを示すが、判定器がどちらの方向に誤るかは示さない。それを知るには、次の二つの率が必要である。

第 5 章では、二つ目の較正用の文言である rubric B を説明した。較正用のルーブリックは、以後 rubric A と呼ぶが、偽の主張をしない応答は「不正確ではない」とされる。rubric B はこれを書き換え、A の「不正確ではない」を「正しい」とし、誤解を招く点と確信度に関する項目を削除している。rubric B は dev でのみ記録された。次の例では、同じ dev の行について二つの文言を並べて示す。

rubric-b-agreement.py Python 3.12.15 · numpy 2.5.5 合格
"""How often the second rubric's verdicts agree with the human ratings on the HelpSteer2 sample, beside the first rubric's,on dev and on held-out, with kappa, TPR and TNR and the PASS rates of judge and humans.The second rubric was recorded on dev only, so its held-out line says so instead of printing a rate. The paired differenceis on dev alone: each dev row's agreement under rubric B minus its agreement under rubric A, bootstrapped over rows. Areply with no readable verdict is printed by row ID and left out; it is never counted as FAIL."""import lib  # first: fixes the thread counts and seeds before anything else loadsfrom dataclasses import replacefrom lib.calibration import cohens_kappa, confusion, helpsteer2_judgments, readable_verdictsfrom lib.prompts import HS2B_SHA256from lib.replay import ReplayModelfrom lib.stats import bootstrap_mean, interval_points, pctRUBRIC_B = "judge-helpsteer2-rubric-b"def report(name, split, judgments):    c = confusion(judgments)    print(f"agreement, {name}, {split}: {pct(c.tp + c.tn, c.n)}")    print(f"kappa, {name}, {split}: {cohens_kappa(c):.2f}")    print(f"TPR, {name}, {split}: {pct(c.tp, c.tp + c.fn)}")    print(f"TNR, {name}, {split}: {pct(c.tn, c.tn + c.fp)}")    print(f"judge PASS rate, {name}, {split}: {pct(c.tp + c.fp, c.n)}")    print(f"human PASS rate, {name}, {split}: {pct(c.tp + c.fn, c.n)}")def same(j):    return int(j.judge_pass == j.human_pass)base = {j.id: j for j in helpsteer2_judgments()}  # rubric A's verdicts and the human PASS for every row, by idrecorded = {item for item, _ in ReplayModel(RUBRIC_B, HS2B_SHA256).keys()}verdicts_b, unreadable = readable_verdicts(RUBRIC_B, sorted(recorded & base.keys()), HS2B_SHA256)rows_b = {i: replace(base[i], judge_pass=v == "PASS") for i, v in verdicts_b.items()}print(f"unreadable, rubric B: {len(unreadable)} of {len(recorded)} replies")for item_id, _ in unreadable:    print(f"unreadable, rubric B, row {item_id}: excluded, not counted as FAIL")for split in ("dev", "held-out"):    report("rubric A", split, [j for j in base.values() if j.split == split])    b = [j for j in rows_b.values() if j.split == split]    if b:        report("rubric B", split, b)    else:        print(f"rubric B, {split}: no readable replies recorded")dev_ids = [i for i in verdicts_b if base[i].split == "dev"]diffs = [same(rows_b[i]) - same(base[i]) for i in dev_ids]  # the same row under both rubricslo, hi = bootstrap_mean(diffs)  # level 0.95 for one comparison; seed SEED, 2,000 resamplesn = len(dev_ids)print(f"paired difference, dev: {100 * sum(diffs) / n:+.1f} points, 95% interval {interval_points(lo, hi)}, n = {n}")reading = "rubric B better" if lo > 0 else "rubric B worse" if hi < 0 else f"no difference detected at n = {n}"caveat = ", on dev only with no held-out run" if lo > 0 or hi < 0 else ""  # a dev-only difference carries its caveatprint(f"paired difference, dev, reading: {reading}{caveat}")
出力python rubric-b-agreement.py
unreadable, rubric B: 0 of 90 replies
agreement, rubric A, dev: 71.1% (64 of 90)
kappa, rubric A, dev: 0.42
TPR, rubric A, dev: 80.4% (37 of 46)
TNR, rubric A, dev: 61.4% (27 of 44)
judge PASS rate, rubric A, dev: 60.0% (54 of 90)
human PASS rate, rubric A, dev: 51.1% (46 of 90)
agreement, rubric B, dev: 74.4% (67 of 90)
kappa, rubric B, dev: 0.49
TPR, rubric B, dev: 84.8% (39 of 46)
TNR, rubric B, dev: 63.6% (28 of 44)
judge PASS rate, rubric B, dev: 61.1% (55 of 90)
human PASS rate, rubric B, dev: 51.1% (46 of 90)
agreement, rubric A, held-out: 70.0% (63 of 90)
kappa, rubric A, held-out: 0.40
TPR, rubric A, held-out: 82.6% (38 of 46)
TNR, rubric A, held-out: 56.8% (25 of 44)
judge PASS rate, rubric A, held-out: 63.3% (57 of 90)
human PASS rate, rubric A, held-out: 51.1% (46 of 90)
rubric B, held-out: no readable replies recorded
paired difference, dev: +3.3 points, 95% interval [-1.1, +7.8] points, n = 90
paired difference, dev, reading: no difference detected at n = 90

dev では差は示されなかった。rubric B での一致率は 74.4% (67 of 90) である。同じ行での rubric A の一致率は 71.1% (64 of 90) である。対応のある差は +3.3 points, 95% interval [-1.1, +7.8] points, n = 90 である。dev の各行について、コードは、その文言が人間と一致すれば 1、一致しなければ 0 を与える。対応のある差とは、rubric B の得点から rubric A の得点を引き、dev の行で平均したものであり、その区間はそれらの行についてブートストラップで求める。この区間についての例の読み取りは no difference detected at n = 90 である。

区間はゼロを含むため、dev の推定値は rubric B のほうが優れていることを示さない。rubric B には held-out での実行がないので、dev の推定値を確認する二つ目の根拠がない。読み取れなかった応答は 0 of 90 replies であり、除外された応答はなかった。

実践ルール: 一致率はカッパと並べて報告し、カッパは隣に示した偶然の一致率と照らして読む。すべての数値に、ルーブリックと分割の名前を付け、二つの文言を一つのものとして読まないようにする。一方の文言を優れていると言ってよいのは、対応のある区間の下限がゼロを上回るときだけであり、しかも held-out で確認した場合か、dev で確認してその注意書きを主張の隣に添えた場合に限る。区間がゼロをまたぐときは、手元の n では差が検出されなかったと述べ、点推定値が高いことを主張に変えてはならない。

真陽性率と真陰性率

最終変更:版2026.11.3

一致率とkappaは、評価器が人間の判定とどのくらいの頻度で一致するかを示す。しかし、どちらの方向に誤るかは示さない。それを示すのが、真陽性率と真陰性率の二つの率である。真陽性率(TPR)は、人間がPASSとした行のうち、評価器もPASSとした行の割合である。真陰性率(TNR)は、人間がFAILとした行のうち、評価器もFAILとした行の割合である。PASSを出しすぎる評価器は、誤りが偽のPASSであるため、TPRが高くTNRが低い。FAILを出しすぎる評価器はその逆になる。次の節で行う補正には両方の率が必要である。それぞれが異なる種類の誤りを正すからである。

tpr-tnr.py Python 3.12.15 · numpy 2.5.5 合格
"""The judge's true positive rate and true negative rate on the HelpSteer2 sample, with the counts beside each, on dev, onheld-out and on both together.PASS is the positive class: TPR is the share of human PASS rows the judge passes, and TNR the share of human FAIL rows itfails. The two rates are the judge's error profile; a lenient judge has a high TPR and a low TNR."""import lib  # first: fixes the thread counts and seeds before anything else loadsfrom lib.calibration import confusion, helpsteer2_judgmentsfrom lib.stats import pct# PASS is the positive class: the rows a human rated PASS are the positives, and TPR is taken over them.print("positive class: PASS")for label, split in (("all", None), ("dev", "dev"), ("held-out", "held-out")):    counts = confusion(helpsteer2_judgments(split))    print(f"TPR, {label}: {pct(counts.tp, counts.tp + counts.fn)}")    print(f"TNR, {label}: {pct(counts.tn, counts.tn + counts.fp)}")
出力python tpr-tnr.py
positive class: PASS
TPR, all: 81.5% (75 of 92)
TNR, all: 59.1% (52 of 88)
TPR, dev: 80.4% (37 of 46)
TNR, dev: 61.4% (27 of 44)
TPR, held-out: 82.6% (38 of 46)
TNR, held-out: 56.8% (25 of 44)

ここではPASSを陽性クラスとするので、TPRは人間がPASSとした行について、TNRは人間がFAILとした行について求める。各率には根拠となる件数を併記してあり、いくつの行に基づく値かを読者が確認できる。

全行では、TPRは81.5% (75 of 92)、TNRは59.1% (52 of 88)である。評価器は人間がPASSとした応答の大半をPASSとするが、人間がFAILとした応答にも相当な割合でPASSを出している。二つの率のうち低いのはTNRであり、この評価器は甘い判定をする。

この方向は、合格率を読む者にとって重要であり、その影響は率がどこに位置するかで変わる。次の節で扱う合格率の補正は、交差点 p* = (1 − TNR) / (2 − TPR − TNR) において率を変えない。p* より下では補正によって率が下がり、p* より上では率が上がる。甘い評価器では p* が高い位置にあるため、それより下の報告値は高すぎ、それより上の報告値は低すぎると読める。devでは、交差点は66.4% (TPR 80.4%, TNR 61.4%)である。率がこの点に対してどこにあるかがわかれば、補正を行う前でも、報告された数値がどちらに偏っているかをチームは知ることができる。一致率だけでは、これは見えない。人間との一致の度合いが同じ二つの評価器でも、どちらの誤りをより頻繁に犯すかは異なりうるし、それに応じて報告される率も異なる。

devでは、TPRは80.4% (37 of 46)、TNRは61.4% (27 of 44)である。held-outでは、TPRは82.6% (38 of 46)、TNRは56.8% (25 of 44)である。held-outの分割は、どちらの率でもdevに近い値となり、TNRは数ポイント低い。

各率は一つの人間ラベル群について求めたものであり、どの分割も行数が少ないため、別の標本を取れば率は動きうる。本章ではTPRにもTNRにも区間を示していない。これらの率は、この標本における評価器の誤りとして読み、一般的な誤りとして読んではならない。

実践ルール: TPRとTNRは件数とともに併せて報告し、評価器がどちらの方向に誤るかを述べる。補正に用いる率はdevのみから取り、補正後の率には、補正前の率と補正に用いた率の両方を添える。held-outは、選択がすべて済んだあとに一度だけ報告し、いかなる選択にも用いない。

合格率の補正

最終変更:版2026.11.3

観測された合格率には、2種類の判定が含まれる。判定器が正しく捉えた真の合格と、判定器が見逃した偽の合格である。補正は、この両方を一度に取り除こうとするものである。判定器のTPRとTNRが与えられれば、観測された合格率を生む真の合格の割合を解くことができる。本書はこれを (observed + TNR - 1) / (TPR + TNR - 1) と書く。Rogan and Gladen (1978) は、スクリーニング検査について同じ問題を扱っており、その要旨には、この種の調整が示されていると書かれている。本書が読んだのはこの要旨のみである。したがって、ここに示す式は、本書のコードが計算するとおりの、本書自身による補正の記述であり、論文からの引用ではない。

補正には限界がある。補正は TPR + TNR - 1 で割る。2つの率がいずれも偶然の水準に近い判定器では、分母がゼロに近くなり、どちらの率の小さな誤差も、補正後の率の大きな変動になる。本書のコードは、この分母が0.1を下回る場合には補正を拒否し、率を出力する代わりにエラーを発生させる。以下の実行は、この下限から十分に離れている。実際には、チームは次の4つを順に行う。補正対象の集合とは別に確保した較正用の集合でTPRとTNRを測定する。分母が下限を超えていることを確認する。読み取れた返答に対する観測された率に補正を適用する。移転の仮定を結果の横に書き添える。

corrected-pass-rate.py Python 3.12.15 · numpy 2.5.5 · pydantic 2.14.3 · typing-extensions 4.16.0 合格
"""The baseline's answer-judge pass rate over the test items the judge gave a readable verdict, corrected for the judge's errorswith TPR and TNR from dev only. The corrected rate is printed beside the observed rate and the two rates the correction uses.One judge reply has no PASS or FAIL on its first line. It is left out of the rate and printed by name, never counted as aFAIL. The TPR and TNR come from HelpSteer2, where the judge rates other models' answers without a reference. This judge readsthe answers against a written reference. The correction assumes the two error profiles transfer; nothing here tests that.The last lines apply the same correction to the calibration set itself: the rates are measured on those same rows, so thatcheck shows the arithmetic, not how well the correction generalises."""import lib  # first: fixes the thread counts and seeds before anything else loadsfrom lib.calibration import (    confusion,    corrected_pass_rate,    crossover_pass_rate,    helpsteer2_judgments,    readable_verdicts,    tnr,    tpr,)from lib.judging import passedfrom lib.prompts import REF_SHA256from lib.stats import pctfrom lib.testset import load_itemsitems = load_items()  # all 120 items of the test set, dev and held-out togetherfound, unreadable = readable_verdicts("judge-answers-baseline", [item.id for item in items], REF_SHA256)details = "".join(f' ({item_id}, "{first}")' for item_id, first in unreadable)print(f"unreadable verdicts: {len(unreadable)}{details}")  # left out of the rate below, not counted as FAILpasses = int(passed(found).sum())  # found is keyed in sorted id orderobserved = passes / len(found)print(f"observed pass rate, readable items: {pct(passes, len(found))}")dev = confusion(helpsteer2_judgments("dev"))  # the only rows the correction's TPR and TNR may come fromprint(f"TPR, dev: {pct(dev.tp, dev.tp + dev.fn)}")print(f"TNR, dev: {pct(dev.tn, dev.tn + dev.fp)}")# Below this observed rate the correction lowers the rate; above it, the correction raises it.crossover = crossover_pass_rate(tpr(dev), tnr(dev))print(f"crossover point, dev: {100 * crossover:.1f}% (TPR {100 * tpr(dev):.1f}%, TNR {100 * tnr(dev):.1f}%)")corrected = corrected_pass_rate(observed, tpr(dev), tnr(dev))  # refused if TPR + TNR - 1 is below 0.1print(f"corrected pass rate: {100 * corrected:.1f}%")# The sanity check: the same correction on the calibration set, with rates measured on those same rows. It checks the# arithmetic, not transfer to the answers: it should return the human PASS rate, and it does by construction.calibration = confusion(helpsteer2_judgments())judge_rate = (calibration.tp + calibration.fp) / calibration.nprint(f"calibration set, judge PASS rate: {pct(calibration.tp + calibration.fp, calibration.n)}")print(f"calibration set, corrected judge PASS rate: {100 * corrected_pass_rate(judge_rate, tpr(calibration), tnr(calibration)):.1f}%")print(f"calibration set, human PASS rate: {pct(calibration.tp + calibration.fn, calibration.n)}")calibration_crossover = crossover_pass_rate(tpr(calibration), tnr(calibration))  # the same test, on the same rowsprint(f"crossover point, calibration set: {100 * calibration_crossover:.1f}% "      f"(TPR {100 * tpr(calibration):.1f}%, TNR {100 * tnr(calibration):.1f}%)")
出力python corrected-pass-rate.py
unreadable verdicts: 1 (q-0043, "VERDICT: PARTIAL")
observed pass rate, readable items: 76.5% (91 of 119)
TPR, dev: 80.4% (37 of 46)
TNR, dev: 61.4% (27 of 44)
crossover point, dev: 66.4% (TPR 80.4%, TNR 61.4%)
corrected pass rate: 90.5%
calibration set, judge PASS rate: 61.7% (111 of 180)
calibration set, corrected judge PASS rate: 51.1%
calibration set, human PASS rate: 51.1% (92 of 180)
crossover point, calibration set: 68.9% (TPR 81.5%, TNR 59.1%)

入力は、テスト項目のうちベースラインの回答判定器による判定であり、dev と held-out を合わせた120件すべてである。1件の返答には読み取れる判定がなかった。その最初の行が PASS でも FAIL でもなかったためである。この例はその返答を名前を挙げて出力し、率からは除外する。判定器が読み取れなかった返答は FAIL ではないからである。第5章では、コードが読み取れない判定を扱う2つの方法を説明している。それに対応する行は 1 (q-0043, "VERDICT: PARTIAL") と出力される。第1章は、合格率を集合内のすべての項目に対して定義している。ここでの率は読み取れた項目に対するものであるため、除外した1件の返答の分だけ、その定義から外れている。

読み取れた項目に対する観測された合格率は 76.5% (91 of 119) である。補正に用いるTPRとTNRは dev のものであり、補正が使ってよいのはその行だけである。dev におけるTPRは 80.4% (37 of 46) である。dev におけるTNRは 61.4% (27 of 44) である。

補正後の率は 90.5% である。補正後の率は、本書の正誤の基準のもとで、人間が合格とするであろう sablefile の返答の割合を推定したものである。これは判定器の合格率ではない。判定器の合格率は上に示した観測された率である。また、アシスタントの正確さでもない。この推定が成り立つのは、sablefile の回答に対する判定器の誤りが、HelpSteer2 の行に対する誤りと一致する場合に限られる。これが移転の仮定である。上のTPRとTNRは、参照なしの判定器が他のモデルの応答を評価した結果から得たものであるのに対し、回答判定器は sablefile の返答を参照と照らして検査する。

補正後の率は観測された率より高い。その理由は交差点から分かる。観測された率は交差点より上にあり、その領域では判定器は低く読む。この率では、判定器が真の合格を取りこぼす分が偽の合格で水増しされる分を上回るため、補正はこの率を引き上げる。

結果はコードの上限にも近い。コードは補正後の率を0から1の範囲に切り詰める。切り詰める前の値は、観測された率がTPRを上回るときにちょうど1を超える。その場合、分子が分母より大きくなるからである。ここでは、観測された率はTPRを4ポイント未満の差で下回っている。判定器が合格とした dev の PASS 行のうち2件が不合格とされていたなら、TPRは観測された率を下回り、補正後の率は100.0%と出力されるであろう。

実践ルール: 合格率の補正は、較正用の集合で測定したTPRとTNRを使う場合にのみ行う。補正後の率の横に両方を併記し、分母が小さい場合は補正を拒否し、補正が何を仮定しているかを同じ段落で述べる。次の節では、補正後の率に添えるべき区間と、1行単位の操作を示す。

1行が補正後の通過率をどれだけ動かすか

correction-sensitivity.py Python 3.12.15 · numpy 2.5.5 · pydantic 2.14.3 · typing-extensions 4.16.0 合格
"""How much the corrected pass rate of corrected-pass-rate depends on its inputs. A 95% bootstrap interval resamples both thedev calibration rows and the readable test items, with the book's fixed seed. It prints the share of resamples that reachthe 100% cap, and the corrected rate when one dev row moves TPR or TNR up or down. Only dev rows set the correction's rates."""import lib  # first: fixes the thread counts and seeds before anything else loadsfrom dataclasses import replacefrom lib.calibration import confusion, correction_interval, corrected_pass_rate, helpsteer2_judgments, readable_verdicts, tnr, tprfrom lib.judging import passedfrom lib.prompts import REF_SHA256from lib.stats import RESAMPLES, interval_pct, pctfrom lib.testset import load_itemsitems = load_items()  # all 120 items of the test set, as in corrected-pass-ratefound, _ = readable_verdicts("judge-answers-baseline", [item.id for item in items], REF_SHA256)observed = int(passed(found).sum()) / len(found)dev_rows = helpsteer2_judgments("dev")dev = confusion(dev_rows)lo, hi, capped, refused = correction_interval(dev_rows, passed(found))  # resamples the dev rows and the readable itemsprint(f"corrected pass rate, 95% interval: {interval_pct(lo, hi)}")print(f"resamples at the 100% cap: {pct(capped, RESAMPLES)}")print(f"resamples refused, TPR + TNR - 1 below 0.1: {pct(refused, RESAMPLES)}")# One dev row moved: a human PASS row judged the other way changes TPR; a human FAIL row changes TNR.moved = {    "TPR one row higher": replace(dev, tp=dev.tp + 1, fn=dev.fn - 1),    "TPR one row lower": replace(dev, tp=dev.tp - 1, fn=dev.fn + 1),    "TNR one row higher": replace(dev, tn=dev.tn + 1, fp=dev.fp - 1),    "TNR one row lower": replace(dev, tn=dev.tn - 1, fp=dev.fp + 1),}for label, counts in moved.items():    print(f"corrected, {label}: {100 * corrected_pass_rate(observed, tpr(counts), tnr(counts)):.1f}%")
出力python correction-sensitivity.py
corrected pass rate, 95% interval: [62.1%, 100.0%]
resamples at the 100% cap: 29.5% (590 of 2000)
resamples refused, TPR + TNR - 1 below 0.1: 0.1% (2 of 2000)
corrected, TPR one row higher: 86.0%
corrected, TPR one row lower: 95.5%
corrected, TNR one row higher: 91.0%
corrected, TNR one row lower: 90.0%

この例は、dev行と読み取り可能な項目の両方を、本書で固定した乱数シードを用いて2,000回リサンプリングし、補正後の通過率のばらつきを読み取る。95%区間は[62.1%, 100.0%]である。TPRとTNRがそれぞれ数十行のdev行に基づいているため、区間は広く、その上端は上限そのものである。リサンプルの一部は上限に達する。その割合は29.5% (590 of 2000)である。分母が0.1を下回るために棄却されたリサンプルは0.1% (2 of 2000)であり、区間は残りのリサンプルから求めている。

1行の変化による動きは次のとおりである。人間が合格とした1行のdev行について、ジャッジがFAILではなくPASSと判定していたとすると、TPRは1行分高くなり、補正後の通過率は86.0%になる。そのような行の1行がPASSではなくFAILと判定されていたとすると、TPRは1行分低くなり、補正後の通過率は95.5%になる。TNRについては、人間が不合格とし、ジャッジが合格とした1行のdev行を考える。それがFAILと判定されていたとすれば通過率は91.0%になり、PASSと判定されていたとすれば90.0%になる。注意すべきはTPRである。TPRでは1行で答えが4〜5ポイント動くのに対し、TNRの1行は約0.5ポイントしか動かさない。

この区間が扱うのは、dev行と読み取り可能な項目の標本抽出によるばらつきである。転移の仮定は扱わない。sablefileの返答に対する誤り方が異なるジャッジでは、通過率はリサンプルが示す以上に動きうる。

実践ルール: 補正後の通過率は、本書が率に用いるブートストラップ区間、上限に達したリサンプルの割合、および1行の変化による動きを併記して示す。これにより、読者は個々の行がどこまで影響するかを確認できる。

転移の仮定

最終変更:版2026.11.3

上記のTPRとTNRは、判定器が他のモデルの応答を、参照なしで正確性ルーブリックに従って読んだ行から得たものであり、そこでのPASSの基準はHelpSteer2のcorrectnessが3以上であることである。回答判定器は、sablefileの返答を書かれた参照と照らして読み、そこでのPASSは返答が参照と一致することを意味する。正しい辞退もPASSに数える。この二つの判定器は、何をもって正しいとするかについて、異なる問いに答えている。転移の仮定とは、人間がPASSとした行を判定器が見逃す率と、人間がFAILとした行を判定器が通す率が、sablefileの返答でもHelpSteer2の行と同じであるという仮定である。本章ではそれを検証していない。補正が成り立つのは、入力、返答、問い、PASS基準の違いが誤りの特性を変えない場合に限られる。第5章では、参照ありの判定器と参照なしの判定器の違いを整理している。

同じ例の最後の数行では、キャリブレーション用の行から取った率を使って、そのキャリブレーション行に補正を適用している。これらの行では、判定器のPASS率は61.7% (111 of 180)である。交差点は68.9% (TPR 81.5%, TNR 59.1%)であり、判定器の率はそれを下回るため、補正は率を下げる。補正後の判定器PASS率は51.1%である。人間のPASS率は51.1% (92 of 180)である。

補正後の判定器の率は、人間の率を返す。これは代数から導かれる結果であり、率が同じ行で測られているからである。この確認は、計算が正しいことを裏づけるにすぎない。補正がsablefileに当てはまるかどうかについては何も語らず、読者はこれを転移の証拠として受け取ってはならない。

より良い解決策は、この本自身の返答に対するラベルである。sablefileの返答を人が評価したことはないため、本書にはそのようなラベルがない。そうしたラベルを持つ読者は、それを使ってキャリブレーションを行い、補正の対象となる集合とは別の分割を保つべきである。本章がdevとheld-outを分けているのと同じ要領である。そうすれば転移の仮定の大部分を取り除くことができる。公開された行では、その仮定を受け入れる代わりにラベルを得ているにすぎない。

実践ルール: 補正した率のそばには、同じ段落の中で転移の仮定を書き、キャリブレーションに使った判定器と、その率が表す判定器との違いを明示する。算術の確認は、率の算出元となった行で行い、その確認は転移を検証するものではないと述べる。その率が表す回答に対する人間のラベルが存在し、判定器との照合を終えるまでは、補正した率を、仮定が成り立つ場合にのみ有効な推定値と呼ぶ。

ペアワイズ較正

ペアワイズ審査器は、各応答を合格か不合格かで判定するのではなく、二つの応答を読んで優れた方を選ぶ。人間側の基準は、あるプロンプトに対する二つの応答についての HelpSteer2 の選好である。ペアワイズ審査器には既知の弱点がある。どちらの応答が位置 A に置かれ、どちらが B に置かれるかによって、選択が左右されうるのである。第5章では、本書が各ペアを両方の順序で審査器に尋ねる理由を説明し、第7章では、位置によって生じる順序変化を分析する。本節では、両方の順序を数えたときに人間の選好との一致がどう見えるかを問う。本節が出力する順序変化の件数は第5章で出力したものと同じであり、ここでは差の理由を説明するためだけに示す。

各ペアは、HelpSteer2 のプロンプト、二つの応答、およびそれらに対する人間の選好からなる。引き分けのペアは除外したため、どのペアにも人間の選択がある。審査器が TIE と答えた場合は、人間がどちらかを選んでいるのに審査器が二つの応答を同等としたことになるので、不一致として数える。単一の順序で得られる率は審査器がどの文字を好んだかに依存するため、単一の順序だけを報告するチームは、応答の位置によって動きうる数値を報告していることになる。両方の順序を数えれば、この自由度は取り除かれるが、その代償として数値は低くなる。ペアワイズ審査器については、より厳格な方の率を報告することを推奨し、単一順序の率は両者の差を調べるための診断としてのみ読むべきである。

例を実行する前に、両方の順序で人間の選んだ応答を選んだ場合にのみ数えるペアの得点が、どちらか一方の順序だけで数えた得点より高くなるか低くなるかを予測せよ。そのうえで、その予測を出力と照らし合わせる。

pairwise-agreement.py Python 3.12.15 · numpy 2.5.5 合格
"""How often the pairwise judge's verdict agrees with the human preference on each HelpSteer2 pair, dev and held-out apart.Three rates: the A,B order alone, the B,A order alone (both mapped back to the original responses), and both orders together,where a pair counts only when both orders pick the human's response. A flipped pair (the same letter won both times) cannever count in the last rate, so the flipped count printed beside it is the number of misses that come from position.Each single-order rate uses the pairs whose verdict in that order is readable; a TIE is judged and is not a pick, so it isa miss. The interval is the 95% percentile bootstrap over pairs of the both-orders rate."""import lib  # first: fixes the thread counts and seeds before anything else loadsfrom lib.judging import both_orders, human_pairsfrom lib.stats import bootstrap_mean, interval_pct, pctAB = "judge-hs2-pairs-ab"BA = "judge-hs2-pairs-ba"pairs = human_pairs()  # all 150 pairs, sorted by id, each with its split and the human's pickorders = both_orders(AB, BA, list(pairs))  # both recordings read for every pair, sorted by idfor split in ("dev", "held-out"):    rows = [o for o in orders if pairs[o.pair_id].split == split]    human = {o.pair_id: pairs[o.pair_id].preferred for o in rows}    ab = [o.ab == human[o.pair_id] for o in rows if o.ab is not None]    ba = [o.ba == human[o.pair_id] for o in rows if o.ba is not None]    both = [o.ab == human[o.pair_id] and o.ba == human[o.pair_id] for o in rows if o.ab is not None and o.ba is not None]    flipped = sum(1 for o in rows if o.kind == "flipped")    print(f"agreement, A,B order, {split}: {pct(sum(ab), len(ab))}")    print(f"agreement, B,A order, {split}: {pct(sum(ba), len(ba))}")    print(f"agreement, both orders, {split}: {pct(sum(both), len(both))}; flipped pairs: {flipped}")    lo, hi = bootstrap_mean([float(hit) for hit in both])  # 95% interval over pairs, the level for one comparison    print(f"95% interval, both orders, {split}: {interval_pct(lo, hi)}")
出力python pairwise-agreement.py
agreement, A,B order, dev: 77.3% (58 of 75)
agreement, B,A order, dev: 73.3% (55 of 75)
agreement, both orders, dev: 65.3% (49 of 75); flipped pairs: 15
95% interval, both orders, dev: [53.3%, 76.0%]
agreement, A,B order, held-out: 74.7% (56 of 75)
agreement, B,A order, held-out: 76.0% (57 of 75)
agreement, both orders, held-out: 62.7% (47 of 75); flipped pairs: 19
95% interval, both orders, held-out: [52.0%, 73.3%]

両方の順序で数えると、一致率はどちらか一方の順序だけの場合より低くなり、その差は順序が変化したペアから生じる。dev では、A,B の順序だけで 77.3% (58 of 75)、B,A の順序だけで 73.3% (55 of 75) となる。両方の順序で数えると、より厳格な率である 65.3% (49 of 75); flipped pairs: 15 となる。

セミコロンの後の数は順序が変化したペアの数であり、例の出力では flipped と表示される。第5章の定義によれば、順序変化ペアとは、判定が応答ではなく位置に従ったペアである。順序変化ペアは両順序の率には決して数えられないため、そこでは一つ一つが不一致となる。

held-out の分割でも同じパターンが現れる。A,B の順序では 74.7% (56 of 75)、B,A の順序では 76.0% (57 of 75)、両方の順序では 62.7% (47 of 75); flipped pairs: 19 である。

ペアを単位とする両順序の率の区間は、dev で [53.3%, 76.0%] である。held-out では [52.0%, 73.3%] である。各分割のペア数が少ないため、これらの区間は広い。成り立つ読み方はパターンの方である。位置によって選択を変える審査器は、どの単一の順序においても、人間と一致しているとは読めない。

この章を終えた読者は(「章」は本章を指すので「本章」とする)、偶然を超えた審査器の一致、この標本における見逃しと誤った合格、および転移の仮定を併記した補正後の合格率を測定できる。これらの測定は sablefile の応答ではなく公開データの行に基づいており、両方の順序で数えたペアワイズ審査器であっても、位置のためにペアを失う。第7章では、本書自身の記録に対して審査器が示しうる限界を、位置から順に検証する。そこは、判定をいつ信頼するのをやめるべきかを読者が学ぶ章である。

実践ルール: 審査器が二つの応答を比較するときは、両方の順序で実行し、両方の順序で数えた一致率を順序変化ペアとともに報告する。単一順序の率を、審査器と人間との一致として読んではならない。区間はペアを単位として報告し、順序変化ペアは位置のコストであるから不一致として数えることを明記する。

この版における本章

第2026.11.3版2026年11月21日時点で例が通過この章の6 例件のうち6件が合格

英語版の書籍(版2026.11.3)から翻訳した。

この節を引用する

形式

いずれの形式も、本訳書が従う英語版の書籍を出典として示す。

いずれの形式もこの版を明示している。そのリンクは現行版を開き、節の見出しには本文が最後に変更された日付が示される。アクセス日と取得日は、これを開いた日である。

このページの内容

全11章中の第6章: 判定器の誤りを人間の評価と照らして測り、合格率を補正する

  1. 人間による評価とその性質
  2. 一致率とカッパ
  3. 真陽性率と真陰性率
  4. 合格率の補正
  5. 1行が補正後の通過率をどれだけ動かすか
  6. 転移の仮定
  7. ペアワイズ較正

ページの先頭に戻るすべての章