判定者が適用できるルーブリックを書く

読了まで約31 分分、6 節 節の 3 例 例。

第2026.11.3版 2026年11月21日時点で例が通過 54 例中 54 例が合格 変更点

AIによる翻訳。英語版は人による検証済みである。 当社の書籍の作り方

英語版の書籍(版2026.11.3)から翻訳した。 原文を読む

この章を読み終えると、判定モデルが各回答に同じ基準を適用できるルーブリックを書き、判定として読み取れないものを一切数えないコードで判定結果を読み、ペアワイズ比較や尺度がそのコストに見合う場面を説明できるようになる。

第4章は、コードでは扱えなくなる地点で終わった。チェックは回答の形式に偽りがないかを確かめ、どの節を引用しているかを示せるが、回答が何を主張しているかを読むことはできないので、その主張を参照回答と照らし合わせて読む何かが必要になる。この章ではその読み手である判定者を作る。判定者とは、回答を読み、書かれた参照回答と比較して、その回答が正しいかどうかを書くモデルである。アシスタントはコマンドラインツールである sablefile に関する質問に答えるもので、第1章で初めてこの判定者を使った。判定者は Qwen3-4B-Instruct-2507 であり、GGUF 変換版のコミット a06e946 に固定している。質問に答えるモデルと同じものなので、本書はより強いモデルでモデルを検査することはしない。判定者の応答は一度だけ記録し、この章のすべての例はその記録を読むため、数値は実行のたびに変わらない。一度も検査していない判定者による合格率を報告するチームは、判定者についての数値を報告しているにすぎず、ページの読み手は、この章で述べる検査がなければ、その二つ(判定者についての数値と回答についての数値)を見分けられない。

判定者は与えられた指示に従って動き、その指示がルーブリックである。ルーブリックは二つのテキストから成る。システムテキストは、課題、規則、回答が取るべき形式を述べる。テンプレートは、依頼、参照回答、回答をマーカーで囲み、判定者がそれらを区別できるようにする。判定者に与えられるのは文言そのものなので、ルーブリックは測定の前に置かれる注記ではなく、測定の一部である。この章では、本書がルーブリックをどのように書くか、各判定結果をどのように読むか、そしてチームがどこで選択を迫られるかを示す。

審査モデルに求めること

最終変更:版2026.11.3

審査モデルの返答はコードに渡され、コードはその最初の行を判定結果として読む。したがって、ルーブリックが求める出力の形式は、ルーブリックそのものの一部である。判定を別の形で書く審査モデルは、コードに読み取るものを何も与えていない。そのときコードがどう動くかは、後述の判定結果に関する節で述べる。

本書には五つのルーブリックがある。回答審査用のルーブリックは、sablefile に関する返答を、その質問に対して書かれた参照回答と照らして検査する。較正用のルーブリックは、参照なしで正確さを検査する。対象は HelpSteer2 の行である。これは、一般的なプロンプトに対する他のモデルの返答に人間が付けた評価の公開データセットであり、第6章で説明する。そのデータセットカードを読んだのは 2026年11月20日である。ルーブリック B は、較正タスクの第二の言い回しである。ペア比較用のルーブリックは、二つの返答のうち良いほうを選ぶ。忠実性用のルーブリックは、回答が与えられた節によって裏付けられているかどうかを検査する。各ルーブリックはテキストとして書かれてハッシュを持ち、最初の例は五つすべての名前とハッシュを出力する。ドキュメントが扱わない項目では、参照は none という語であり、返答が合格するのは辞退の文である場合に限る、とルーブリックが審査モデルに伝える。

rubric-text.py Python 3.12.15 · numpy 2.5.5 合格
"""The five rubrics the book's judges use, each with the sha256 its recording's manifest holds, and how many lines its systemtext has. The hash is the one lib.prompts.sha256_text gives for the system text and the user template together: eachrecording's manifest was made from that pair, not from the system text alone, so the check compares the pair. The firstline of each rubric is printed to show which rubric it is; the full texts are in lib/prompts.py."""import lib  # first: fixes the thread counts and seeds before anything else loadsfrom lib.prompts import (    FAITH_SYSTEM, FAITH_TEMPLATE, HS2_SYSTEM, HS2_TEMPLATE, HS2B_SYSTEM, HS2B_TEMPLATE, PAIR_SYSTEM, PAIR_TEMPLATE,    REF_SYSTEM, REF_TEMPLATE, sha256_text,)from lib.replay import ReplayModel# (the rubric's name, the recording whose manifest holds its hash, its system text, its user template)RUBRICS = (    ("answer judge, reference-guided", "judge-answers-baseline", REF_SYSTEM, REF_TEMPLATE),    ("HelpSteer2 calibration rubric, reference-free", "judge-helpsteer2", HS2_SYSTEM, HS2_TEMPLATE),    ("HelpSteer2 rubric B, second wording", "judge-helpsteer2-rubric-b", HS2B_SYSTEM, HS2B_TEMPLATE),    ("pairwise rubric", "judge-hs2-pairs-ab", PAIR_SYSTEM, PAIR_TEMPLATE),    ("faithfulness rubric", "judge-faithfulness-baseline", FAITH_SYSTEM, FAITH_TEMPLATE),)for name, recording, system, template in RUBRICS:    digest = sha256_text(system, template)    # ReplayModel raises ValueError when the recording's manifest hash is not this one, so a match is checked, not assumed.    ReplayModel(recording, digest)    print(f"{name}: {len(system.splitlines())} lines")    print(f"  sha256 of system text and template: {digest}")    print(f"  first line: {system.splitlines()[0]}")
出力python rubric-text.py
answer judge, reference-guided: 10 lines
  sha256 of system text and template: 4c409dcd59d0926646c3f8f5683da5de589e1586007dcfcf79d71a6b49e7e227
  first line: You check an AI assistant's answer about the sablefile tool against the written reference answer for the question.
HelpSteer2 calibration rubric, reference-free: 20 lines
  sha256 of system text and template: 56d617ac94b9fa5c4f0b2ce1eee17b7e0ce42c7e6b6c617edcb55a7b48d472e6
  first line: You check the correctness of an AI assistant's response to a user's request.
HelpSteer2 rubric B, second wording: 17 lines
  sha256 of system text and template: 7f512725080e8e78437603f7445a0480caaa0d2a344aa51d58d5475cba2ac384
  first line: You grade whether an AI assistant's reply to a user is right.
pairwise rubric: 13 lines
  sha256 of system text and template: 24a735e79373f7fa0b8bf1210c3e516964d93164508c666b8d333b93c27de992
  first line: You compare two AI assistant responses to the same request and say which one is better.
faithfulness rubric: 15 lines
  sha256 of system text and template: a584b8d56f63c212497fa67602f2fbd2add41823ca5895ba2bad541389970555
  first line: You check whether an answer about the sablefile tool is supported by the documentation sections it was given.

出力には、各システムテキストの最初の行と、そのテキストとそのテンプレートをあわせた内容に対するハッシュが示される。ハッシュが両方を対象とするのは、審査モデルに両方が与えられ、どちらが変わっても審査モデルの見るものが変わるからである。実行では、各ハッシュを、そのルーブリックで作成された記録に記されたハッシュと照合し、両者が異なればエラーで停止する。このため、記録を、作成時と異なるルーブリックのもとで再生することはできない。本書で数値を見た読者は、名前とハッシュによってその背後にあるルーブリックを特定でき、単語を一つだけ変えたルーブリックと区別できる。

テンプレートのマーカーは、依頼、参照、返答のそれぞれがどこから始まりどこで終わるかを審査モデルに示す。マーカーの役割はそれだけである。ルーブリック自身の指示を引用した返答が、指示として読まれてしまうことをマーカーが防ぐかどうかは、本書では検証しない。

実践ルール: 各ルーブリックは、チームが読めるテキストとして書き、それが生み出す実行結果とともにハッシュを取る。ルーブリックは最初の行で名前を付け、読者が数値の出どころとなったルーブリックを識別できるようにする。ルーブリックのテキストを変えるのは、固有の記録を持つ別のルーブリックを作る場合に限る。すでに紙面にある数値を生んだルーブリックを編集してはならない。

参照ありか参照なしか

参照ありの審査器には、質問に対する正解として書かれた答えが与えられ、返答をその答えと照らし合わせて確認する。参照なしの審査器には、リクエストと返答だけが与えられ、返答が正しいかどうかを自らの知識から判断する。参照は固定点である。参照が何が正しいかを示すため、審査器は sablefile を知っている必要がない。ただし、同じ固定点は限界でもある。審査器は参照以上に正しくなることはできず、別の言葉を使った返答、詳細を付け加えた返答、質問の一部にしか答えていない返答をどう扱うかは、ルーブリックに書いておかなければならない。

回答ルーブリックの第1の規則は、参照が述べていることを述べている返答を正解と認めるものである。返答は別の言葉を使ってもよく、参照と矛盾しない詳細を付け加えてもよい。参照が裏づけていないことを述べる返答は不正解である。第3の規則は、複数の読み方ができる参照を扱う。返答はすべての読み方に答えなければならず、部分的な答えは不正解である。さらに2つの規則が、このケースの辞退を審査器に持ち込む。参照が "none" という語であれば、ドキュメントはその質問に答えていないことになり、返答が正解となるのは、辞退の文である "The docs don't say." そのものである場合に限る。また、答えを述べたうえで辞退の文も述べている返答は不正解である。この規則が制御する2種類の誤りは第10章で測定するが、審査器はすべての返答に同じ規則を適用する。

較正ルーブリックは参照なしであるため、比較対象となる参照がないまま、何を誤りとみなすかを自ら述べなければならない。このルーブリックは、審査器に正確さのみを判定するよう指示し、審査器が採点してはならないものとして、長さ、口調、文体、書式を挙げている。また、虚偽の主張をしていない返答は、不完全であっても、追加の情報を求めるものであっても、不正解ではないと述べている。この一文は決定である。HelpSteer2 は複数の属性を評価し、正確さはその1つである。ルーブリックは正確さだけを挙げているので、この問いは審査器に任されるのではなく、ルーブリックの中で定められる。審査器のこの狭められた答えが人間の評価とどの程度一致するかは、第6章で測定する。

参照が誤っていると、審査器は正しい返答を不合格にするが、判定にはその兆候が現れない。誤りが参照にあるのに、チームは不合格の増加をアシスタントの劣化と読んでしまう。不合格率を読む前に、不合格の標本を参照と突き合わせて読む。

実践ルール: 参照がある集合では必ず参照を使い、回答ルーブリックと同様に、参照が空の場合の規則をルーブリックに書き込む。参照なしのルーブリックを使うのは、参照が存在しない場合に限る。その本文には、長さ、口調、不完全さなど、審査器が返答の減点に数えてはならないものを明記し、その選択を審査器ではなくルーブリックが行うようにする。

合格・不合格か、尺度か

最終変更:版2026.11.3

合格・不合格のルーブリックは、判定者に2つの答えを与える。尺度は、判定者に複数の答えを与える。HelpSteer2の人手による評価は0から4の尺度で付けられており、尺度は「はい」か「いいえ」よりも多くの情報を持つように見えることがある。しかし、そのコストは境界にある。判定者は、ある点と次の点を見分けなければならず、チームは各点が何を意味するかを定め、そのうえで判定者の付ける点が人手の点と一致することを確かめなければならない。合格・不合格は、応答1件につき1つの判定を求める。本書のあらゆる率は、そのような判定の率である。

回答用のルーブリックと2つの較正用ルーブリックは、いずれも合格・不合格で判定する。この章のための調査では、2値の人手ラベルを用いて尺度と合格・不合格を比較した研究を探したが、見つからなかった。したがって、この選択は出典から得られた知見ではなく本書の設計であり、読者は設計として評価すべきである。

本書が問うのは応答が正しいかどうかであり、この問いの答えは2つである。応答は、ほぼ正しくても、1つの事実や1つのコマンドで誤っていることがある。尺度であれば、そのような応答に中間の評点を与えることになり、チームは何らかの率を読み取る前に、その評点を「はい」か「いいえ」に変換しなければならない。合格率とは、判定者が合格とした項目が、集合内の全項目に占める割合であり、適切な辞退は合格として数える。これは第10章で説明したとおりである。尺度を用いる場合は、平均のような別の要約が必要になるが、平均はどの応答がどの点に位置しているかを隠してしまう。辞退を扱う項目で考えてみる。応答は辞退するか、しないかのどちらかである。尺度では、辞退したうえで推測を付け加えた応答に、判定者が中間の評点を与えることができてしまう。これは第10章が誤りとして数える応答であり、チームは尺度のどちら側を合格とするかを、さらに決めなければならない。

実践ルール: 正しさについて「はい」か「いいえ」が必要なときは合格・不合格を用い、報告するのはそのような判定の率だけとする。尺度を用いるのは、各段階がチームの行動につながる意味を持ち、かつ判定者を照合できる人手の評価が各段階に存在する場合に限る。チームがどちらの形式を選んだか、そしてその理由を本文に明記すること。この選択が、チームの報告するすべての率を決めるからである。判定者を人手の評価とどう比較するかは、第6章で示す。

答えは一つか二つか

ペアワイズ判定では、同じ依頼に対する二つの応答を審査役に示し、どちらが優れているかを尋ねる。絶対的な評点を定めにくいときに、二つの版のどちらかを選ばなければならないチームに向いている。ペアワイズ用のルーブリックは、審査役に A か B のいずれかの文字を答えさせ、引き分けは認めない。その代償は位置である。各応答にはプロンプト中で最初か二番目かという位置があり、審査役を調べた研究は、順序だけで選択が決まりうると報告している。それらの研究は他の審査役を各自の設定で測定したものであり、本書はその比率を自分のものとして採用しない。7章でそれらを概観し、この審査役における偏りを測定する。

ペアワイズの審査役には定義すべき尺度の段階がなく、二つの応答のどちらが優れているかを答えるだけでよい。これは二つの版から選ぶチームが問うことそのものである。それでも、7章が一貫したペアについて行うように、人間の選好との照合は必要である。代償は位置という形で支払われる。この節がすべてのペアを二回ずつ判定するのはそのためである。

ペアワイズの例では、HelpSteer2 の人間による選好ペアを用いる。各ペアを二回判定する。一回目は第一の応答を A として示し、二回目は第二の応答を A として示す。次に各判定を、それが選んだ応答に対応づけ直し、二つの順序を比較できるようにする。両方の順序で同じ応答が勝つとき、そのペアは一貫している。両方の順序で同じ文字が勝つときは、位置が判定を決めたことを意味し、そのペアは順序変化とする。例の出力ではこれを flipped と呼ぶ。引き分けと判読不能は、残る二つの種類である。

pairwise-both-orders.py Python 3.12.15 · numpy 2.5.5 合格
"""How the pairwise judge's verdict on each HelpSteer2 preference pair depends on which response is shown as A. Each pair isjudged twice, once as ab (response_a shown as A) and once as ba (response_b shown as A), and both verdicts are mapped backto the original responses. A flipped pair picked the same letter both times, so its verdict followed the position: theflipped lines, on dev and on held-out, are the ones the point rests on.Only the pair IDs of the examples are printed; the counts are the rates the chapter quotes."""import lib  # first: fixes the thread counts and seeds before anything else loadsfrom lib.judging import KINDS, both_orders, human_pairsfrom lib.stats import pctAB = "judge-hs2-pairs-ab"BA = "judge-hs2-pairs-ba"pairs = human_pairs()  # all 150 pairs, sorted by id, each with its splitorders = both_orders(AB, BA, list(pairs))  # the two recordings, read for every pair, sorted by idfor split in ("dev", "held-out"):    in_split = [p for p in pairs if pairs[p].split == split]    for kind in KINDS:        # the rate's denominator is the split's pairs, so a kind with no pairs still prints as 0 of that count        n = sum(1 for o in orders if o.kind == kind and pairs[o.pair_id].split == split)        print(f"{kind}, {split}: {pct(n, len(in_split))}")for kind in KINDS:    picked = [o.pair_id for o in orders if o.kind == kind][:3]  # the first three in id order    print(f"examples, {kind}: {', '.join(picked) if picked else 'none'}")
出力python pairwise-both-orders.py
consistent, dev: 80.0% (60 of 75)
flipped, dev: 20.0% (15 of 75)
tie, dev: 0.0% (0 of 75)
unreadable, dev: 0.0% (0 of 75)
consistent, held-out: 74.7% (56 of 75)
flipped, held-out: 25.3% (19 of 75)
tie, held-out: 0.0% (0 of 75)
unreadable, held-out: 0.0% (0 of 75)
examples, consistent: hs2-pref-0001, hs2-pref-0002, hs2-pref-0005
examples, flipped: hs2-pref-0003, hs2-pref-0004, hs2-pref-0012
examples, tie: none
examples, unreadable: none

記録すべきは勝者の数ではなく、順序変化の数である。dev 分割では、順序によって判定が変わったのは次の件数であった。

20.0% (15 of 75)。

id 順で最初に現れる順序変化のペアは hs2-pref-0003, hs2-pref-0004, hs2-pref-0012 である。引き分けは三つ目の種類であり、dev での件数はゼロである。

0.0% (0 of 75)。

構文解析器は A と B のほかに TIE の行も読むため、TIE と答えた応答は、判読不能ではなく引き分けとして数えられる。ただしペアワイズのルーブリックが求めるのは A か B だけであり、dev には TIE と答えた応答がない。引き分けの件数がゼロになるのはそのためである。

順序変化のペアでは判定が位置に従っているので、どちらの応答が優れているかについては何も語らない。一方の順序だけを見た読者は、そのペアを一方の応答の勝ちと数えてしまう。どの位置が勝つのかという問題は7章の主題である。この章が示すのは、順序が一つでは足りないという点だけである。

実践ルール: すべてのペアを両方の順序で判定し、数える前に各判定をそれが選んだ応答に対応づけ直し、勝者の数の隣に順序変化の数を報告する。順序変化のペアは選好なしとして数え、比較の決定には用いない。ある集合で順序変化の数が多いなら、その比較が測っているのは位置であり、一方の順序でサンプルを増やしても解決しない。

この部分はまだ翻訳されていないため、英語で表示している。

Verdict first

The rubric asks for the verdict on the first line and one short sentence of reason on the next. The code reads only the first non-empty line. The check is short: one line has to hold the verdict, and a reply that does not begin with a verdict is not read as one. The reason comes after the verdict, so the reader and the code can both see the pick before the explanation.

parse_verdict returns PASS or FAIL when the first non-empty line is exactly that verdict, and it ignores asterisks or backticks around the line. Anything else returns nothing, and that is an unreadable verdict. It is not a FAIL. A FAIL means the judge judged the answer wrong, and an unreadable verdict means the judge gave no judgment at all. The code has two readers of verdicts, and they treat an unreadable verdict differently. verdicts in lib/judging.py stops with an error, so a run that reads through it cannot count the reply as a FAIL. readable_verdicts in lib/calibration.py prints each unreadable reply and leaves it out of the verdicts, and so out of the denominator. Most examples that report a rate read through it. A rate that leaves replies out prints their count beside it.

Fixed replies go through the parser, one line of output each, which prints the verdict, or the label refused for a reply with no readable verdict.

parse-verdicts.py Python 3.12.15 · numpy 2.5.5 合格
"""What lib.contract.parse_verdict accepts and refuses: the verdict on a reply's first non-empty line, PASS or FAIL in capitals,after optional emphasis marks. Each fixed reply below prints one line, the verdict or 'refused'. A refusal is not a FAIL:the judge has not given a verdict, and the evaluation counts that as an error, not a failed answer."""import lib  # first: fixes the thread counts and seeds before anything else loadsfrom lib.contract import parse_verdictCASES = (    ("verdict first, PASS", "VERDICT: PASS\nReason: The answer matches the reference."),    ("verdict first, FAIL", "VERDICT: FAIL\nReason: The answer gives a different version number."),    ("emphasis around the line", "**VERDICT: FAIL**\nReason: The answer gives a different version number."),    ("backticks around the line", "`VERDICT: PASS`\nReason: The answer matches the reference."),    ("blank lines before the verdict", "\n\nVERDICT: PASS\nReason: The answer matches the reference."),    ("no space after the colon", "VERDICT:PASS\nReason: The answer matches the reference."),    ("two verdict lines, first one read", "VERDICT: FAIL\nVERDICT: PASS\nReason: Two verdicts."),    ("lower case", "VERDICT: pass\nReason: The answer matches the reference."),    ("title case", "Verdict: PASS\nReason: The answer matches the reference."),    ("PARTIAL", "VERDICT: PARTIAL\nReason: Half of the answer matches."),    ("verdict after a reason", "Reason: The answer matches the reference.\nVERDICT: PASS"),    ("full stop after the verdict", "VERDICT: PASS.\nReason: The answer matches the reference."),    ("words after the verdict", "VERDICT: PASS, mostly correct\nReason: The answer matches the reference."),    ("bullet before the verdict", "- VERDICT: PASS\nReason: The answer matches the reference."),    ("pairwise letter", "VERDICT: A\nReason: Response A is better."),    ("bare word", "PASS\nReason: The answer matches the reference."),    ("empty reply", ""),    ("blank lines only", "  \n\n   "),)for label, raw in CASES:    verdict = parse_verdict(raw)    print(f"{label}: {verdict if verdict is not None else 'refused'}")
出力python parse-verdicts.py
verdict first, PASS: PASS
verdict first, FAIL: FAIL
emphasis around the line: FAIL
backticks around the line: PASS
blank lines before the verdict: PASS
no space after the colon: PASS
two verdict lines, first one read: FAIL
lower case: refused
title case: refused
PARTIAL: refused
verdict after a reason: refused
full stop after the verdict: refused
words after the verdict: refused
bullet before the verdict: refused
pairwise letter: refused
bare word: refused
empty reply: refused
blank lines only: refused

The first lines of the output show the forms the parser accepts. A verdict on the first line is read, and so is one with asterisks or backticks around it, blank lines above it, or no space after the colon. When two verdict lines appear, the parser reads the first, so a reply that says FAIL and then PASS is read as FAIL.

The unreadable lines matter most for a rubric. Lower case, title case and a PARTIAL verdict are all unreadable. So are a verdict placed after the reason, a full stop or extra words after PASS, a bullet in front of the verdict, a pairwise letter sent to a pass-or-fail rubric, a bare PASS with no label, an empty reply, and a reply of blank lines. Each unreadable form is a reply written in a shape the rubric did not ask for. A parser that guessed at what the judge meant would be reading the judge's intent, not its verdict.

The sentence to keep from this example is that a reply the parser cannot read is not a failed answer. It is a reply with no verdict, and no rate in this book turns it into a PASS or a FAIL. The book's advice is to print the unreadable count on each split. A split with more unreadable replies than the other is one the judge formats differently, which is worth finding out before the rate is read, since it may say more about the judge than about the assistant.

Working rule: Read the first non-empty line only. Never map an unreadable verdict to PASS or FAIL. Say in each rate what the run does with an unreadable verdict, whether it stops or leaves the reply out, and print the count beside any rate that leaves replies out. Check the parser on the replies the judge actually wrote, since a rubric that works on a sample can still lose verdicts to a format it did not ask for.

dev での文言の調整

最終変更:版2026.11.3

ルーブリックの文言は設定の一つであり、チームは判定器がラベルとよりよく一致するまで文言を調整しようとする。危険なのは、その後で報告する数値そのものを使って調整してしまうことである。本書では項目を二つの分割に分けている。Devは文言を調整するための分割である。held-out は、文言を固定したあとで、章が報告する比較ごとに一度だけ実行する。文言の選択に使われた held-out 分割は、もはやその文言を検証するものではない。held-out の項目でルーブリックを調整すると、報告される一致度は調整の成果を測るものになり、その一致度は判定器について何も語らなくなる。

調整に先立って、チームはセットに含まれる項目の種類ごとに規則をルーブリック自身の言葉で書き下す。何が合格で、何が不合格か、そして辞退にどれだけの価値があるかを定める。そのうえで、ルーブリックが誤判定した dev の返答を一件ずつ読み、規則が扱っていない抜け(ギャップ)を返答が示している場合にだけ文言を変更する。一つの返答に合わせて行った変更はルーブリックの変更であり、独自の記録を必要とする。

第1章の回答ルーブリックは凍結されている。その記録には、そのルーブリックを作った文言のハッシュが保存されている。一語を変えればハッシュが変わり、リプレイは記録を拒否する。したがって、変更するということは、回答判定器の実行全体を、変更後の文言のもとで、すべての返答について記録し直すことを意味する。本書はこのルーブリックを調整しない。調整したい読者は、すべての返答を再記録することを覚悟しておくべきである。

ルーブリック Bは較正タスクの第二の文言であり、HelpSteer2 上で記録されている。較正ルーブリックは、偽の主張を含まない返答を「not incorrect」とする。ルーブリック B はそのような返答を「right」とし、較正ルーブリックが「correct」と「incorrect」を使うところで「right」と「wrong」を使う。ルーブリック B はまた、較正ルーブリックにある二つの点、すなわち返答が誤解を招いてはならないこと、および自信の強さを評価してはならないことを省き、判定器が採点してはならないものの中から書式を外している。その指示の段落と返答の形式は次のとおりである。このルーブリックには作り物の例が二つあるが、本章では省略する。それらはハッシュの対象となるテキストの一部である。

You grade whether an AI assistant's reply to a user is right.

A reply is right when every fact it states is true, every calculation or result in it is correct, and any code or reasoning in it works. Mark it wrong when any of those fail, or when it answers a different question from the one asked. A reply that makes no false claim is right, even when it is short, asks a question back, or leaves something out. Do not grade style, length or tone.

Reply in this form: on the first line, write exactly VERDICT: PASS if the reply is right, or VERDICT: FAIL if it is wrong. Then, on the next line, one short sentence of reason.

この例は、ルーブリック B のハッシュを他の四つと並べて出力するので、読者は二つの較正用文言を区別できる。本章ではテキストとハッシュだけを示し、ルーブリック B が人間の評価とどれだけ一致するかは第6章で報告する。

本章では次の決定を行った。

  • 判定器は最初の空でない行だけを読む。それ以外の返答は読み取れない判定であり、FAIL にはならない。判定を読む二つのコードパスは前述のとおりである。
  • すべてのルーブリックは記録とともにハッシュ化され、変更されたルーブリックは新しい記録をもつ新しいルーブリックとなる。
  • すべての評価は合格か不合格かで行う。尺度は用いない。本書には、各段階で尺度を照合できるだけの人間による評価がないためである。
  • ペアワイズ判定器は両方の順序で実行し、順序を入れ替えると結果が変わったペアを、勝者の数とあわせて報告する。

実践ルール: held-out で何かを実行する前に文言を書き下し、調整は dev でのみ行う。文言を変更せざるを得ないときは、独自の記録とハッシュをもつ別のルーブリックとして作る。各数値は、それを生んだ文言のハッシュとともに報告し、二つの文言が一つのものとして読まれないようにする。

この版における本章

第2026.11.3版2026年11月21日時点で例が通過この章の3 例件のうち3件が合格

英語版の書籍(版2026.11.3)から翻訳した。

この節を引用する

形式

いずれの形式も、本訳書が従う英語版の書籍を出典として示す。

いずれの形式もこの版を明示している。そのリンクは現行版を開き、節の見出しには本文が最後に変更された日付が示される。アクセス日と取得日は、これを開いた日である。

このページの内容

全11章中の第5章: 判定者が適用できるルーブリックを書く

  1. 審査モデルに求めること
  2. 参照ありか参照なしか
  3. 合格・不合格か、尺度か
  4. 答えは一つか二つか
  5. Verdict first
  6. dev での文言の調整

ページの先頭に戻るすべての章