モデルを選ぶ前にルーティングタスクを測定する
読了まで約30 分分、5 節 節の 3 例 例。
この章を終えると、本書の各サンプルが何のためにあるのかを説明でき、ルーターを評価する三つの指標を分母とともに計算でき、一度だけ記録して以後のすべての比較に再利用するベースラインを読めるようになる。
現在、銀行のサポート受付窓口に届くメッセージは、ホスト型モデルが振り分けている。本書のルーターは、銀行が自前で運用することを想定した小さなオープンモデルである。問われているのは、このモデルが自身の引き受けるメッセージについてホスト型モデルに匹敵できるか、そしてメッセージに自信がないときにそれを示せるかという点である。どのモデルを比較するにしても、その前に、固定されたデータ、固定されたサンプル、固定された指標が必要になる。そうでなければ、よく似た二つの数値が、異なるメッセージから得られたものであったり、異なる件数で割られたものであったりしかねない。
本書はホスト型モデルを呼び出さないので、代役としてより大きなオープンモデルである Qwen3-4B-Instruct-2507 を使う。その回答は、第三者が公開した 4 ビットの Q4_K_M GGUF 変換版を、固定したリビジョンで用いて得たものであり、回答は 77 個のチーム名に限定している。このモデルはすべてのテストメッセージに一度ずつ回答し、その回答を一度だけ記録する。例題はこの回答をオフラインで読み込むので、誰でも再現できる。自分のモデルを持つ読者は、第 1 章に示すとおり、同じ方法でそのモデルの回答を記録できる。
データとそのライセンス
ルーターの学習と評価には BANKING77 を用いる。BANKING77 は、銀行業務の分野における顧客対応の問い合わせを集めた公開データセットである(Casanueva et al., 2020)。各メッセージには 77 個のラベルのうち 1 つが付いている。BANKING77 ではこのラベルを意図(intent)と呼ぶ。本書では、これが受信箱の担当チームに当たる(1章)。
Casanueva et al. (2020) は、このデータセットを Efficient Intent Detection with Dual Sentence Encoders で紹介している。この論文は Proceedings of the 2nd Workshop on Natural Language Processing for Conversational AI の 38–45 ページに掲載されている(Anthology ID 2020.nlp4convai-1.5、arXiv 2003.04807)。論文のアブストラクトは、このデータセットを単一の分野からなる難易度の高いデータセットとして説明している。13,083 件のラベル付きの例と 77 の意図を持つと述べている。論文の第 3 節も、BANKING 77 と名付けた銀行分野のデータセットについて同じ件数を示している。データカードには、ファイルの取得元のコミットが記載されている。2 つのファイルには、合わせて同じ 13,083 件のメッセージが収められている。次の節でこの件数を数える。
データカードには、本書が前提とする事実も記されている。ファイルは取得元が定めた学習用とテスト用の分割をそのまま複製したものであり、分割をやり直してはいない。また、すべてのチームが両方のファイルに現れる。学習用ファイルで学習したルーターをテスト用ファイルで評価すれば、本書が選んだ分割ではなく、取得元が定めたホールドアウトのメッセージで評価したことになる。
ライセンスは CC BY 4.0 である。データと並ぶ LICENSE ファイルは「Attribution 4.0 International」で始まる。このライセンスの下では、出典を明記すれば、データを共有し、改変できる。本書はライセンスファイルをデータと並べて置き、引用情報をデータカードに記載する。そのため、ファイルを再利用する読者は、ライセンスが求めるものを手にしている。
メッセージは公開されたままの状態で扱う。どの例もメッセージの本文を出力せず、どの章もメッセージを引用しないので、メッセージの内容が紙面に載ることはない。例がデータから出力するものは、すべて件数か比率である。
実践ルール: ライセンスファイルをデータと並べて置き、論文の引用情報をデータカードに記載し、メッセージの本文は出力せず件数だけを出力する。実際の顧客メッセージからなるデータセットを再利用する場合は、そこから何かを出力する前にそのデータカードを読み、データが文書化されている場所に出典を明記する。
開発用・テスト用・固定サンプル
元の分割にある二つのファイルだけでは足りない。ルーターには、調整に使うメッセージ、結果の報告に使うメッセージ、そして例を数秒で実行できる小さな集合が必要である。これらはいずれも事前に固定しておかなければならない。固定しておかないと、後の結果が、モデルの違いではなくサンプルの違いによって説明されてしまうことがある。
開発用分割(dev)は訓練ファイルから切り出し、テストファイルからは決して切り出さない。本書は、カテゴリファイルの順に各チームについて、そのチームの訓練メッセージの約十分の一を固定した乱数シードで抽出し、その行番号をexamples/data/banking77/samples.jsonにコミットする。dev に含まれない訓練メッセージが、モデルの学習に使うものである。抽出はチームごとに行うため、各チームの dev での割合は訓練ファイルでの割合に従い、訓練メッセージの少ないチームでも dev での割合がゼロにはならず、小さいながら残る。
テスト用分割は、元データが持つ保留済みのファイルそのものである。本書はここから層化サンプルを一つ抽出する。各チーム13件で、合計は1001件になる。このサンプルは、dev の抽出と同じ乱数生成器を、その続きから使って一度だけシャッフルし、シャッフル後の順序をコミットする。この順序の接頭辞三つに名前を付ける。シャッフルしたテストサンプルの先頭40件がtest_40、先頭200件がtest_200、サンプル全体がtest_1001である。シャッフルしたサンプルの接頭辞はランダムな抽出になるので、test_40ではメッセージがチームの順に並ぶことはない。
件数はコミット済みのサンプルから得られ、本書が引用するのもそれだけである。その最初の例である count-the-splits は、すべての dev の行番号が一意で訓練ファイルの範囲内にあること、したがってすべての dev メッセージが訓練の行であること、そしてtest_40とtest_200がそれぞれtest_1001の先頭40件と先頭200件であることも検査する。
最初に確認すべきは、各分割の大きさと、チームがその中にどれだけ不均一に分布しているかである。数えるのにモデルは要らないので、読者は最初にこれを実行できる。訓練ファイル、テストファイル、dev サンプルを読み込み、分割ごとに数える。
1"""Count each BANKING77 split and its messages per team, and check the committed samples; no model runs.23The prose's point rests on the four "per label" lines for the test and training files.4"""56import os78os.environ["HF_HUB_OFFLINE"] = "1"9os.environ["TRANSFORMERS_OFFLINE"] = "1"1011import torch # noqa: E4021213torch.set_num_threads(2)1415import router_lib # noqa: E40216from collections import Counter # noqa: E4021718router_lib.setup_runtime()1920train = router_lib.read_rows("train")21test = router_lib.read_rows("test")22dev = router_lib.read_sample("dev") # dev row numbers index train.csv, never test.csv2324assert len(set(dev)) == len(dev), "dev indices repeat"25assert max(dev) < len(train), "dev indices fall outside train.csv"2627train_per_label = Counter(label for _, label in train)28test_per_label = Counter(label for _, label in test)2930test_1001 = router_lib.read_sample("test_1001") # committed order: prefixes are the first n of it31test_40 = router_lib.read_sample("test_40")32test_200 = router_lib.read_sample("test_200")33# test_40 and test_200 are prefixes of the shuffled order, not new draws34assert test_1001[:40] == test_40, "test_40 is not the first 40 of test_1001"35assert test_1001[:200] == test_200, "test_200 is not the first 200 of test_1001"36sample_per_label = Counter(test[i][1] for i in test_1001) # rows are (text, label index); [1] is the label3738train_counts = [train_per_label[i] for i in range(len(router_lib.LABELS))] # one entry per team, so a team with no rows counts 039test_counts = [test_per_label[i] for i in range(len(router_lib.LABELS))]40sample_counts = [sample_per_label[i] for i in range(len(router_lib.LABELS))]4142print(f"train rows: {len(train)}")43print(f"dev rows: {len(dev)}")44print(f"test rows: {len(test)}")45print(f"labels: {len(router_lib.LABELS)}")46print(f"test per label min: {min(test_counts)}")47print(f"test per label max: {max(test_counts)}")48print(f"train per label min: {min(train_counts)}")49print(f"train per label max: {max(train_counts)}")50print(f"test_1001 per label min: {min(sample_counts)}")51print(f"test_1001 per label max: {max(sample_counts)}")
python count-the-splits.pytrain rows: 10003
dev rows: 1003
test rows: 3080
labels: 77
test per label min: 40
test per label max: 40
train per label min: 35
train per label max: 187
test_1001 per label min: 13
test_1001 per label max: 13
テストファイルは均一で、どのチームも件数が同じである。一方、訓練ファイルは均一ではなく、チームごとの件数は35件から187件に及ぶ。この開きがあるため、dev の抽出はファイル全体から無作為に十分の一を取るのではなく、チームごとに行う。テストファイルの最少と最多である40と40は等しい。
層化サンプルも同様に均一で、チームあたり13件から13件である。
テストファイルが均一であるのは元データの性質であり、本書はそれに依拠している。チームごとの件数が等しいので、テスト用分割は、最大のチームで良い成績を出すルーターを高く評価しない。件数が不均一なサンプルで好成績を収めるルーターは、実際以上に良く見えることがある。スコアの大半が、メッセージ数の最も多いチームから来るからである。
第5章では、人への引き継ぎのしきい値を dev で選び、その選択をアダプターのマニフェストに記録する。この選択の根拠となる規則は、dev で調整し、test では決して調整しないことである。プロンプト、モデル、レシピは、テスト結果を読む前に固定し、結果を見たからといって変更することはない。テスト結果は、上記の固定サンプルで、報告のために一度だけ読む。
本番環境の受信箱でも同じ規則が成り立つ。受信箱にすでにあるメッセージから抽出した dev 集合を保持し、ルーターの調整中は誰も読まないテスト集合を別に保持する。調整中に読まれてしまったテスト集合は、見かけ上は依然としてテスト集合だが、新しいことを何も測らなくなる。後でそれを使って測定されたルーターは、その後に流入するトラフィックでの実際の性能よりも良く見える。
実践ルール: dev は訓練の行からのみ、チームごとに、固定シードで抽出し、その行番号をコミットする。テストサンプルはそれぞれ一度だけ抽出し、その順序をコミットし、報告のためにのみ読む。しきい値、プロンプト、設定はすべて dev で選ぶ。dev が小さすぎて判断できないときは、dev のメッセージを訓練ファイルからさらに抽出し、テストファイルからは決して抽出しない。
三つの指標とそれぞれの分母
samplesは、どのメッセージを採点するかを定める。指標は、何を数えるかを定める。チーム、確信度、引き継ぎフラグを返すルーターは三通りに採点でき、それぞれが、そのルーターを運用する銀行にとって異なる問いに答える。
正解率は、ルーターの返すチームが正しい頻度を問う。引き継ぎ率は、人がメッセージを読まなければならない頻度を問う。引き継がれなかったメッセージの正解率は、ルーターが自ら扱うメッセージのうち正しい頻度を問う。各問いにはそれぞれ固有の分母があり、本書ではすべての出力行でこの三つを区別して示す。確信度とは、ルーターが自らのチームに与える確率である。しきい値とは、それを下回るメッセージが引き継がれる値であり、いずれも第1章の定義に従う。
| 指標 | 数えるもの | 割る数 |
|---|---|---|
| 正解率 | チームが正解チームと等しいメッセージ | サンプル内の全メッセージ |
| 引き継ぎ率 | 確信度がしきい値を下回るメッセージ | サンプル内の全メッセージ |
| 引き継がれなかったメッセージの正解率 | 引き継がれなかったメッセージのうち正しいもの | 引き継がれなかったメッセージ |
サンプルのメッセージ数を N とすると、式は次のとおりである。正解率 = 正解数 / N、引き継ぎ率 = 引き継ぎ数 / N、引き継がれなかったメッセージの正解率 = 保持したもののうちの正解数 / 保持数。ここで保持数 = N − 引き継ぎ数である。
候補間でこれらの指標を比較可能にする規則が二つある。第一に、引き継がれたメッセージも正解率の分母に含め、そのチームが誤りであれば不正解として数える。正解率だけでは引き継ぎは評価されない。引き継がれたメッセージが正解と採点されるのは、そのチームが正しい場合に限られるからである。引き継がれなかったメッセージの正解率は、単独で見ると引き継ぎの代償を隠す。人に回ったメッセージを、まさに除外しているからである。その代償を示すのが引き継ぎ率である。三つの数値は合わせて読む必要があり、そのうち一つだけが優れているルーターは、まだ全体として優れているとは示されていない。
第二の規則は出力に関するものである。すべての率は百分率で小数第1位に丸め、件数と並べて出力する。そうすれば読者は手計算で割って率を確かめられる。件数のない率は確かめられない。分母なしで出力された率は、サンプルが分からない形で引用されうる。
第三の指標の分母が0のとき、その指標は定義されない。すべてのメッセージが引き継がれ、保持されたメッセージが一つもない場合がこれにあたる。この場合、本書はベースラインの節に示すとおり「not defined」と出力し、0とは出力しない。0と出力すると、保持されたメッセージがまったくないのに、保持されたメッセージがすべて誤りだったと述べることになるからである。
これらの指標はラベルを採点するものである。本章のスクリプトと、第1章および第4章の測定は、採点のためだけにチームを返し、呼び出し元には何も返さない。呼び出し元にチームを返すルーターは、第1章で導入した引き継ぎ規則を通してそうする。それにより、しきい値を下回るメッセージはチームではなく人に渡される。
運用では、最初に変化する指標は引き継ぎ率である。メッセージの構成は、季節、製品の発売、あるいは受信箱を一種類の問い合わせで埋める障害によって変わる。正解率が保たれていても、ルーターは開発用分割の予測よりはるかに多くのメッセージを引き継ぐことがありうる。それを知る唯一の方法は、ルーターが実際に受け取るトラフィックについて、率を件数とともに出力することである。
実践ルール: 三つの指標のそれぞれを件数と分母とともに出力し、すべての率を小数第1位に丸める。引き継がれなかったメッセージの正解率は、必ず引き継ぎ率と並べて報告し、単独では報告しない。保持されたメッセージが一つもない場合は、0ではなく「not defined」と出力する。
記録された回答によるベースライン
測定値は、何かをそれに対して採点して初めて意味を持つ。ベースラインとは、test_1001 に対するスタンドインのスコアである。この標本は、10章の最終比較で用いられる。後の章では、この標本の接頭部分である test_40 と test_200 で候補を採点する。これらは、同じ固定標本の先頭 40 件と先頭 200 件のメッセージである。各接頭部分は同じ記録から採点されるので、その上でのベースラインは、同じメッセージに対する同じ回答である。
スタンドインは test_1001 の各メッセージに一度ずつ回答した。回答は記録 examples/data/recorded/standin-baseline/answers.jsonl に保存されており、各回答はチーム名と、その対数確率を含む。記録の隣にはマニフェストがある。マニフェストには、記録を作成したスクリプト、モデルとそのピン留めされたリビジョン、プロンプトのハッシュ、デコード設定とシード、そして回答ファイルのハッシュが書かれている。コードは、1 行を読む前に回答ファイルをこのハッシュと照合する。そのため、ファイルが変更されていればスコアが変わるのではなく、実行が失敗する。
記録は、実行されるのではなく読み込まれる。ベースラインを使うすべての例が同じ回答を読むので、記録を作成したランタイムが後で更新されても、ベースラインは実行ごとに変わらない。各例でモデルを呼び出さずに記録を用いる理由は、ピン留めが存在する理由と同じである。記録は、ある一つのリビジョンの一つのモデルの回答を固定するので、後で同じ例を実行した読者にも同じ数値が表示される。本書はホスト型 API を一切呼び出さない。ホスト型モデルの回答は、同じようには固定されないからである。スタンドインは誰でも実行できるオープンモデルであり、その記録が、本書がスタンドインの回答を得る唯一の経路である。
ベースラインは上限でもない。ベースラインは、同じメッセージ上で候補が上回るべきスコアであり、それだけではハンドオフのトレードオフについて何も語らない。精度でベースラインを上回る候補でも、サポート担当者が読み切れないほど多くのメッセージをハンドオフするかもしれない。したがってベースラインは、常に三つの測定値と並べて読み、単一の数値として読むことはない。
仮のしきい値にはどれだけのコストがかかるのか。test_1001 上で三つの測定値により採点すると、スタンドインについて、0.5 というしきい値で何件のメッセージがハンドオフされ、残りでどれだけの頻度で正解するかが分かる。その確信度は、llama-cpp-python が制約付きの回答に対して返す確率であり、記録された対数確率の exp である。このしきい値は 1 章の仮のものなので、そのハンドオフ率は本書の最終的なものではない。実際のしきい値は、5章が dev 上で選ぶ。この例では、すべての確信度を上回るしきい値も適用する。このしきい値では、すべてのメッセージがハンドオフされる。
1"""Score the stand-in's recorded answers on test_1001 with the three measures, at chapter 1's placeholder threshold and at one above every confidence; no model runs. The point rests on the accuracy and hand-off lines, and the answers' hash is checked first.2"""34import hashlib, json, math, os56os.environ.update(HF_HUB_OFFLINE="1", TRANSFORMERS_OFFLINE="1")78import torch # noqa: E402910torch.set_num_threads(2)1112import router_lib # noqa: E4021314router_lib.setup_runtime()1516PLACEHOLDER = 0.5 # Chapter 5 chooses the real threshold on the dev split.17ABOVE_ALL = 1.01 # Confidence is at most 1.0, so this hands off every message.18RECORDED = router_lib.HERE / "data" / "recorded" / "standin-baseline"19manifest = json.loads((RECORDED / "manifest.json").read_text())20raw = (RECORDED / "answers.jsonl").read_bytes()21assert hashlib.sha256(raw).hexdigest() == manifest["output_sha256"]["answers.jsonl"]2223answers = {row["index"]: row for row in map(json.loads, raw.decode().splitlines())} # keyed by test.csv row, not by sample position24rows = router_lib.read_rows("test")25sample = router_lib.read_sample("test_1001")26golds = [rows[i][1] for i in sample] # in the sample's committed order, so position k of each list is one message27preds = [answers[i]["label"] for i in sample]28# Confidence is the probability llama-cpp-python returns for the constrained answer: exp of its log-probability.29confs = [math.exp(answers[i]["logprob"]) for i in sample]3031n = len(sample)32first = router_lib.metrics(preds, golds, confs, PLACEHOLDER) # one call returns the counts and rates of all three measures33high = router_lib.metrics(preds, golds, confs, ABOVE_ALL)34print(f"messages: {n}")35print(f"placeholder threshold: {PLACEHOLDER}")36print(f"accuracy: {first['correct']}/{n} ({first['accuracy']:.1%})")37print(f"handed off: {first['handed_off']}/{n} ({first['handoff_rate']:.1%})")38m = first["not_handed_off"]39print(f"accuracy on messages not handed off: {first['correct_not_handed_off']}/{m} ({first['accuracy_not_handed_off']:.1%})")40print(f"threshold above every confidence: {ABOVE_ALL}")41print(f"handed off at that threshold: {high['handed_off']}/{n} ({high['handoff_rate']:.1%})")42if high["accuracy_not_handed_off"] is None: # None means no message is kept, so the measure has no denominator43 print("accuracy on messages not handed off at that threshold: not defined (0 messages not handed off)")44else:45 print(f"accuracy on messages not handed off at that threshold: {high['correct_not_handed_off']}/{high['not_handed_off']}")
python baseline-measures.pymessages: 1001
placeholder threshold: 0.5
accuracy: 560/1001 (55.9%)
handed off: 30/1001 (3.0%)
accuracy on messages not handed off: 554/971 (57.1%)
threshold above every confidence: 1.01
handed off at that threshold: 1001/1001 (100.0%)
accuracy on messages not handed off at that threshold: not defined (0 messages not handed off)
仮のしきい値では、スタンドインは 560/1001 (55.9%) を正解し、30/1001 (3.0%) をハンドオフする。ハンドオフされなかったメッセージでの精度は 554/971 (57.1%) である。
すべての確信度を上回るしきい値では、ハンドオフ率は 1001/1001 (100.0%) であり、ハンドオフされなかったメッセージでの精度は not defined (0 messages not handed off) となる。
読者自身のホスト型モデルは、別のベースラインである。同じメッセージでもスコアは異なるはずであり、本書はスタンドインの数値が受信箱の数値であるとは主張しない。読者のベースラインは、test_1001 に対するそのモデルの記録された回答を、この章の三つの測定値で採点したものである。重要なのは、読者の候補とそのベースラインとを、同じメッセージ上で、同じ件数に基づいて比較することである。
次の節では、スタンドインの誤答を数え、それらがどのチーム間にまたがるかを示す。誤答数は、ベースラインの最初の数値である。
実践ルール: ベースラインは、すべての候補の接頭部分の元となる固定標本 test_1001 上で、一度だけ記録する。モデルのピン留めされたリビジョン、プロンプトのハッシュ、デコード設定をマニフェストに保存し、1 行を読む前に回答ファイルをそのハッシュと照合する。各候補は、同じメッセージで採点されたベースラインとだけ比較する。それが test_40、test_200、test_1001 のいずれであってもよい。自分のホスト型モデルをベースラインにする場合は、その回答を同じ方法で記録し、そのスコアがスタンドインのスコアと異なることを報告に記す。
ラベルが衝突する箇所
ベースラインの件数は、代用モデルがどのくらいの頻度で誤るかを示す。しかし、どのチームを取り違えるかは示さない。サポート担当者が対処できるのは、その取り違えである。ルーターが混同するチームの組には、より明確なチームの説明、その組のための規則、あるいは学習時に一方のチームのメッセージを増やすことが必要かもしれない。これらのいずれも、総件数からは分からない。そのため本書は、どのチームが近いかを仮定せず、記録された回答から組を読み取る。
誤答を数えるには記録そのものが必要である。そこで次の例では、記録を読み込み、マニフェストと照合し、記録が test_1001 のメッセージだけを過不足なく含むことを確認する。そのうえで、誤答と、出現頻度の高い上位3組の「正解チームから回答チームへの組」を数える。同順位は、カテゴリファイルにおける各チームの位置で決めるので、同じ組が実行のたびに同じ順序で出力される。
1"""Count the stand-in's wrong answers, its three most frequent gold-to-answer pairs and the teams it never answers, on test_1001; no model runs. The point rests on the "pair" and "never answered" lines.2"""34import hashlib, json, os56os.environ.update(HF_HUB_OFFLINE="1", TRANSFORMERS_OFFLINE="1")78import torch # noqa: E402910torch.set_num_threads(2)1112import router_lib # noqa: E40213from collections import Counter # noqa: E4021415router_lib.setup_runtime()1617RECORDED = router_lib.HERE / "data" / "recorded" / "standin-baseline"18manifest = json.loads((RECORDED / "manifest.json").read_text())19raw = (RECORDED / "answers.jsonl").read_bytes()20assert hashlib.sha256(raw).hexdigest() == manifest["output_sha256"]["answers.jsonl"]2122records = [json.loads(line) for line in raw.decode().splitlines()]23sample = router_lib.read_sample("test_1001")24assert sorted(r["index"] for r in records) == sorted(sample), "recorded rows differ from test_1001"25assert all(router_lib.LABELS[r["label"]] == r["team"] for r in records), "label and team disagree"26test, LABELS = router_lib.read_rows("test"), router_lib.LABELS2728gold_totals = Counter(test[i][1] for i in sample)29answered = Counter(r["label"] for r in records)30pairs = Counter((test[r["index"]][1], r["label"]) for r in records if r["label"] != test[r["index"]][1]) # (gold, answer); [1] is the gold label31wrong = sum(pairs.values())32# Ties break on the lower gold label index, then the lower answer index.33top = sorted(pairs.items(), key=lambda kv: (-kv[1], kv[0][0], kv[0][1]))[:3]34never = sorted(team for k, team in enumerate(LABELS) if answered[k] == 0) # sorted by name, so uppercase names print first3536print(f"messages: {len(sample)}")37print(f"wrong answers: {wrong}")38print(f"wrong rate: {100 * wrong / len(sample):.1f}% ({wrong} of {len(sample)})")39for rank, ((gold, answer), count) in enumerate(top, start=1):40 print(f"pair {rank} count: {count}")41 print(f"pair {rank} gold: {LABELS[gold]}")42 print(f"pair {rank} answer: {LABELS[answer]}")43 print(f"pair {rank} of gold team: {count}/{gold_totals[gold]}")44print(f"teams never answered: {len(never)}")45for rank, team in enumerate(never, start=1):46 gold = LABELS.index(team)47 count, answer = max(((c, a) for (g, a), c in pairs.items() if g == gold), key=lambda ca: (ca[0], -ca[1])) # most frequent wrong answer; ties go to the lower answer index48 print(f"never answered {rank} team: {team}")49 print(f"never answered {rank} messages: {gold_totals[gold]}")50 print(f"never answered {rank} most often as: {LABELS[answer]}")51 print(f"never answered {rank} most often count: {count}")
python confusions-in-the-baseline.pymessages: 1001
wrong answers: 441
wrong rate: 44.1% (441 of 1001)
pair 1 count: 13
pair 1 gold: Refund_not_showing_up
pair 1 answer: request_refund
pair 1 of gold team: 13/13
pair 2 count: 13
pair 2 gold: failed_transfer
pair 2 answer: transfer_not_received_by_recipient
pair 2 of gold team: 13/13
pair 3 count: 12
pair 3 gold: card_arrival
pair 3 answer: card_delivery_estimate
pair 3 of gold team: 12/13
teams never answered: 4
never answered 1 team: Refund_not_showing_up
never answered 1 messages: 13
never answered 1 most often as: request_refund
never answered 1 most often count: 13
never answered 2 team: card_arrival
never answered 2 messages: 13
never answered 2 most often as: card_delivery_estimate
never answered 2 most often count: 12
never answered 3 team: failed_transfer
never answered 3 messages: 13
never answered 3 most often as: transfer_not_received_by_recipient
never answered 3 most often count: 13
never answered 4 team: order_physical_card
never answered 4 messages: 13
never answered 4 most often as: get_physical_card
never answered 4 most often count: 10
代用モデルの誤り率は 44.1% (441 of 1001) である。閾値を適用しない場合、誤りは1から正解率を引いた値になるので、この誤り率とベースラインの節の正解率を足すと100%になる。
頻度の高い上位3組は、いずれも正解チームのサンプルメッセージのすべて、またはほぼすべてを占める。1組目は 13/13、2組目は 13/13、3組目は 12/13 を占める。したがって、最初の2組はそれぞれの正解チームのメッセージをすべて占め、3組目は1件を除くすべてを占める。チーム名からは各組の理由が推測できる。1組目は返金、2組目は送金、3組目はカードの到着と配達予定に関するものである。ただし、これは名前からの推測にすぎない。本章はメッセージを読まず、メッセージを出力する例もない。したがって、これらの組は調べる理由にはなるが、メッセージの内容についての知見ではない。
代用モデルは、77チームのうち 4 を一度も回答しない。そのため、正解チームがそれらのいずれかであるメッセージはすべて誤答になる。それらのチームの一つである card_arrival では、最も多い誤答は card_delivery_estimate であり、そのメッセージのうち 12 を占める。
別のチームである order_physical_card では、最も多い誤答は get_physical_card であり、そのメッセージのうち 10 を占める。これらのチームがなぜ回答されないのかは、記録からは分からない。したがって、この一覧は調べる理由にとどまる。
これらの組が表すのは、このサンプルにおける代用モデルの性質であり、チームや受信箱の性質ではない。読者が自分のモデルを使えば、そのモデル固有の組が現れる。読者は自分の記録された回答から、それらを数えるべきである。組をどう修正するかが問題になるときは、devとtestの節が求めるとおり、修正の選択と確認をdevで行わなければならない。test_1001 の組を読んで選んだ変更は、testスプリットで調整されたものであり、そのスプリットでの結果をルーターの測定値として報告することはできない。
本番であるチームについて引き継ぎや苦情が増えたときは、まずこの集計をやり直す。受信箱自身の記録された回答で組をもう一度数え、各組を件数とともに出力し、その一覧をベースラインの一覧と比較する。一覧に変化があれば、全体の率が変わっていなくても、ルーターの挙動がどこで動いたかが分かる。
本章の決定を要約すると次のとおりである。
- devは、固定したシードで学習ファイルからチームごとに抽出し、その行番号をコミットする。
- testのサンプルは順序を固定し、報告のためにのみ読む。
- 各測定値は件数と分母とともに出力し、分母が0の場合は「未定義」とする。
test_1001における代用モデルの記録された回答がベースラインであり、マニフェストで検証したファイルから読み込む。
ベースラインの3つの数値は、合わせて読むと、候補が同じメッセージで上回るべきスコアになる。第3章では、基盤モデルを選ぶ前に、test_40 でルーターのプロンプトのトークン数を数える。第5章では、そこで述べる規則に従い、devで引き継ぎの閾値を選ぶ。第10章では、同じ test_1001 のサンプルでルーターをベースラインと比較する。
実践ルール: すべての候補について、同じサンプルで誤答と頻度の高い組を数え、各組を件数とともに出力する。組は、どこを調べるべきかを示す一覧として読む。最初の1組だけでなく上位3組を出力する。1組だけでは読み込みすぎを招きやすく、一覧であれば誤りが集中するか分散するかが分かるからである。修正はいずれも、testスプリットをもう一度読む前に、devスプリットで確認する。
この版における本章
第2026.11.9版2026年11月20日時点で例が通過この章の3 例件のうち3件が合格
英語版の書籍(版2026.11.9)から翻訳した。