迷ったときに引き継ぐ、銀行の受信箱向けルーターを作る
読了まで約29 分分、6 節 節の 4 例 例。
この章を終えると、1件のメッセージに対してチーム、確信度、引き継ぎフラグを返すルーターを作れるようになる。また、固定サンプルに対して3つの尺度でそのルーターを採点できるようになり、学習していない小さなモデルをそのままプロンプトで使うだけでは、ルーターの最初のバージョンになり得ない理由も理解できる。
銀行に届く顧客メッセージは、1つのサポートキューに入る。本書ではこれを受信箱と呼ぶ。ルーターは、受信箱の各メッセージを77個のチームのいずれかに振り分ける。すべてのメッセージにチームを選ぶルーターは、ときに誤ったチームを選ぶ。誤ったチームに送られると、顧客は時間を失い、サポート担当者はメッセージを転送する手間を負う。この章では、自信がないときにそれを伝えるルーターを作る。
チームとは、ルーターが返せるラベルのことであり、たとえばcard_arrivalがそれにあたる。人の集まりを指すものではない。メッセージを読む人々は銀行のサポート担当者であり、ルーターが振り分けられないメッセージは、そのうちの誰かに渡される。
メッセージとそのチームは、銀行宛ての顧客メッセージを集めた公開データセットであるBANKING77から取る。このデータセットはCC BY 4.0で公開されている。BANKING77では各ラベルをインテントと呼ぶが、本書ではこれ以降チームと呼び、ラベルはデータセットに現れるとおりに表記する。
ルーターとはシステム全体のことであり、モデル、プロンプト、閾値、そしてメッセージを送り出すコードから成る。この章で作るのは粗いルーターである。閾値が仮の値で、モデルが代用品であるとき、ルーターは粗いという。それでも、このルーターはすべてのメッセージに対して答えを返し、すべての出力を採点できるので、動くルーターである。 必要なのは、Pythonと、ホスト型モデルのAPIへの呼び出し1回である。この呼び出しは、すでに書いたことがあるかもしれない。この章では、トランスフォーマーが内部でどう動くかは前提としない。内部の仕組みが問題になる箇所では、1文で触れる。
最初に、共有の部品を2つ用意する。1つ目は、テスト用メッセージに対する代用モデルの回答の記録であり、モデルに尋ねる節で紹介する。ほとんどの例はこの回答をオフラインで読み込み、1つの例だけが、その失敗を示す節で小さなモデルを実際に動かす。2つ目はrouter_libであり、本書のexamplesフォルダにある共有モジュールである。チームのラベル、ルーターのプロンプト、引き継ぎの規則、そして各尺度がここに収められている。すべての例がこれをインポートするので、関数はどの章でも同じ意味を持つ。
ルーターが返すもの
1件のメッセージに対して、ルーターは3つの値を返す。チームはラベルのいずれかであり、ラベルそのものとして書かれる。確信度は0から1までの数値で、ルーターがそのチームについてどの程度確かだと考えているかを表す。引き継ぎフラグは、確信度が低すぎてメッセージをそのまま送れない場合に真となり、その場合は人がメッセージを引き取る。
本章では、確信度は限定的な意味を持つ。これは、制約付きの回答に対して llama-cpp-python が返す確率であり、記録には対数確率として保存される。平易に言えば、モデルが自らの書いたチームにどれだけの確率を与えているかである。式で書けば、確信度 = exp(log p(token) の総和)であり、回答のトークンの確率の積に等しい。トークンとは、モデルが読み書きするテキストの断片である。これは、チーム全体にわたるsoftmaxではない。softmaxは第5章で用いる。これは較正された確率ではなくスコアであり、ある大きさの確信度がチームの正解する頻度と一致することを示すものは、本章には何もない。第5章では、dev分割、すなわち設定を選ぶために取り置いた訓練メッセージ(第2章)で較正を検証する。メッセージを確信度の帯に分け、各帯の件数と正解率を出力する。
| 出力 | 内容 | 使う側 |
|---|---|---|
| チーム | 銀行業務のラベル集合から選んだ1つのラベル | フラグが偽のとき、メッセージの送り先となる |
| 確信度 | 制約付きの回答に対して llama-cpp-python が返す確率(スコアとして扱う) | 引き継ぎルール |
| 引き継ぎフラグ | 確信度がしきい値を下回るときに真となる | メッセージを引き取る人 |
最も重要なのはフラグであり、その理由は運用上のものである。常にチームを返すルーターは、振り分ける根拠のないメッセージも含めて、すべてのメッセージをどこかへ送ってしまう。引き継ぎは、メッセージを振り分けられる人に渡すものであり、自信がないことを告げるルーターは、その人の作業を見える形にする。どのルーターも、真であれ偽であれ、すべての回答でフラグを返すことを推奨する。そうすれば、以下の各節の指標をすべて出力だけから計算できる。
ルーターに自信のなさを表明させることには、研究文献上の名前がある。選択的分類、またはリジェクトオプションである。Geifman と El-Yaniv による2017年の深層ネットワークに関するプレプリントは、このトレードオフを述べている。一部の入力を拒否する分類器は、扱える入力の割合が減る。その代わり、これらの手法は、カバレッジを手放すことで、残した入力に対する深層ネットワークの予測を大幅に改善できる可能性がある。彼らの手法は、利用者が目標とするリスク水準を設定することも可能にする。本書の引き継ぎルールはそうしない。取り置いたデータでしきい値を選ぶだけであり、残るリスクについては何も保証しない。
本章の測定では、採点のためにのみチームを返す。引き継ぎの節の1件のメッセージの例では、フラグが偽のときにだけチームを返す。
実践ルール: チームを返すときは必ずフラグも返し、フラグが真のときは必ずメッセージを人に回す。チームを呼び出し元に返すのは、フラグが偽のときだけにする。フラグを外したほうがルーターが完成して見える場合でも、フラグは残す。引き継ぎの指標がそれを数えるからである。
1 つのチームをモデルに尋ねる
ルーターのチームはモデルから得られ、モデルはプロンプトによって方向づけられる。プロンプトは、銀行がルーターの中で最も頻繁に変更する部分であるため、1 か所で固定する。router_prompt は、1 件のメッセージに対して 1 つのプロンプトを組み立てる。このプロンプトは 1 つのチームを求めるもので、モデルには、すべてのチームの名前、メッセージ、そして末尾に、モデルが続きを補完するための語 Team: を与える。プロンプトに含まれるのはチーム名と、振り分け対象の 1 件のメッセージだけである。そのため、標本内の他のメッセージがこのメッセージと一緒にモデルへ渡ることはない。
ライブ実行も記録済みの実行も、すべて router_lib.router_prompt にある同じプロンプト文を使うので、言葉はどの実行でも同じである。ただし、モデルが読む内容が常に同じとは限らない。記録では、その言葉を代役モデルのチャットテンプレートで包む。一方、小さなモデルの節のライブ実行では、小さなモデルにテンプレートなしの生のテキストを与える。プロンプトを変更すれば別の記録になるので、そのスコアを以前のスコアと比較することはできない。プロンプトはルーターのバージョンの一部であり、変更した読者は、本書がモデルの変更を記録するのと同じ方法で、その変更を記録すべきである。
本書が組織を指す名前は「銀行」だけである。銀行自身のルーターは、メッセージごとに呼び出すホスト型モデルである。私たちはそのモデルにアクセスできず、本書でもホスト型モデルを呼び出すことはない。その代わりに、より大きなオープンモデルである代役モデル Qwen3-4B-Instruct-2507 を使い、本書のすべてのルーターを代役モデルの答えに対して測定する。読者が自分で用意したホスト型モデルは、一部のメッセージに別の答えを返し、そのためスコアも異なる。
代役モデルを選んだ理由は、誰でもその答えを再現できるからである。ライセンスは Apache-2.0 であり、本書が固定するリビジョンのファイルについて、GGUF リポジトリのモデルカードがそう宣言している。ファイルは Qwen3-4B-Instruct-2507-Q4_K_M.gguf で、llama-cpp-python ライブラリが CPU 上で実行する量子化ビルドである。記録のマニフェストにはファイルの SHA-256 が記されているので、ファイルをダウンロードした読者は、何かを実行する前にそれを確認できる。
代役モデルは、1,001 件のテストメッセージからなる固定標本 test_1001 のすべてのメッセージに 1 回ずつ答えた。test_40 はその最初の 40 件である。記録では、各ステップで最も確率の高いトークンを選ぶ貪欲デコードと、固定したシードを使った。さらに、チーム名だけを許す文法も使ったので、記録されたすべての答えは 77 個のラベルのいずれかである。記録された答えが常にチーム名であるのは、この文法のためである。これについては第 4 章で説明する。小さなモデルの節の失敗を解消するのも、同じ考え方だからである。
自前のモデルを持つ読者は、同じ方法でその答えを記録できる。書く関数は 1 つ、call_model である。この関数は 1 件のメッセージを受け取り、チームと答えの対数確率を返す。対数確率とは、代役モデルの記録が保存しているとおり、答えの各トークンの対数確率の和である。関数 record_answers は、標本のすべてのメッセージについてこの関数を呼び出し、代役モデルの形式でメッセージごとに 1 行を書き出し、関数がチーム以外の名前を返したときはエラーを送出する。残りはどのモデルでも共通なので、同じ標本に対する 2 つの記録を行ごとに比較できる。
1"""Write a model's team answers in the stand-in's JSONL shape, then check record_answers against the stand-in's recording.2The line to read is the last one printed, which counts the lines that match the recording. The stand-in here replays3that recording, so no model runs."""45import os67os.environ["HF_HUB_OFFLINE"] = "1"8os.environ["TRANSFORMERS_OFFLINE"] = "1"910import json # noqa: E40211import tempfile # noqa: E4021213import torch # noqa: E4021415torch.set_num_threads(2)1617import router_lib # noqa: E4021819router_lib.setup_runtime()202122def record_answers(call_model, messages, path):23 """Write one JSONL line per (index, text); call_model(text) returns (team, logprob)."""24 with open(path, "w") as out:25 for index, text in messages:26 team, logprob = call_model(text)27 if team not in router_lib.LABELS:28 raise ValueError("the model returned a name that is not a team")29 label = router_lib.LABELS.index(team) # stored as the label, the same encoding as the gold labels30 row = {"index": index, "label": label, "team": team, "logprob": logprob}31 out.write(json.dumps(row) + "\n")323334RECORDING = router_lib.HERE / "data" / "recorded" / "standin-baseline" / "answers.jsonl"35rows = router_lib.read_rows("test") # each row is (text, gold label)36sample = router_lib.read_sample("test_40")37messages = [(i, rows[i][0]) for i in sample] # element 0 of a row is its text, which the model reads38with open(RECORDING) as f:39 recording_lines = f.read().splitlines()40recorded = {json.loads(line)["index"]: json.loads(line) for line in recording_lines} # keyed by message index41by_text = {rows[i][0]: (recorded[i]["team"], recorded[i]["logprob"]) for i in sample} # keyed by text, not index424344def standin(text):45 """Stand in for a model: return the recorded team and logprob for this message."""46 return by_text[text]474849with tempfile.TemporaryDirectory() as folder:50 path = os.path.join(folder, "answers.jsonl")51 record_answers(standin, messages, path)52 with open(path) as f:53 written = f.read().splitlines()5455matching = sum(line in recording_lines for line in written) # a line matches when it equals a recorded line exactly56print(f"messages written: {len(written)}")57print(f"lines matching the recording: {matching}/{len(written)}")
python record-your-own-answers.pymessages written: 40
lines matching the recording: 40/40
自分の記録を信頼する前に、代役モデルの答えに対して record_answers を確認する。ここでは代役モデルの関数が記録を再生するので、この確認が試すのはモデルではなく record_answers である。書き出されるすべての行が記録と一致し、40 件のすべてが一致する。その関数を自分のモデルの呼び出しに差し替えたとき、同じ確認によって、自分の記録が代役モデルの記録と同じ形をしているかどうかが分かる。
実践ルール: すべてのモデルを同じ固定標本で採点し、代役モデルと比較する前に record_answers でその答えを記録する。各スコアがどの標本によるものかを明記し、標本が一致する場合にのみ 2 つのスコアを並べる。
自信のないメッセージを引き継ぐ
代役の回答は、メッセージごとに確信度を与える。この節では、その確信度を引き継ぎフラグに変える。
引き継ぎの規則は、1回の比較である。handoff(confidence, threshold)は、確信度が閾値を下回るときに真を返し、確信度が閾値に等しいか、それを上回るときに偽を返す。引き継ぎとなったメッセージは人に渡される。引き継ぎとならなかったメッセージは、ルーターが指名したチームに渡される。呼び出し側にチームを返す本書のすべての経路はこの関数を使うため、判定が下されないままチームを受け取る呼び出し側は存在しない。
規則そのものは読めば分かる単純なものであり、作業の中心は数値の選定にある。この章では仮の閾値0.5を用い、それを使うすべての出力にその旨を明記する。仮の閾値には、その根拠となる規則がない。規則を動かすためだけの数値である。
第5章では、開発用分割を使い、そこで述べる規則に従って閾値を選ぶ。選んだ値はアダプターのマニフェストに記録されるので、読者は結果がどの閾値を使い、何に基づいて選ばれたのかを確認できる。テスト標本を閾値の選定に使うことはない。それまでは、仮の閾値がこの章にある唯一の閾値であり、その結果は指標を教えるためのものであって、ルーターの評価に用いるものではない。
引き継ぎ率は、人に渡されるメッセージの割合であり、閾値に応じて動く。閾値を上げると人に渡るメッセージが増え、下げるとチームに直接渡るメッセージが増える。このトレードオフがあるため、閾値の選定は測定に基づいて行う。第5章では、1つを選ぶ前に、開発用分割で複数の設定についてこのトレードオフを示す。
1"""Route the first message of test_40 from the stand-in's recorded answer, at the placeholder threshold.2The prose reads the printed team and the hand-off line. No model runs here, and the message's text is never printed."""34import os56os.environ["HF_HUB_OFFLINE"] = "1"7os.environ["TRANSFORMERS_OFFLINE"] = "1"89import json # noqa: E40210import math # noqa: E4021112import torch # noqa: E4021314torch.set_num_threads(2)1516import router_lib # noqa: E4021718router_lib.setup_runtime()1920THRESHOLD = 0.5 # Placeholder. Chapter 5 chooses the threshold on the dev split.21RECORDING = router_lib.HERE / "data" / "recorded" / "standin-baseline" / "answers.jsonl"222324def route(row):25 """Return (team, confidence, handed off) for one recorded answer. The team is None when handed off."""26 confidence = math.exp(row["logprob"]) # the recording stores a log-probability; exp gives a probability27 flag = router_lib.handoff(confidence, THRESHOLD) # True below THRESHOLD, and for a NaN; equal to THRESHOLD is kept28 return (None if flag else row["team"]), confidence, flag293031with open(RECORDING) as f:32 recorded = {r["index"]: r for r in map(json.loads, f)} # keyed by message index, as the sample lists them3334first = router_lib.read_sample("test_40")[0] # the first of the sample's 40 message indexes35team, confidence, flag = route(recorded[first])36assert not flag # the prose states this message is kept; a change that hands it off fails the run37print(f"team: {team or 'none (handed off)'}")38print(f"confidence: {confidence:.2f}")39print(f"handed off: {'yes' if flag else 'no'}")
python route-one-message.pyteam: top_up_reverted
confidence: 1.00
handed off: no
1件のメッセージを、記録された回答から印字されるチームまで、経路全体にわたって追ってみる。この例は、test_40の最初のメッセージを取り上げ、そのメッセージに対する代役の記録済みの回答を読み、仮の閾値でhandoffを通して振り分ける。出力するのは、チーム、小数第2位まで丸めた確信度、およびメッセージが引き継がれたかどうかであり、メッセージの本文は出力しない。このメッセージの確信度は1.00で、仮の閾値を上回るため、ルーターはメッセージを手元に保持し、そのチームであるtop_up_revertedを返す。スクリプトは、このメッセージが引き継ぎとならないことを検証する。1件のメッセージからは出力の形が分かるにとどまり、ルーターがどれだけの頻度で正しいかは分からない。
実践ルール: 閾値は開発用分割で選び、テスト標本では決して選ばない。また、引き継ぎ率は毎回、正解率と並べて報告する。閾値が仮のものである間は、各出力でその旨を述べ、その閾値での正解率をルーターの結果に関する主張には含めない。
固定サンプルでルーターを採点する
ルーターは、担当チームがすでに分かっているメッセージで採点する。この章では、固定サンプルであるtest_40を用いる。これは40件のテストメッセージからなり、どの読者も同じメッセージを同じ順序で採点できる。第2章では、サンプルをどのように抽出したか、設定の選択にどの分割を用いるか、そしてテストサンプルをその選択から除外する理由を説明している。以下の数値は、このサンプルだけについてのものである。
ルーターは3つの数値で測定し、それぞれに件数を添える。
- 正解率は、チームが正解ラベルと一致したメッセージを、サンプル全体のメッセージ数で割ったものである。人への引き継ぎとなったメッセージも分母に含め、そのチームが誤っていれば不正解として数える。
- 引き継ぎ率は、確信度がしきい値を下回ったメッセージを、全メッセージ数で割ったものである。
- 引き継がなかったメッセージの正解率は、ルーターが手元に残したメッセージのうち正解のものを、残したメッセージ数で割ったものである。ルーターが1件も残さない場合は、定義されないものとして報告する。
3つの尺度は、それぞれ異なる問いに答える。正解率は、ルーターが全体としてどれだけ正しいかを問う。引き継ぎ率は、作業のどれだけが人に回るかを問う。残したメッセージの正解率は、ルーターが残したメッセージをそのままチームに渡してよいかを問う。正解率だけでは、2種類の誤りを区別できない。引き継がれた誤ったチームも、確認されずにチームへ届いた誤ったチームも、正解率を下げる。後者の誤りだけを切り出せるのは3つ目の尺度であり、サポート担当者が直接影響を受けるのはこの種類の誤りである。
1"""Score the stand-in's recorded answers on test_40, with a placeholder hand-off threshold.2The last printed line, accuracy on messages not handed off, is the one the prose reads against the others: it is the3accuracy of the messages a team receives. No model runs here, and the answers come from the recording."""45import os67os.environ["HF_HUB_OFFLINE"] = "1"8os.environ["TRANSFORMERS_OFFLINE"] = "1"910import json # noqa: E40211import math # noqa: E4021213import torch # noqa: E4021415torch.set_num_threads(2)1617import router_lib # noqa: E4021819router_lib.setup_runtime()2021THRESHOLD = 0.5 # Placeholder. Chapter 5 chooses the threshold on the dev split.22RECORDING = router_lib.HERE / "data" / "recorded" / "standin-baseline" / "answers.jsonl"2324answers = {}25with open(RECORDING) as f:26 for line in f:27 row = json.loads(line)28 answers[row["index"]] = row2930rows = router_lib.read_rows("test")31sample = router_lib.read_sample("test_40")3233golds = [rows[i][1] for i in sample] # element 1 of a test row is its gold label; element 0 is its text34preds = [answers[i]["label"] for i in sample] # the recorded label is the team's position in LABELS, as the gold is35confs = [math.exp(answers[i]["logprob"]) for i in sample] # exp turns each recorded log-probability into a confidence3637# metrics applies the hand-off rule at THRESHOLD; accuracy's denominator still includes handed-off messages38result = router_lib.metrics(preds, golds, confs, THRESHOLD)39n = result["n"]4041print(f"messages: {n}")42print(f"placeholder threshold: {THRESHOLD}")43print(f"accuracy: {result['correct']}/{n} ({result['accuracy']:.1%})")44print(f"handed off: {result['handed_off']}/{n} ({result['handoff_rate']:.1%})")45if result["accuracy_not_handed_off"] is None: # None when the router keeps no message, so the measure is undefined46 print("accuracy on messages not handed off: not defined (0 messages not handed off)")47else:48 m = result["not_handed_off"]49 print(50 f"accuracy on messages not handed off: {result['correct_not_handed_off']}/{m} "51 f"({result['accuracy_not_handed_off']:.1%})"52 )
python route-recorded-answers.pymessages: 40
placeholder threshold: 0.5
accuracy: 20/40 (50.0%)
handed off: 2/40 (5.0%)
accuracy on messages not handed off: 20/38 (52.6%)
ここでは、仮のしきい値におけるサンプル上の3つの尺度を示す。この例は記録された回答を読み込み、その確信度にしきい値を適用して、各尺度を件数とともに出力する。注目すべき行は、引き継がなかったメッセージの正解率である。これは、チームが実際に受け取るメッセージの正解率だからである。
3つの尺度を合わせて読むと、仮のしきい値ではチームを守れないことが分かる。ルーターの正解率はサンプルの20/40 (50.0%)であり、どのチームもこれをそのまま受け入れるべきではない。しきい値で引き継がれるのはメッセージの2/40 (5.0%)にすぎず、サンプルの大半がチームに届く。残されたメッセージの正解率は20/38 (52.6%)で、サンプル全体の正解率をわずかに上回るだけである。すべてのメッセージにチームを返すだけのルーターは、銀行がそのまま使えるものではない。
これほど小さなサンプルでは、ルーターが失敗することや、各尺度がどう動くかは示せる。しかし、2つのルーターを確信をもって区別することはできない。より大きなサンプルは第2章で示し、第5章では選んだしきい値を同種のサンプルで測定する。
実践ルール: 正解率、引き継ぎ率、引き継がなかったメッセージの正解率を、それぞれ件数を添えて、同じ固定サンプル上で併せて報告する。2つのルーターを比較するのは、両方がそのサンプルで測定された場合に限る。
まず小さなモデルが何をするかを示す
安易な近道は、代役を外して小さなモデルに直接尋ねることである。SmolLM2-135M-Instruct は、本書が扱うファミリーの中で最小のモデルであり、本書の残りの部分で中核となるモデルである。CPU 上で動作し、固定したリビジョンからオフラインで読み込める。このモデルがチーム名で答えたなら、ルーターは記録を一切必要としないはずである。したがって、この近道は、他の何かをその上に作る前に試す価値がある。
このテストでは、ルーターが尋ねるのと同じ質問をモデルに与える。サンプルの最初の 20 件のメッセージについてルーターのプロンプトをモデルに与え、答えには制約を課さず、トークン数の上限は数個にとどめる。まず予想してみよう。モデルをリストに縛るものが何もないとき、その答えのうちチーム名になるものはいくつあるだろうか。そのうえで数える。
1"""Ask the 135M model for a team with the raw router prompt and no constraint, on the first 20 messages of test_40.2Look at the last printed line, which counts the answers that are exactly a team name. The answers stay in this file3and are never returned to a caller."""45import os67os.environ["HF_HUB_OFFLINE"] = "1"8os.environ["TRANSFORMERS_OFFLINE"] = "1"910import torch # noqa: E4021112torch.set_num_threads(2)1314import router_lib # noqa: E4021516router_lib.setup_runtime()1718SMALL = "HuggingFaceTB/SmolLM2-135M-Instruct"1920tokenizer, model = router_lib.load_model(SMALL)21rows = router_lib.read_rows("test")22sample = router_lib.read_sample("test_40", n=20) # the first 20, to keep the run short23teams = set(router_lib.LABELS)2425answers = []26with torch.no_grad():27 for i in sample:28 # the raw prompt: no chat template and no grammar, so the model may write anything29 inputs = tokenizer(router_lib.router_prompt(rows[i][0]), return_tensors="pt")30 # at most 10 new tokens, and greedy: the most likely token at each step31 out = model.generate(32 **inputs, max_new_tokens=10, do_sample=False, pad_token_id=tokenizer.eos_token_id33 )34 # the output starts with the prompt, so skip its tokens and keep only the answer35 new_tokens = out[0, inputs["input_ids"].shape[1] :]36 answers.append(tokenizer.decode(new_tokens, skip_special_tokens=True).strip())3738print(f"messages: {len(answers)}")39# an answer counts only when it is exactly a team name, with no extra words around it40print(f"answers that are a team name: {sum(a in teams for a in answers)}/{len(answers)}")
python unconstrained-first-try.pymessages: 20
answers that are a team name: 0/20
モデルの答えにチーム名は一つもなく、ルーターにはチームへ渡すものがない。この測定は答えを保持するだけで、呼び出し元には返さない。
この失敗は、小さなモデルがルーティングをまったくできないことを示すものではない。示しているのは、このモデルにこの方法で尋ねても、チームが返ってこないということである。修正には二つの異なる方法があり、順に取り上げる。第 4 章では答えを制約し、モデルがチーム名しか書けないようにする。第 5 章ではモデルの上にヘッドを学習させ、1 回の順伝播で各チームにスコアを付ける。本章はどちらも行わない。そのため、本章のルーターは代役が記録した答えで動く。
実践ルール: モデルに何かをルーティングさせる前に、固定したサンプルでチーム名になっている答えを数え、その数をサンプルの大きさと比べる。すべてのメッセージに対してチームを返すとは限らないなら、そのままではルーティングに使わない。答えをチームに制約するか、このタスク向けに学習させる。チームではない答えに引き継ぎルールを適用しても、存在しないチームを守るだけである。
粗いルーターが破綻する場面
粗いルーターは本番環境で四通りの形で破綻し、それぞれがサポート担当者の目に見える兆候を残す。
一つ目は、存在しないチーム名である。自由記述のモデルは、一覧にないチーム名や文章を書くことがある。そのテキストをそのまま送るルーターは、メッセージを誰にも送らなかったことになる。代役モデルの記録は、文法がラベルだけを許すためこれを起こさないが、読者のモデルは起こしうる。兆候は、チーム名ではない回答である。制約なしのテストは、チーム名である回答の数を数える。ルーターはこのような回答をエラーとして扱い、数え上げ、メッセージを人に回すべきである。record_answers はすでにこの場合にエラーを送出しており、ルーターも同じようにしなければならない。
二つ目は、ドリフトである。代役モデルの回答が成り立つのは、記録時に使ったファイル、プロンプト、サンプルに限られる。記録のマニフェストには、ファイルの SHA-256、プロンプトのハッシュ、デコード設定、サンプルが記されているため、このうち一つでも変われば別の記録になる。コードを変更していないのにスコアが動いた場合、読者はまずマニフェストを比較し、次にプロンプトを比較するとよい。
三つ目は、しきい値が合わなくなることである。ある開発用分割で選んだしきい値は、メッセージの構成が変わると合わなくなることがある。兆候は、新しい開発用メッセージでルーターを測定したときの、引き継ぎ率の変化、または引き継がれなかったメッセージでの正解率の変化である。第5章はしきい値を、それを選んだ開発用分割とともに記録する。これにより、その数値が何に合わせて調整されたかを銀行が確認できる。変化の監視は第9章で行う。
四つ目は、コストと人への負荷である。ホスト型モデルは呼び出しごとに課金される。銀行が運用するルーターは、自前の計算機での計算量として費用がかかる。第3章は1件のメッセージに要するトークン数とフォワードパス数を数え、第10章は記録された速度を請求額に換算する。引き継ぎのたびに人の作業が発生し、引き継ぎ率はその作業の割合を表す。ルーターに関するすべての報告に、正解率と並べて引き継ぎ率を載せることを勧める。そうすれば、フラグのコストが見落とされることはない。
自信のなさを示せないルーターは誤りを隠してしまい、フラグはその誤りを数えられるようにする。本章では次の決定を行った。後続の章はこれらを維持するか、変更する場合は理由を述べる。
- ルーターはチーム、確信度、引き継ぎフラグを返し、チームを返すすべての経路は
handoffを通る。 - しきい値は、第5章が開発用分割で選ぶまでは仮の値である。
- すべてのルーターは、同じ固定サンプルで、正解率、引き継ぎ率、引き継がれなかったメッセージでの正解率によって採点し、それぞれに件数を添える。
- 代役モデルはベースラインであり、その回答は記録される。読者自身のモデルも、
record_answersを用いて同じ方法で回答を記録する。 - すべてのメッセージに対してチームを返すわけではないモデルは、まだルーターではない。
この版における本章
第2026.11.9版2026年11月20日時点で例が通過この章の4 例件のうち4件が合格
英語版の書籍(版2026.11.9)から翻訳した。