大きなモデルの答えを小さなモデルに蒸留する
読了まで約30 分分、6 節 節の 3 例 例。
この章を終えると、次のことができるようになる。大きな教師モデルが訓練行に付けるラベルで小さな生徒モデルを訓練すること、それらのラベルが正解ラベルとどのくらいの頻度で一致するかを測ること、そして同じメッセージを用いて、正解ラベルで訓練した生徒モデルと並べたときに、その生徒モデルが使う価値のあるものかどうかを判断することである。
ルーターは、ラベル付きのメッセージから担当チームの名前を言い当てることを学習する。この章では、訓練行へのラベル付けを大きなモデルに任せ、小さなモデルがその答えから学習できるかどうかを問う。正解ラベルは BANKING77 から得る。第5章では、訓練行の正解ラベルでヘッドを訓練し、保存したアダプター banking77-lora-v1 が、人手でラベル付けしたアダプターである。このアダプターのテスト結果が、この章のあらゆる比較の基準となる。その閾値は、第5章が示した規則に従って dev で選ばれ、マニフェストに記録されたものを用いる。
正解ラベルの作成には人の時間がかかる。蒸留は、その手間を避けようとする試みであり、大きなモデルの答えを正解ラベルの代わりに用いる。ここで用いる大きなモデルは代役である。このモデルは、本書のルーターの土台となるベースモデルの SmolLM2-135M-Instruct よりも大きく、ルーターが答えるのと同じ問いに答える。
蒸留が複製するもの
蒸留は、大きなモデルの出力を再現するように小さなモデルを訓練する手法である。蒸留という名称の由来となったHinton、Vinyals、Deanの論文は、大きなモデルがすべてのクラスに与える確率をソフトターゲットとして用い、それによって小さなモデルを訓練することを提案した(Hinton et al., 2015, arXiv:1503.02531)。論文によれば、こうした確率は単一のラベルよりも多くの情報を含んでおり、この方法で訓練した小さなモデルは、大きなモデルが必要とするよりもはるかに少ないデータから学習できることが多い。ただし、これは論文自身の実験に基づく論文自身の主張であり、あらゆるタスクに当てはまる規則ではない。
この章ではソフトターゲットを用いない。代役のモデルはメッセージごとに1つのチーム、すなわち最も可能性が高いと判断したチームを返し、生徒モデルが目にするのはそのチームだけである。KimとRushは翻訳において同じ単純化を用い、教師の分布を最も可能性の高い出力で置き換えた。「最も単純な近似は、教師の分布 q をそのモードで置き換えることである」(Kim and Rush, 2016, arXiv:1606.07947)。彼らの設定は分類ではなく翻訳である。ここではこの単純化を借用するが、それが当てはまると仮定するのではなく、このタスクで実測する。ここでは、教師の貪欲な回答がモードの役割を果たす。それは、教師がメッセージごとに返す唯一のチームである。
メッセージごとに1つのラベルで訓練することから、2つの帰結が生じる。第一に、生徒モデルは教師の正しい回答とともに教師の誤りも学習する。訓練ループは、誤ったラベルも正しいラベルと同じようにラベルとして扱うからである。第二に、生徒モデルの誤りは教師の誤りと異なりうる。生徒モデルを教師に対してだけでなく、正解ラベルに対しても測定すべき理由はここにある。
実践ルール: 教師の回答で生徒モデルを訓練する前に、ラベルを付けた行について教師の回答が正解ラベルと一致する頻度を測定し、不一致の事例のいくつかを読むこと。生徒モデルは教師の誤りを再現すると予想し、生徒モデルが訓練に使っていないメッセージでその誤りを数えること。
利用条件が許諾している教師
教師は、利用条件が出力による学習を許諾しているモデルでなければならない。本書における代役モデルの GGUF 版は、リポジトリ unsloth/Qwen3-4B-Instruct-2507-GGUF のファイル Qwen3-4B-Instruct-2507-Q4_K_M.gguf であり、教師のマニフェストが記録しているリビジョンのものを用いる。モデルは Qwen の Qwen3-4B-Instruct-2507 であり、この GGUF 版の作成者は unsloth である。両者の名を挙げて帰属を明示する。この GGUF 版のモデルカードは license: apache-2.0 を宣言し、ベースモデルとして Qwen/Qwen3-4B-Instruct-2507 を挙げている(固定したリビジョンのモデルカード)。ベースモデルのライセンスは、固定したコミットでは Apache License 2.0 である。Apache License 2.0 は第2節で、「Work およびその二次的著作物を複製し、その二次的著作物を作成し、公に表示し、公に実演し、サブライセンスし、頒布する」権利を許諾している(Apache License 2.0)。
われわれは、Apache-2.0 がモデルの出力の利用に制限を課していないものと読む。その条文が対象とするのは、上の第2節が定めるとおり Work とその二次的著作物であり、出力には触れていない。これはライセンスに対するわれわれの解釈であって条文の引用ではなく、このモデルのライセンスについてのみ成り立つ。本書が配布するアダプタは Apache-2.0 の下で頒布されており、それに添えた告知にライセンスと帰属表示を記している。
ライセンスは互いに異なる。Apache-2.0 のようなオープンウェイトのライセンスはモデルのファイルを対象とする。一方、ホスト型モデルは提供者の利用規約に従い、その規約は、競合するモデルを学習するためにサービスやその出力を使うことを禁じている場合がある。規約は変わるので、学習に用いようとするモデルの現行の規約は、用いる当日に読むこと。本書はホスト型モデルを教師に用いることはない。
代役モデルはオープンモデルであるため、そのライセンスを読むことができ、ファイルをハッシュで固定することもできる。ハッシュは教師のマニフェストに記録されている。ホスト型モデルの回答は、提供者がモデルを変更すれば変わりうるうえ、その規約がこの用途を禁じていることもある。これらは、規約を読む前の段階でも、ファイルが固定されたオープンな教師を選ぶべき理由である。
実践ルール: 学習を行う当日に、教師のライセンスと利用規約を読む。章の中で教師、そのライセンス、そのリビジョンを明記し、生徒のマニフェストから教師の記録を指し示す。規約が禁じているモデルの出力で学習してはならない。出力に制限を課さないライセンスが答えるのは、そのライセンスについての問いだけである。別のモデルについては、その条文を読んでから答えを判断すること。
この部分はまだ翻訳されていないため、英語で表示している。
Label training rows with the teacher
The teacher labels training rows only. Dev rows are kept for choosing thresholds, and test rows are kept for reporting, as chapter 2 set out. The rows to label are drawn from the training file, outside dev. The labelled rows are the first 1,000 of a seeded random draw of 2,000 such rows, a random subset of them, and the recording sorts them by index before labelling. The labelling run was planned for all 2,000, but it could not finish that many within its time limit, so the book reports the 1,000 rows it labelled.
The draw is seeded. Labels already saved for a chosen row are kept and not labelled again, so a run that stops and continues adds only the rows it has not labelled. We did not test whether a resumed run gives the same labels as one full run.
The stand-in answers each message with the router prompt from chapter 1. It decodes greedily, at temperature zero. In a probe on 40 test messages, two runs gave identical answers, and that probe is the only check we made of repeatability. Its answer is constrained by a grammar to the 77 team names, so each label is a real team.
1"""Measure how often the teacher's label matches gold on the training rows it labelled, and its accuracy on test_2002from its recorded answers. The point rests on the agreement line; the example reads recorded answers only."""34import os56os.environ["HF_HUB_OFFLINE"] = "1"7os.environ["TRANSFORMERS_OFFLINE"] = "1"89import json # noqa: E4021011import torch # noqa: E4021213torch.set_num_threads(2)1415import router_lib # noqa: E4021617router_lib.setup_runtime()18RECORDED = router_lib.HERE / "data" / "recorded"1920train = router_lib.read_rows("train")21teacher_rows = [json.loads(line) for line in (RECORDED / "teacher-labels" / "labels.jsonl").read_text().splitlines()]22# row["index"] is the row's position in the training file; field 1 of a row is its gold team23agree = sum(row["label"] == train[row["index"]][1] for row in teacher_rows)24n = len(teacher_rows)25print(f"training rows labelled by the teacher: {n}")26print(f"teacher agrees with gold on training rows: {agree}/{n} ({agree / n:.1%})")27print(f"teacher disagrees with gold on training rows: {n - agree}/{n} ({(n - agree) / n:.1%})")2829test = router_lib.read_rows("test")30sample = router_lib.read_sample("test_200")31standin = router_lib.standin_answers()32# sample holds test row positions; field 1 of a test row is its gold team, field 0 its text33golds = [test[i][1] for i in sample]34teacher_preds = [standin[i] for i in sample]35correct = sum(p == g for p, g in zip(teacher_preds, golds))36print(f"messages on test_200 with a teacher answer: {sum(i in standin for i in sample)}/{len(sample)}")37print(f"teacher accuracy on test_200: {correct}/{len(sample)} ({correct / len(sample):.1%})")
python teacher-agreement.pytraining rows labelled by the teacher: 1000
teacher agrees with gold on training rows: 549/1000 (54.9%)
teacher disagrees with gold on training rows: 451/1000 (45.1%)
messages on test_200 with a teacher answer: 200/200
teacher accuracy on test_200: 109/200 (54.5%)
The teacher's label matches the gold label on 549/1000 (54.9%) of the 1000 training rows it labelled, and it disagrees on 451/1000 (45.1%). A student trained on those disagreeing rows learns the wrong label as the answer to each one. The last two lines of the output come from the stand-in's recorded answers on test_200, the 200 test messages this chapter reports on. There the teacher is right on 109/200 (54.5%) messages.
Read the line teacher agrees with gold on training rows before any student is trained. The line teacher accuracy on test_200 is the teacher's own accuracy on messages no one has used for training, and it is the reference for every copy measure below.
Counts do not show what the disagreements look like. Three training rows, each labelled card_arrival in the gold file, show the pattern. Each message is about a card that has not arrived, described here without its text, since messages are never quoted in this book. The teacher named card_delivery_estimate for two of them and lost_or_stolen_card for the third, so the teacher names a different team from the gold label each time.
Working rule: Measure the teacher's agreement with gold on a labelled sample of rows before you train a student on the labels. Label only rows outside dev and test, and record the teacher's model, its version and its settings in the teacher's recording manifest, and point the student's manifest to it, so each label can be traced.
教師のラベルで生徒を訓練する
生徒は第5章のレシピを用いる。ベースモデル、LoRA の対象、ヘッド、シード、バッチサイズは同じである。ラベルだけは、正解ファイルではなく教師から得る。行数とステップ数も第5章とは異なる。生徒は 1000 行を 125 ステップで訓練し、人手でラベル付けしたアダプタは 9000 行を 1125 ステップで訓練した。一致度の節の対照は、生徒の行数とステップ数を保ち、ラベルだけを変える。生徒のアダプタは banking77-distilled-v1 である。そのマニフェストには設定が記録されており、教師の記録である teacher-labels/manifest.json を指している。この記録には、教師のモデルとバージョン、その設定、ラベルを付けた行が示されているため、各ラベルの出どころを誰でもたどることができる。
レシピを固定するのは意図的である。生徒がレシピとラベルを同時に変えると、結果に差が出たとき、その原因がどちらにあるのかを読者は判断できない。レシピを固定すれば、結果が示せる違いはラベルだけになる。
生徒のしきい値は、人手でラベル付けしたアダプタのしきい値と同じ規則で dev 上で選ぶ。この規則では、0.01 刻みの格子上で、引き継がれなかったメッセージの dev 上の正解率が 0.90 以上になる最も低いしきい値を採る。この目標に届かない生徒のために、規則にはフォールバックがある。フォールバックでは、引き継がれなかったメッセージの正解率が最も高いしきい値を採り、同率の場合は最も低いものを採る。ただし、すべてのメッセージを引き継ぐしきい値は除外する。出力には、フォールバックを用いたことが示される。これは目標に届かなかった結果に対する本書の規則であるから、目標を満たした生徒としてではなく、フォールバックとして報告する。フォールバックのしきい値は、dev 上でそのしきい値が残すメッセージから選ばれるので、しきい値が高いとわずかな件数になることがある。フォールバックの値は暫定的なものとして扱い、本章のように、test 上でそのしきい値が引き継ぎに回すメッセージの割合(引き継ぎ率)とあわせて報告する。
生徒のしきい値は dev 分割の一部、すなわち 500 of 1003 件のメッセージで選ぶ。dev の全メッセージに対する実行は、CPU 2 コアの時間予算に収まらなかったためである。生徒の二つの例はどちらも同じ部分を用い、対照実験も自身のしきい値のためにそれを用いるので、二つのしきい値は同じ dev メッセージで選ばれる。第5章の人手でラベル付けしたアダプタのしきい値は、dev の 1,003 件すべてで選ばれた。
実践ルール: 生徒のしきい値は、人手でラベル付けしたアダプタと同じ規則で dev 上で選び、目標に届くしきい値がないときは、そのしきい値がフォールバックであると明記する。生徒を何かと比較する前に、しきい値が要するハンドオフ率を、両方の件数とともに正解率と並べて報告する。
精度だけでなく一致度も測る
この章では3つの尺度を用いる。それぞれが固有の問いに答える。訓練行における教師と正解ラベルの比較は、教師が自らラベルを付けた行で正しいかどうかを問うものであり、前述のものである。test_200における生徒と教師の比較は、生徒が教師をどれだけ写し取っているかを問う。test_200における生徒と正解ラベルの比較は、生徒がどれだけの頻度で正しいチームを挙げるかを問う。これは、ルーターが評価されるときの数値である。いずれも分母とともに出力する。1つ目は訓練行1,000行で読み、残りの2つは同じ200件のテストメッセージで読む。
一致度と精度は、異なる問いに答える。教師との一致度は、教師が正しいか誤っているかにかかわらず、生徒が教師をどれだけ学習したかを示す。正解ラベルに対する精度は、生徒がどれだけの頻度で正しいチームを挙げるかを示す。生徒は誤った教師と一致して誤ることもあれば、誤った教師と食い違って正しいこともある。両方を出力すれば、1つの数値から推測せずに、どちらが起きているかを読み取れる。
1"""Score the distilled student banking77-distilled-v1 on test_200 beside the human-labelled adapter, with the student's2threshold chosen on dev. The point rests on the student's accuracy line and its copy lines; both adapters are loaded3and scored live, and nothing is trained."""45import os67os.environ["HF_HUB_OFFLINE"] = "1"8os.environ["TRANSFORMERS_OFFLINE"] = "1"910import json # noqa: E4021112import torch # noqa: E4021314torch.set_num_threads(2)1516import router_lib # noqa: E4021718router_lib.setup_runtime()19RECORDED = router_lib.HERE / "data" / "recorded"2021tokenizer, student = router_lib.load_classifier(RECORDED / "distill-student" / "adapter")22DEV_N = 500 # the first 500 of the 1,003 dev messages: the run's time budget under two CPUs23# reached is False when no threshold meets the target, and the threshold returned is then the fallback24threshold, reached = router_lib.dev_threshold(student, tokenizer, target=0.90, n=DEV_N)25print(f"dev messages used: {DEV_N} of {len(router_lib.read_sample('dev'))}")26print(f"dev threshold reaching 0.90 accuracy not handed off: {'yes' if reached else 'no'}")27print(f"student threshold chosen on dev: {threshold:.2f}")2829test = router_lib.read_rows("test")30sample = router_lib.read_sample("test_200")31# sample holds test row positions; field 1 of a test row is its gold team, field 0 its text32golds = [test[i][1] for i in sample]33texts = [test[i][0] for i in sample]34student_preds, student_confs = router_lib.classify(student, tokenizer, texts)35router_lib.print_copy_report("banking77-distilled-v1", student_preds, student_confs, golds, threshold)3637# chapter 5 chose the adapter's threshold on dev, and its manifest records the value used here38lora = json.loads((RECORDED / "lora-full" / "manifest.json").read_text())39_, lora_model = router_lib.load_classifier(RECORDED / "lora-full" / "adapter")40lora_preds, lora_confs = router_lib.classify(lora_model, tokenizer, texts)41router_lib.print_copy_report("banking77-lora-v1", lora_preds, lora_confs, golds, lora["handoff_threshold"])4243teacher = router_lib.standin_answers()44teacher_preds = [teacher[i] for i in sample]45matches = sum(s == t for s, t in zip(student_preds, teacher_preds))46# positions within sample where the student's answer is not the gold team47wrong = [k for k in range(len(sample)) if student_preds[k] != golds[k]]48wrong_like_teacher = sum(student_preds[k] == teacher_preds[k] for k in wrong)49print(f"student answers equal to teacher answers on test_200: {matches}/{len(sample)} ({matches / len(sample):.1%})")50print(f"student errors on test_200: {len(wrong)}/{len(sample)} ({len(wrong) / len(sample):.1%})")51print(f"student errors equal to the teacher's answer: {wrong_like_teacher}/{len(wrong)}")
python student-recorded-adapter.pydev messages used: 500 of 1003
dev threshold reaching 0.90 accuracy not handed off: no
student threshold chosen on dev: 0.68
banking77-distilled-v1 accuracy on test_200: 69/200 (34.5%)
banking77-distilled-v1 handed off: 150/200 (75.0%)
banking77-distilled-v1 accuracy on messages not handed off: 28/50 (56.0%)
banking77-lora-v1 accuracy on test_200: 172/200 (86.0%)
banking77-lora-v1 handed off: 33/200 (16.5%)
banking77-lora-v1 accuracy on messages not handed off: 156/167 (93.4%)
student answers equal to teacher answers on test_200: 100/200 (50.0%)
student errors on test_200: 131/200 (65.5%)
student errors equal to the teacher's answer: 36/131
生徒は人手でラベル付けしたアダプターに大きく及ばず、その差は以下の全体の数値が示すとおり、ハンドオフの件数だけにあるのではない。test_200において、生徒が正解するのは69/200 (34.5%)件で、ハンドオフは150/200 (75.0%)件である。一方、アダプターが正解するのは172/200 (86.0%)件で、ハンドオフは33/200 (16.5%)件である。生徒の閾値は、前述のフォールバックによるものである。各実行が保持したメッセージに対する精度は、それぞれの閾値におけるものであり、出力にはこの段落の隣に両方が示される。
次に、写し取りの尺度を見る。生徒の答えが教師の答えと等しいのは100/200 (50.0%)件のメッセージであり、教師自身が正解するのは109/200 (54.5%)である。したがって、教師を忠実に写す生徒は、教師の誤った答えも写すことになる。生徒はtest_200で131/200 (65.5%)件の誤りを出す。これらの誤りのうち、36/131件は教師の答えを繰り返したものである。残りは教師の答えと異なるため、生徒の誤りは教師の誤りだけではない。
アダプターとだけ比較すると、2つの要因が混ざる。アダプターは訓練分割全体の正解ラベルから学習したのに対し、生徒はより少ない行における教師のラベルから学習した。両者の差は、ラベルに由来するのか、行数に由来するのか、その両方なのか、判別できない。これらを切り分けるため、本書は同じ行に対して同じレシピを、正解ラベルを用いて記録する。対照であるbanking77-gold-1000-v1は、生徒のレシピを正解ラベルで訓練したものであり、その行は教師がラベルを付けた行である。
1"""Put the student banking77-distilled-v1 beside its control banking77-gold-1000-v1, which has the same recipe and the2same 1,000 training rows but gold labels, on the same test_200 messages. The point rests on the two counts of messages3each adapter gets right that the other gets wrong, which need no threshold; both adapters are scored live, and nothing4is trained."""56import json7import os89os.environ["HF_HUB_OFFLINE"] = "1"10os.environ["TRANSFORMERS_OFFLINE"] = "1"1112import torch # noqa: E4021314torch.set_num_threads(2)1516import router_lib # noqa: E4021718router_lib.setup_runtime()19RECORDED = router_lib.HERE / "data" / "recorded"20DEV_N = 500 # the first 500 of the dev messages, as student-recorded-adapter uses: the time budget under two CPUs21print(f"dev messages used: {DEV_N} of {len(router_lib.read_sample('dev'))}")2223test = router_lib.read_rows("test")24sample = router_lib.read_sample("test_200")25# sample holds test row positions; field 1 of a test row is its gold team, field 0 its text26golds = [test[i][1] for i in sample]27texts = [test[i][0] for i in sample]2829runs = {}30for name, folder in [("banking77-distilled-v1", "distill-student"), ("banking77-gold-1000-v1", "gold-same-rows")]:31 tokenizer, model = router_lib.load_classifier(RECORDED / folder / "adapter")32 threshold, reached = router_lib.dev_threshold(model, tokenizer, target=0.90, n=DEV_N)33 print(f"{name} dev threshold reaching 0.90 accuracy not handed off: {'yes' if reached else 'no'}")34 print(f"{name} threshold chosen on dev: {threshold:.2f}")35 preds, confs = router_lib.classify(model, tokenizer, texts)36 router_lib.print_copy_report(name, preds, confs, golds, threshold)37 runs[name] = [p == g for p, g in zip(preds, golds)]3839# dict order is insertion order: the student first, then the control40student, control = runs.values()41n = len(golds)42print(f"test_200 messages the student gets right and the control gets wrong: {sum(s and not c for s, c in zip(student, control))}/{n}")43print(f"test_200 messages the control gets right and the student gets wrong: {sum(c and not s for s, c in zip(student, control))}/{n}")4445# Recipe sizes from the recorded manifests: the student and its control share rows and steps;46# the human-labelled adapter does not. Its manifest names its row count train_rows, not rows, which is why rows_key differs.47for name, folder, rows_key in [48 ("banking77-distilled-v1", "distill-student", "rows"),49 ("banking77-gold-1000-v1", "gold-same-rows", "rows"),50 ("banking77-lora-v1", "lora-full", "train_rows"),51]:52 settings = json.loads((RECORDED / folder / "manifest.json").read_text())["settings"]53 print(f"{name} training rows: {settings[rows_key]}")54 print(f"{name} training steps: {settings['steps']}")
python student-vs-gold-control.pydev messages used: 500 of 1003
banking77-distilled-v1 dev threshold reaching 0.90 accuracy not handed off: no
banking77-distilled-v1 threshold chosen on dev: 0.68
banking77-distilled-v1 accuracy on test_200: 69/200 (34.5%)
banking77-distilled-v1 handed off: 150/200 (75.0%)
banking77-distilled-v1 accuracy on messages not handed off: 28/50 (56.0%)
banking77-gold-1000-v1 dev threshold reaching 0.90 accuracy not handed off: no
banking77-gold-1000-v1 threshold chosen on dev: 0.97
banking77-gold-1000-v1 accuracy on test_200: 77/200 (38.5%)
banking77-gold-1000-v1 handed off: 197/200 (98.5%)
banking77-gold-1000-v1 accuracy on messages not handed off: 3/3 (100.0%)
test_200 messages the student gets right and the control gets wrong: 24/200
test_200 messages the control gets right and the student gets wrong: 32/200
banking77-distilled-v1 training rows: 1000
banking77-distilled-v1 training steps: 125
banking77-gold-1000-v1 training rows: 1000
banking77-gold-1000-v1 training steps: 125
banking77-lora-v1 training rows: 9000
banking77-lora-v1 training steps: 1125
対照も、開発用の目標を満たす閾値を持たないため、やはりフォールバックを用いる。その閾値はこの理由により暫定的なものである。対照はtest_200のうち197/200 (98.5%)をハンドオフし、保持したメッセージのうち3/3 (100.0%)で正解する。3件は尺度にならない。全体の精度は、閾値にかかわらずすべてのメッセージを数えるため閾値を必要としない。したがって、対照の77/200 (38.5%)は、生徒の69/200 (34.5%)と直接並べて比較できる。
公正な比較は答えそのものに対するものであり、チーム同士を比較するため閾値を必要としない。対照が正しく生徒が誤るメッセージは32/200件であり、生徒が正しく対照が誤るメッセージは24/200件である。対照は、この標本で決着がつくほどの差を生徒に対して持たない。したがって、一方のラベル源が他方より優れていると言うには、200件のメッセージでは少なすぎると判断する。
アダプターは9000行で1125ステップ訓練したのに対し、対照と生徒は1000行と125ステップを共有している。そのため、対照とアダプターの差には、行数とステップ数が、両者の実行が異なるほかのあらゆる点と混ざっており、この章はそれらを切り分けない。
実践ルール: 2つのアダプターは、同じメッセージと同じ行でのみ比較する。一方が正解して他方が誤るメッセージをそれぞれ数え、両方の件数を分母とともに出力する。異なる閾値で得た精度を、同じ尺度であるかのように並べてはならない。
教師が誤っているとき
1メッセージにつき1つのラベルで学習した生徒モデルは、与えられたラベルをそのまま学習する。ある行で教師が誤っていれば、生徒はその行について誤ったチームを示されたことになり、それが誤りであると知る手段を持たない。上で測定した訓練行における教師とgoldの一致率は、教師が付けた訓練ラベルのうち正しいものの割合である。生徒はテストメッセージで測定し、訓練行では測定しない。訓練に用いた行での数値は、生徒が学習した内容ではなく、記憶した内容を示すにすぎないからである。
このタスクでは、上の数値が示すとおり、代役モデルのラベルから学習した生徒は、出荷すべきモデルではない。第7章で量子化するのは生徒ではなく、人手でラベル付けしたデータで学習したアダプタであるbanking77-lora-v1である。
複製の指標は、正解率と並べて読む。生徒がほとんどのメッセージで教師を複製し、教師が多くのメッセージで誤っている場合、生徒はその誤りを引き継ぎ、goldに対する生徒の正解率は教師とともに下がる。生徒が多くのメッセージで教師と食い違い、それでも誤っている場合、生徒はラベル以外の何かを学習しているのであり、最初に疑うべきは訓練行の数である。これは本書自身の数値から得た経験則であり、本章ではこれを検証していない。
蒸留は、費用に見合う場合がある。gold ラベルが乏しく、教師がそのタスクに強く、gold ラベルの標本によって、教師がそれらと十分な頻度で一致し、生徒の誤りを許容できると確かめられる場合に、試すことを勧める。訓練行に対する gold ラベルがすでにあるなら、それで学習し、教師はラベルの検査にのみ用いる。教師モデルもまた変わる。教師の新しいバージョンは新しい録音として扱う。そのラベルが変わるため、生徒のマニフェスト、閾値、指標を作り直す必要がある。
本番では、失敗は静かに進行する。教師を複製する生徒は、チームを安定して返し続け、引き継ぎ率も安定しており、どちらも誰の警戒も呼ばない。人がラベルを付けたメッセージの標本について、固定した周期で、生徒を gold ラベルと照合する。第9章は、アダプタの引き継ぎについて同種の標本を次の段階として述べており、本書ではそれを構築しない。生徒の回答は、教師のラベルではなく、これらのラベルと比較する。教師との一致は、メッセージがどのチームに属するかについて何も語らないからである。
本章で行った決定は次のとおりである。
- 教師は訓練行にのみラベルを付け、開発行やテスト行には付けない。
- 教師は Apache-2.0 の下にある代役モデル Qwen3-4B-Instruct-2507 であり、ホスト型モデルは用いない。
- 生徒は人手ラベルのアダプタと同じ手順で学習し、その閾値も同じ規則に従う。フォールバックはフォールバックとして報告する。
- 生徒は、同じ行に対する gold ラベルで学習した対照モデルと、同じメッセージで比較する。両者は行を共有するので、両者の差はラベルから生じ、行からは生じない。
教師のラベルは教師の誤りを生徒に持ち込む。したがって、蒸留に価値があるかどうかは、goldとの一致で決まる。
実践ルール: 生徒を教師のラベルで学習するのは、そのタスクに対する gold ラベルが少なすぎ、かつ gold ラベルの標本から教師がそれらと十分に一致すると確かめられた場合に限る。生徒を選ぶ前に、人手ラベルのアダプタおよび gold ラベルで同じ手順により学習したモデルと、同じメッセージで比較する。生徒が負けた場合は、アダプタを出荷し、その旨を報告書に書く。
この版における本章
第2026.11.9版2026年11月20日時点で例が通過この章の3 例件のうち3件が合格
英語版の書籍(版2026.11.9)から翻訳した。