エージェントが誤った設計となるとき

読了まで約30 分分、6 節 節の 2 例 例。

第2026.11.2版 2026年11月20日時点で例が通過 64 例中 64 例が合格 変更点

AIによる翻訳。英語版は人による検証済みである。 当社の書籍の作り方

英語版の書籍(版2026.11.2)から翻訳した。 原文を読む

本章を読み終えると、このケースの任意のタスクを、固定パイプライン、単一のモデル呼び出し、ゲート付きエージェントのいずれかに分類し、記録された実行がそのタスクについて何を示しているかを述べられるようになる。ケースが最初の試験となる。タスク T-02 は、本章が設計別にタスクを分類する対象のライブラリである unitcraft における1行の修正である。負の金額で桁区切りのカンマが失われるため、-1234.5 m は -1,234.50 m と表示されるべきである。第3章で示したツールセット v1 による記録実行は、このセットでタスク記録を作成したのだが、この修正を完了できなかった。実行は 16 ステップをすべて使い切り、finish を一度も呼び出さなかった。変更は1つの関数における1か所の置換にすぎない。そこで問うべきは、そもそもエージェントがこのタスクに適した設計であったのかどうかである。

固定パイプラインから始める

T-02 について最初に問うべきことは、実行中に何も判断する必要がない場合、どのステップが要るかである。整形モジュールを読み、数値の文字列を組み立てる行を、負の値でも区切り文字が保たれるように置き換え、公開テストを実行し、変更を説明する一文で締める。これらのステップはいずれも、モデルがそのファイルをどう見るかには左右されないので、モデルは要らない。固定パイプラインとは、このリストを実行の開始前にコードとして書いておいたものである。

エージェント構築に関する Anthropic のエンジニアリング記事も、これに近い線引きをしている。LLM とツールが事前に定義されたコードパスで編成されるシステムをワークフローと呼び、LLM が自らの処理とツールの使い方を動的に決めるシステムをエージェントと呼ぶ(Anthropic, "Building effective agents"、2024 年 12 月 19 日公開)。この意味でのワークフローは、各ステップでなおモデルを実行する。本章のパイプラインはさらに一歩進んでおり、どのステップにもモデルを必要としない。同じ記事は、可能な限り単純な解を探し、必要なときにだけ複雑さを加えることを勧めている。本章がこの助言から取り出す規則は、測定結果ではなく経験則である。実行前にステップを書き出せるなら、まず書き出す。

各パイプラインは、正確な編集のリストと要約から成り、lib/pipeline.py に置かれる。編集は、置換前のテキストと置換後のテキストを指定し、置換前のテキストがファイル内にちょうど一回だけ現れるのでない場合は失敗する。パイプラインはこのリストをツールセット v1 を通じて実行するので、各呼び出しはエージェントの場合と同じように動作し、結果は同じ完了ルールで採点される。パイプラインが書かれているのは T-02、T-04、T-05 の三つだけである。例ではこれらを実行し、同じタスクでエージェントが保存した実行結果と並べて、それぞれ出力する。

fixed-pipeline-same-task.py Python 3.12.15 · pydantic 2.14.3 合格
"""The fixed pipeline on the tasks where one known edit works (T-02, T-04, T-05), with no model, beside the recordedagent's run on the same task. The point rests on two lines per run: the pipeline's actions and its model calls (0), andthe agent's steps, which are its model calls. The edits are written by a person; the scoring is the same for both."""from lib.case import load_tasksfrom lib.models import load_recordingfrom lib.pipeline import PIPELINES, Edit, Pipeline, agent_edit_results, run_pipelinefrom lib.tasks import scoremanifest, _ = load_recording("task-set")stored = {row["task"]: row for row in manifest["tasks"]}for task in load_tasks(only=sorted(PIPELINES)):    run = run_pipeline(task, PIPELINES[task.id])    done = score(task, run)    run.close()    agent = stored[task.id]    print(f"{task.id} pipeline ended: {run.ended}")    print(f"{task.id} pipeline done: {'yes' if done else 'no'}")    print(f"{task.id} pipeline actions: {run.tool_calls}")    print(f"{task.id} pipeline model calls: {run.steps}")    print(f"{task.id} pipeline prompt tokens: {run.prompt_tokens}")    print(f"{task.id} agent ended: {agent['ended']}")    print(f"{task.id} agent done: {'yes' if agent['done'] else 'no'}")    print(f"{task.id} agent steps: {agent['steps']}")    print(f"{task.id} agent tool calls: {agent['tool_calls']}")    print(f"{task.id} agent prompt tokens: {agent['prompt_tokens']}")    assert done and run.steps == 0 and run.tool_calls < agent["tool_calls"], task.id# The agent's T-02 run, replayed from the recording: the result the tools gave each of its edits and test runs.edits, tests = agent_edit_results("T-02")print(f"T-02 agent edits failed: {sum(e.startswith('error') for e in edits)} of {len(edits)}")print(f"T-02 agent test runs: {len(tests)}")print(f"T-02 agent first edit result: {edits[0]}")assert all(e.startswith("error") for e in edits) and not tests# The pipeline's own failure: its one edit names text the file does not hold, so the run stops at that step.task = load_tasks(only=["T-04"])[0]run = run_pipeline(task, Pipeline((Edit("unitcraft/units.py", "no such line", "x"),), "not run"))print(f"T-04 missing anchor ended: {run.ended}")print(f"T-04 missing anchor actions: {run.tool_calls}")print(f"T-04 missing anchor done: {'yes' if score(task, run) else 'no'}")print(f"T-04 missing anchor result: {run.stop_detail}")run.close()assert run.ended == "pipeline_stop" and run.tool_calls == 2
出力python fixed-pipeline-same-task.py
T-02 pipeline ended: finish
T-02 pipeline done: yes
T-02 pipeline actions: 4
T-02 pipeline model calls: 0
T-02 pipeline prompt tokens: 0
T-02 agent ended: step_cap
T-02 agent done: no
T-02 agent steps: 16
T-02 agent tool calls: 16
T-02 agent prompt tokens: 43904
T-04 pipeline ended: finish
T-04 pipeline done: yes
T-04 pipeline actions: 4
T-04 pipeline model calls: 0
T-04 pipeline prompt tokens: 0
T-04 agent ended: finish
T-04 agent done: yes
T-04 agent steps: 5
T-04 agent tool calls: 5
T-04 agent prompt tokens: 8809
T-05 pipeline ended: finish
T-05 pipeline done: yes
T-05 pipeline actions: 4
T-05 pipeline model calls: 0
T-05 pipeline prompt tokens: 0
T-05 agent ended: finish
T-05 agent done: yes
T-05 agent steps: 5
T-05 agent tool calls: 5
T-05 agent prompt tokens: 8494
T-02 agent edits failed: 9 of 9
T-02 agent test runs: 0
T-02 agent first edit result: error: old text not found in unitcraft/format.py
T-04 missing anchor ended: pipeline_stop
T-04 missing anchor actions: 2
T-04 missing anchor done: no
T-04 missing anchor result: error: old text not found in unitcraft/units.py

パイプラインは三つのタスクをすべて完了し、モデルは一度も呼び出さない。本書全体と同様、本章でもステップとはモデル呼び出しのことであるから、パイプラインにはステップがない。あるのはアクション、すなわちツール呼び出しであり、それを数える行は T-02 では 4 である。記録されたエージェントは T-02 で 16 回のモデル呼び出しを行い、ステップごとに一回ずつであった。そのプロンプトトークンの合計は 43904 である。パイプラインはプロンプトをまったく送っていない。エージェントが完了した T-04 と T-05 でも、エージェントのモデル呼び出し回数はパイプラインのアクション数を上回っており、例は両方の数をそれぞれについて出力する。本書が金額ではなく呼び出し回数とトークン数を数える理由は、第 11 章で説明する(回数としてのコスト)。

T-02 のエージェントの実行を記録から再生すると、各呼び出しの結果がわかる。その編集は 9 of 9 失敗し、どれも同じメッセージであった。すなわち error: old text not found in unitcraft/format.py である。エージェントはファイルを読み直してやり直したが、同じエラーとなり、テストは一度も実行されなかった。テスト実行回数は 0 である。ステップ上限は、変更をファイルに合わせられない実行を止めた。実行中には、変更がうまくいったかどうかを確かめるものが何もなかったので、この回数が示すのはエージェントがどれだけ長く行き詰まっていたかであり、その理由については何も示さない。

パイプラインにも、それ自身の失敗の仕方がある。最後の実行では、T-04 に対して、置換前のテキストがファイルに存在しない編集が与えられる。固定リストの下でファイルが変わったときに起こることである。実行はそのステップで終わり、2 回のアクションの後に、ツール自身のメッセージ error: old text not found in unitcraft/units.py を出す。パイプラインは別のアンカーを試すことも、ファイルを読み直すことも、誰かに尋ねることもしない。人が書いた編集に対しては、停止が正しい対応である。ファイルが変わったのだから、人が確認すべきだからである。

それでも、停止はどこかへ引き渡さなければならない。パイプラインは子に引き渡すことはできない。子を持たないからである。引き渡せるのは、失敗したステップを読んで対処を決める人である。あるいは、失敗したステップと現在のファイルの状態を与えたエージェントにタスクを引き渡すこともできる。パイプラインを先に動かし、pipeline_stop のときだけエージェントを使うハイブリッドは、自然な構成である。パイプラインが判断の要らないステップを担い、エージェントは壊れた部分だけを見る。この構成ではエージェントを部分的な状態から開始させるので、エージェントの実行にも他と同じゲートが必要である。壊れたステップが、ケースが人に委ねている判断に触れる場合は、人を勧める。ステップが既知の編集で、アンカーが変わって止まった場合は、エージェントを勧める。本章はこのハイブリッドを測定しない。

パイプラインが示せることには、三つの制約がある。各編集は人が書いたので、この比較が測るのは設計のコストであり、パイプラインが単独で見つけられるものではない。三つのタスクは、編集を実行前に名指しできたものであり、それ以外のタスクがどうなるかはここからは何もわからない。また、パイプラインは編集の前後で失敗するテスト ID を比較する。公開スイートが、編集の前からすでに失敗しているからである。

実践ルール: モデルにループを渡す前に、ステップとそれぞれに続くチェックを書き出すこと。すべてのステップが既知で、結果をモデルなしにチェックで決められるなら、パイプラインを作って測定する。その停止の行き先は、最初の実行の前に決めておく。人に渡すか、失敗したステップを与えたエージェントに渡すかである。

作業の分割が有効な場合

一つのエージェントが行き詰まると、次に多くの人が手を伸ばすのは二つ目のエージェントである。分割はより丁寧な方法に見えることがあるため、実際にいつ有効なのかを問うことが役に立つ。二つの研究は、結論ではなく条件を示している。

Tran と Kiela は、推論トークン数を等しくしたうえで、マルチホップ推論について一つのエージェントと複数のエージェントを比較した(Tran and Kiela, arXiv:2604.02460)。単一のエージェントは、マルチエージェントのシステムと同等かそれ以上の成績を示した。彼らのアブストラクトは、マルチエージェントのシステムが競争力を持つのは二つの条件の下であると予測している。単一のエージェントによる文脈の実効的な利用が劣化している場合と、より多くの計算量が費やされる場合である。

Kim らは、260 の構成とsix のエージェント系ベンチマークにわたって統制された比較を行った(Kim et al., arXiv:2512.08296)。そのアブストラクトによれば、協調が成功するかどうかはアーキテクチャとタスクの適合で決まり、適合しない協調は性能を低下させる。ここから得られる有用な読み方は条件付きのものである。あるタスクで効果のある協調の型が、別のタスクでは害になりうる。両研究とも単独の論文である。対象範囲は推論とベンチマークであり、保守用ライブラリではない。したがって、確定した結果としてではなく、設計を検証すべき理由として読むのがよい。

このケースは、第一の条件、つまり単一のエージェントが保持できない文脈という条件に照らして確認できる。記録における文脈ウィンドウは 8192 トークンである。単一のリクエストとして最大のものは 6556 のプロンプトトークンを含んでおり、ウィンドウには余裕が残る。5 章が定めるプロンプト予算にも収まっている。この集合のどのリクエストもウィンドウに達しておらず、したがってこのケースには、文脈の面から分割を強いるタスクはない。8 章は二種類の分割を比較しているが、本書が分割を一つのループと比べて測定しないことも述べている。そのため、このケースは分割についても数値を与えない。以下の判断表は、第一の条件を分割の判定基準とするが、これを満たす行はない。

実践ルール: タスクを分割するのは、分割が有効になる条件、たとえば単一のエージェントが保持できない文脈を挙げられる場合で、かつ各部分に他の部分に依存しない検査がある場合に限る。そうでなければ、エージェントは一つにするか、使わない。

エージェントを使った場合に何がうまくいかなくなるか

エージェントを使うと、実行が失敗しうる箇所が増える。その大半は、実行の記録にしか現れない。

Cemri らは、専門の注釈者が精読した 150 件のトレースから分類体系を作った。続いて、LLM-as-a-judge のパイプラインを使い、その判定を注釈者の判断と照合したうえで、7 つのマルチエージェントフレームワークから得た 1,600 件を超えるデータセット中のトレースにラベルを付けた(Cemri et al., arXiv:2503.13657、v3)。結果は 14 の失敗モードであり、システム設計の問題、エージェント間の不整合、タスク検証の 3 つに分類される。この分類体系はマルチエージェントシステムを対象としているため、単一のエージェントには大まかにしか対応しない。本章では、どのモードも今回の事例に対応づけない。第 1 章で再生した実行における不正な形式のツール呼び出しは、モデルがツールへ送る内容の失敗であり、その実行の記録から見て取れる。

T-02 の実行は、繰り返しによって失敗した。その 16 ステップは、一覧の取得と一連の編集からなり、そのほとんどは同じファイルの読み取りの後に行われていた。どの編集も同じエラーで返ってきた。引用した古いテキストがファイルに存在しなかったからである。実行はステップ数の上限で終了した。第 2 章の予算はこのためにあるが、上限は実行を止めただけである。記録は、実行が完了しなかった理由を示している。エージェントは一致する変更を一度も行わず、行っていない変更を確認することもしなかった。

停止タスクは、別の形で失敗する。T-17 と T-19 では、エージェントは人に質問したが、どちらの実行も完了とは数えられなかった。採点器は、質問が停止の理由を名指ししている場合にのみ ask_user を数える。T-17 では half や truncat といった語を、T-19 では dimension、length、mass といった語を探す。T-17 は金額に対して正しい丸めを求めるタスクであり、最後の質問は、浮動小数点による丸めの変更を提案し、進めてよいかを尋ねている。T-19 はメートルをキログラムに変換するよう求めるタスクであり、最後の質問は、密度を 1 と仮定する特別扱いを提示し、どちらの方法を望むかを尋ねている。どちらの質問も、採点器が探す理由を名指ししていない。両方の実行は、質問する前に編集も試みていた。どの編集も、古いテキストがファイルになかったためエラーで返り、既存ファイルへの書き込みは拒否されたので、コピーは一切変わらなかった。記録からわかるのは、質問が理由を名指ししていなかったことと、編集が先に失敗していたことである。人がどう答えたかは記録に現れず、本章では推測しない。

T-18 はもう一つの停止タスクであり、その記録は採点器についての警告になっている。採点器は、ファイルパスの中の一語を根拠にこの実行を完了と数える。その仕組みは第 10 章で説明する。本書は採点器をそのままにし、T-18 を適切な引き継ぎの例としてではなく、採点器の限界として報告する。

信頼性は、1 回の実行では見えない失敗である。tau-bench は pass^k を、あるタスクについて k 回の独立した試行がすべて成功する確率と定義し、これをタスク全体で平均する(Yao et al., arXiv:2406.12045)。2024 年の設定では、gpt-4o を含む関数呼び出しエージェントは、タスクの半数未満でしか成功せず、小売ドメインの pass^8 は 25% を下回ったままだった。成功した実行が 1 回というのは、試行が 1 回ということである。本書は各タスクを 1 回ずつ実行するため pass^k を報告できない。その代わりに何を報告するかは第 10 章で述べる。

実践ルール: エージェントの設計を信頼する前に、停止した実行を終わり方ごとに分類し、種類ごとに記録を読むこと。失敗の件数だけでは、どの部分を直すべきかはわからない。また、成功した実行が 1 回あっても、次の実行の結果は予測できない。

検査はエージェントの外に置く

エージェントが完了したと判断した実行は、まだ完了したタスクではない。

Kim らは、集中的な検証を持たないアーキテクチャは、集中的な調整を持つアーキテクチャよりもエラーを伝播させやすいことを見いだした。論文自身の測定では、独立したエージェントはトレースレベルのエラーを 17.2 倍に増幅し、集中型のオーケストレーターはそれを 4.4 倍に抑えた(Kim et al.、Section 1 および Table 5)。この論文が扱うのは複数のエージェントである。しかし、その論理は単一のエージェントにも当てはまる。作業が正しいかどうかを決めるものは、その作業を行った部分であってはならない。

このケースでは、その論理を自身のスコアリングに適用している。修正タスクでは、隠された検査は実行が終わった後に、エージェントが決して見ないコピーの中で実行される。エージェントは、テストを通すためにテストを編集してはならない。隠された検査については10 章で説明している。

停止タスクの検査はそれより弱い。停止タスクは、エージェントが書いた質問に基づいて採点される。そのため、その実行が成功と数えられるかどうかは、エージェント自身の言葉で決まる。T-18 は、それにどれほど価値がないかを示している(10 章)。エージェントによる作業の説明を読む検査は、エージェントが言い逃れできる検査である。エージェントが編集できる可視のテストが示すのは、エージェントが自分の変更をどう考えているかであり、コードが実際に何をするかではない。

実践ルール: タスクの結果を決める検査は、エージェントが編集できず、実行が終わるまで見ることもできない場所に置くこと。完了や停止の判断がエージェント自身による作業の説明に依存している場合は、エージェントが書いていない検査を追加すること。

判断表

この表は、各タスクを三つの読みで分類する。実行前に手順が分かっているか、人手を介さずに検査で結果を判定できるか、人の承認が必要か、の三つである。三つに先立って、もう一つの問題がある。ハーネスがその変更をそもそも拒否するかどうかである。これらの読みは各タスクについての筆者の判断であり、測定値ではない。規則も経験則である。各行には、そのタスクの実行について記録された終わり方を並べてあり、モデルは呼び出していない。

規則は一定の順序で適用される。この順序が要点である。第一に、ハーネスが禁じる変更は設計の問題ではない。第6章のゲートは .github/ 以下のあらゆる変更を拒否し、公開名を削除するリネームも拒否する。この種の規則は、どのような承認でも解除できないからである(never-class changes)。第二に、人の承認が必要なら、ゲートの背後に置いたエージェントとする。ゲートは変更を適用する前に問わなければならないからである。第三に、手順が既知の場合、検査で結果を判定できるならパイプラインとし、検査で判定できないなら一回のモデル呼び出しとする。手順が未知ならエージェントとする。この順序は T-16 で意味を持つ。第二の規則だけならゲートに回されるが、第一の規則はこれを拒否する。

decision-table.py Python 3.12.15 · pydantic 2.14.3 合格
"""The decision table for chapter 12: every task in the set, with the author's readings (judgement, not measured), thedesign the rules give, and how the task's recorded run ended. The counts at the end are the ones the chapter quotes.No model is called."""import jsonfrom lib.models import RECORDED, load_recordingfrom lib.pipeline import ONE_CALL_SHAPE, REFUSED, TASK_SHAPES, designyes_no = {True: "yes", False: "no"}manifest, _ = load_recording("task-set")stored = {row["task"]: row for row in manifest["tasks"]}replies = [json.loads(line) for line in           (RECORDED / "task-set" / "replies.jsonl").read_text(encoding="utf-8").splitlines() if line.strip()]print("task | steps known | exploration | wrong change | auto check | person | design | recorded ended | recorded done")for task_id, s in TASK_SHAPES.items():    rec = stored[task_id]    print(f"{task_id} | {yes_no[s.steps_known]} | {yes_no[s.exploration]} | {s.wrong_change} | "          f"{yes_no[s.auto_check]} | {yes_no[s.person]} | {design(s)} | {rec['ended']} | {yes_no[rec['done']]}")pipelines = [t for t, s in TASK_SHAPES.items() if design(s) == "fixed pipeline"]agents = [t for t, s in TASK_SHAPES.items() if design(s) == "agent with gates"]refused = [t for t, s in TASK_SHAPES.items() if design(s) == REFUSED]print(f"rows with design 'fixed pipeline': {len(pipelines)}")print(f"rows with design 'agent with gates': {len(agents)}")print(f"rows with design 'one model call': {sum(design(s) == 'one model call' for s in TASK_SHAPES.values())}")print(f"rows the harness refuses: {len(refused)}")print(f"pipeline rows the recorded agent finished and passed: "      f"{sum(stored[t]['ended'] == 'finish' and stored[t]['done'] for t in pipelines)}")print(f"agent rows the recorded agent finished and passed: "      f"{sum(stored[t]['ended'] == 'finish' and stored[t]['done'] for t in agents)}")print(f"rows done in the recording: {sum(stored[t]['done'] for t in TASK_SHAPES)}")print(f"one-call shape, not in the set: {design(ONE_CALL_SHAPE)}")print(f"largest request in the recording, prompt tokens: {max(r['prompt_tokens'] for r in replies)}")print(f"context window in the recording, tokens: {manifest['n_ctx']}")assert pipelines == ["T-01", "T-02", "T-03", "T-04", "T-05", "T-10", "T-12", "T-14", "T-20"]assert design(ONE_CALL_SHAPE) == "one model call"assert refused == ["T-16", "T-18"]assert max(r["prompt_tokens"] for r in replies) < manifest["n_ctx"]
出力python decision-table.py
task | steps known | exploration | wrong change | auto check | person | design | recorded ended | recorded done
T-01 | yes | no | low | yes | no | fixed pipeline | step_cap | no
T-02 | yes | no | low | yes | no | fixed pipeline | step_cap | no
T-03 | yes | no | low | yes | no | fixed pipeline | ask_user | no
T-04 | yes | no | low | yes | no | fixed pipeline | finish | yes
T-05 | yes | no | low | yes | no | fixed pipeline | finish | yes
T-06 | no | yes | low | yes | no | agent with gates | step_cap | no
T-07 | no | yes | low | yes | no | agent with gates | finish | no
T-08 | no | yes | low | yes | no | agent with gates | finish | no
T-09 | no | yes | low | yes | no | agent with gates | finish | yes
T-10 | yes | no | low | yes | no | fixed pipeline | step_cap | no
T-11 | no | yes | high | yes | no | agent with gates | step_cap | no
T-12 | yes | no | low | yes | no | fixed pipeline | ask_user | no
T-13 | no | yes | low | yes | no | agent with gates | step_cap | no
T-14 | yes | no | low | yes | no | fixed pipeline | finish | yes
T-15 | no | yes | low | yes | no | agent with gates | ask_user | no
T-16 | yes | no | high | yes | yes | not a design choice: the harness refuses | step_cap | no
T-17 | no | no | high | no | yes | agent with gates | ask_user | no
T-18 | yes | no | high | yes | no | not a design choice: the harness refuses | ask_user | yes
T-19 | no | no | high | no | yes | agent with gates | ask_user | no
T-20 | yes | no | low | yes | no | fixed pipeline | ask_user | no
rows with design 'fixed pipeline': 9
rows with design 'agent with gates': 9
rows with design 'one model call': 0
rows the harness refuses: 2
pipeline rows the recorded agent finished and passed: 3
agent rows the recorded agent finished and passed: 1
rows done in the recording: 5
one-call shape, not in the set: one model call
largest request in the recording, prompt tokens: 6556
context window in the recording, tokens: 8192

規則の結果は、固定パイプラインが 9 行、ゲート付きエージェントが 9 行、拒否が 2 行である。パイプラインは T-01 から T-05、T-10、T-12、T-14、T-20 であり、実行前に人が書ける編集で、その後はテストが結果を判定するものである。エージェントは、終わりの決まっていない修正や新しい関数である T-06 から T-09、T-11、T-13、T-15 と、手順が未知で人が判断しなければならない二つの停止タスク T-17 と T-19 である。この表が予測するのは、どこに注目すべきかであり、実行がどう終わるかではない。

記録されたエージェントの結果は、これを一部しか裏づけない。パイプラインの九行のうち、エージェントが完了して合格したのは 3 行で、T-04、T-05、T-14 である。残りの六行は、ステップ上限に達したか、質問を出して止まった。エージェントの九行のうち、完了して合格したのは 1 行で、T-09 である。二十回の実行のうち、完了したのは全体で 5 回である。規則は九行についてパイプラインを指示するが、パイプラインを構築して実行したのはそのうち三行だけである。残りの六行は予測にとどまり、記録には比較できるパイプラインの結果がない。

T-16 は、順序を無視したときに何が誤るかを示す行である。このタスクは parse_quantity を parse にリネームし、古い名前を削除する。第6章のゲートはこの変更を拒否する。削除される公開名は決してエージェントが変更してよいものではなく、ゲートは finish で差分を読んだ時点で拒否するはずだからである。記録されたエージェントは一度も質問しなかった。ステップ上限まで編集と書き込みを試み、そのすべてが失敗した。ゲートの背後にいるエージェントは、ハーネスが適用しない変更に予算のすべてを費やすことになる。したがって T-16 は T-18 と同じく拒否であり、正しい終わり方は、リネームを別の決定として扱うよう保守担当者に求める質問である。採点器の停止語 approv が探しているのは、その質問である。T-16 をエージェントの行に置くと、表は紙の上では正しく、実行では誤りになる。

T-18 は、逆の向きの拒否である。その編集は .github/ 以下にあり、ゲートは質問なしで拒否する。したがって決めるのはハーネスであり、設計ではない。この行が記録しているのはハーネスの判断であり、この実行について採点器が数えるのは上限への到達であり(第10章)、良い終わり方ではない。

一回のモデル呼び出しの行には事例が必要だが、このセットには存在しない。一回のモデル呼び出しが適するのは、モデルの判断を要し、ツールもループも不要で、出力を後から人が読むステップである。セットにない例を挙げる。T-02 の変更について、差分から書くプルリクエスト用の要約である。差分を入れて一段落を出力するだけなので、手順は既知である。その段落が良いかどうかを判定する検査はなく、変更の後で保守担当者が読むので承認も要らない。文面は人が判断するものなので、パイプラインには書けない。エージェントを使えば、何も検査しないステップが増えるだけである。Anthropic の記事も関連することを述べている。"For many applications, however, optimizing single LLM calls with retrieval and in-context examples is usually enough"(Anthropic, "Building effective agents")。規則はこの要約に対して one model call を与え、例もそれを検証している。セットのどのタスクもこの行には届かない。理由は、各タスクに、結果を判定する検査があるか、ゲートに回す人の承認が必要か、誰も事前に名指しできない手順があるか、のいずれかが当てはまるからである。セットのすべての行がこの三つのどれかに入るので、件数は 0 になる。この章には、この行について記録された単一の応答がなく、それを作るために新たにモデルを実行することもしない。

実践ルール: 設計を選ぶ前に、各タスクを次の順序で分類せよ。拒否は人への質問であって設計ではない。人の承認はゲートの背後に置いたエージェントである。手順が既知で検査があればパイプラインである。手順が既知で検査がなければ、出力を人が読む一回の呼び出しである。手順が未知ならエージェントであり、その場合は、設計が機能すると信じる前に、第10章のように停止を種類別に数えよ。

この章で下した決定

  • 既知のステップと検査を備えたタスクの既定は、エージェントより先に構築して測定するパイプラインである。これは、最も単純な設計から始めよという助言に従ったものである。これは経験則にすぎない。
  • パイプラインの動作とエージェントのモデル呼び出しは別々に数え、価格には換算しない。その理由は第11章に述べたとおりである。
  • 拒否は人間の「はい」より前に置く。「はい」では禁止された変更を解除できないからである。理由は第6章に示した。
  • 読み取りは著者の判断である。これに同意しない読者は、例の中の読み取りを変更して再実行すればよく、ルールはそのまま変わらない。
  • 記録された実行は終わったとおりに報告する。T-02 の記録は、惜しい失敗ではなく、繰り返された失敗である。
  • この事例では分割を勧めない。コンテキストの条件に達するタスクはなく、本書は分割を単一のループと比較して測定してもいない。
  • 1回の呼び出しによる設計にも当てはまる事例はあるが、それはセットに含まれておらず、その出力はテストで検査されていない。示したのはルールだけである。

ここで学んだことは、ルールが示唆するよりも限定的である。セットの既知ステップのタスクの大半は、紙の上ではパイプラインであり、実際にパイプラインとして実行したのは3件だけである。停止のタスクは問いによって判定されており、その判定を行った採点器が、この事例で最も弱い部分である。

実践ルール: ルールのパイプラインは、実行によって測定されるまでは予測として扱い、構築する前に停止の位置を書き留めておく。

この版における本章

第2026.11.2版2026年11月20日時点で例が通過この章の2 例件のうち2件が合格

英語版の書籍(版2026.11.2)から翻訳した。

この節を引用する

形式

いずれの形式も、本訳書が従う英語版の書籍を出典として示す。

いずれの形式もこの版を明示している。そのリンクは現行版を開き、節の見出しには本文が最後に変更された日付が示される。アクセス日と取得日は、これを開いた日である。

このページの内容

全12章中の第12章: エージェントが誤った設計となるとき

  1. 固定パイプラインから始める
  2. 作業の分割が有効な場合
  3. エージェントを使った場合に何がうまくいかなくなるか
  4. 検査はエージェントの外に置く
  5. 判断表
  6. この章で下した決定

ページの先頭に戻るすべての章