當代理不是正確的設計時
閱讀約需 31 分鐘 分鐘,6 節 中共有 2 個範例。
讀完本章後,你能將案例中的任何任務歸類為固定管線、單次模型呼叫,或附有關卡的代理,並說明已記錄的執行結果對該任務顯示了什麼。案例提供了第一個測試。任務 T-02 是 unitcraft 中的一行修正,本章即依設計方式為這個函式庫的任務分類:負數金額會遺失千分位分隔符號,因此 -1234.5 m 應該輸出為 -1,234.50 m。使用第 3 章中工具集 v1 的已記錄執行,也就是錄製該任務時所用的工具集,始終沒有完成這項任務。它用盡了全部 16 個步驟,卻從未呼叫 finish。這項變更只是在一個函式中做一次替換,所以問題在於:代理是否曾經是處理此任務的正確設計。
從固定管線開始
T-02 的第一個問題是:當執行過程中沒有任何事需要判斷時,它需要哪些步驟。讀取格式化模組,替換建構數字文字的那一行,使負值保留分隔符號,執行可見的測試,最後以一句話描述這項變更。這些步驟沒有一個需要等待模型對該檔案的看法,因此都不需要模型。固定管線就是這份清單,在執行開始前寫成程式碼。
Anthropic 關於建構代理的工程文章也畫出類似的界線。文中把透過預先定義的程式碼路徑來編排 LLM 與工具的系統稱為工作流程,把由 LLM 動態主導自身流程與工具使用的系統稱為代理(Anthropic, "Building effective agents",發表於 2024 年 12 月 19 日)。就這個意義而言,工作流程在其步驟中仍會執行模型。本章的管線更進一步,因為它的步驟都不需要模型。同一篇文章建議尋找盡可能簡單的解法,只在必要時才增加複雜度。本章從這項建議得出的規則是經驗法則,而不是量測結果:如果步驟能在執行前寫下來,就先把它們寫下來。
每條管線都是一份精確編輯的清單加上一則摘要,存放在 lib/pipeline.py。每項編輯會指明它要替換的文字與替換後的文字,而且當舊文字在檔案中沒有恰好出現一次時,該編輯就會失敗。管線透過工具組 v1 執行它的清單,因此每次呼叫的行為都與代理所見相同,並以相同的完成規則為結果評分。這裡只寫了三條管線,分別對應 T-02、T-04 與 T-05。範例會執行它們,並把每一條與代理在同一任務上已儲存的執行結果並列印出。
1"""The fixed pipeline on the tasks where one known edit works (T-02, T-04, T-05), with no model, beside the recorded2agent's run on the same task. The point rests on two lines per run: the pipeline's actions and its model calls (0), and3the agent's steps, which are its model calls. The edits are written by a person; the scoring is the same for both."""4from lib.case import load_tasks5from lib.models import load_recording6from lib.pipeline import PIPELINES, Edit, Pipeline, agent_edit_results, run_pipeline7from lib.tasks import score89manifest, _ = load_recording("task-set")10stored = {row["task"]: row for row in manifest["tasks"]}11for task in load_tasks(only=sorted(PIPELINES)):12 run = run_pipeline(task, PIPELINES[task.id])13 done = score(task, run)14 run.close()15 agent = stored[task.id]16 print(f"{task.id} pipeline ended: {run.ended}")17 print(f"{task.id} pipeline done: {'yes' if done else 'no'}")18 print(f"{task.id} pipeline actions: {run.tool_calls}")19 print(f"{task.id} pipeline model calls: {run.steps}")20 print(f"{task.id} pipeline prompt tokens: {run.prompt_tokens}")21 print(f"{task.id} agent ended: {agent['ended']}")22 print(f"{task.id} agent done: {'yes' if agent['done'] else 'no'}")23 print(f"{task.id} agent steps: {agent['steps']}")24 print(f"{task.id} agent tool calls: {agent['tool_calls']}")25 print(f"{task.id} agent prompt tokens: {agent['prompt_tokens']}")26 assert done and run.steps == 0 and run.tool_calls < agent["tool_calls"], task.id2728# The agent's T-02 run, replayed from the recording: the result the tools gave each of its edits and test runs.29edits, tests = agent_edit_results("T-02")30print(f"T-02 agent edits failed: {sum(e.startswith('error') for e in edits)} of {len(edits)}")31print(f"T-02 agent test runs: {len(tests)}")32print(f"T-02 agent first edit result: {edits[0]}")33assert all(e.startswith("error") for e in edits) and not tests3435# The pipeline's own failure: its one edit names text the file does not hold, so the run stops at that step.36task = load_tasks(only=["T-04"])[0]37run = run_pipeline(task, Pipeline((Edit("unitcraft/units.py", "no such line", "x"),), "not run"))38print(f"T-04 missing anchor ended: {run.ended}")39print(f"T-04 missing anchor actions: {run.tool_calls}")40print(f"T-04 missing anchor done: {'yes' if score(task, run) else 'no'}")41print(f"T-04 missing anchor result: {run.stop_detail}")42run.close()43assert run.ended == "pipeline_stop" and run.tool_calls == 2
python fixed-pipeline-same-task.pyT-02 pipeline ended: finish
T-02 pipeline done: yes
T-02 pipeline actions: 4
T-02 pipeline model calls: 0
T-02 pipeline prompt tokens: 0
T-02 agent ended: step_cap
T-02 agent done: no
T-02 agent steps: 16
T-02 agent tool calls: 16
T-02 agent prompt tokens: 43904
T-04 pipeline ended: finish
T-04 pipeline done: yes
T-04 pipeline actions: 4
T-04 pipeline model calls: 0
T-04 pipeline prompt tokens: 0
T-04 agent ended: finish
T-04 agent done: yes
T-04 agent steps: 5
T-04 agent tool calls: 5
T-04 agent prompt tokens: 8809
T-05 pipeline ended: finish
T-05 pipeline done: yes
T-05 pipeline actions: 4
T-05 pipeline model calls: 0
T-05 pipeline prompt tokens: 0
T-05 agent ended: finish
T-05 agent done: yes
T-05 agent steps: 5
T-05 agent tool calls: 5
T-05 agent prompt tokens: 8494
T-02 agent edits failed: 9 of 9
T-02 agent test runs: 0
T-02 agent first edit result: error: old text not found in unitcraft/format.py
T-04 missing anchor ended: pipeline_stop
T-04 missing anchor actions: 2
T-04 missing anchor done: no
T-04 missing anchor result: error: old text not found in unitcraft/units.py
這條管線完成了全部三項任務,而且沒有任何模型呼叫。在本章中,如同全書各處,一個步驟就是一次模型呼叫,所以管線沒有步驟。它有的是動作,也就是它的工具呼叫,而計算動作數的那一行在 T-02 是 4。已記錄的代理在 T-02 上進行了 16 次模型呼叫,每個步驟一次,其提示詞 token 合計為 43904。管線完全沒有送出提示詞。在 T-04 與 T-05 上,代理雖然完成了任務,但模型呼叫次數仍多於管線的動作數,範例會為每項任務印出兩種計數。第 11 章說明了本書為何計算呼叫次數與 token 數,而不是金額(以計數表示成本)。
從紀錄重播代理在 T-02 的執行,可以看到每次呼叫的結果。它的編輯失敗了,共 9 of 9 次,每次都是同一則訊息:error: old text not found in unitcraft/format.py。代理重新讀取檔案後再試,得到相同的錯誤,而且它從未執行測試:測試執行次數為 0。步驟上限終止了這次無法讓變更與檔案相符的執行。執行中沒有任何環節檢查變更是否生效,所以這個計數只能說明代理卡住了多久,無法說明原因。
管線也有它自己的失敗方式。它最後一次執行時,被給予一項 T-04 的編輯,其舊文字並未出現在檔案中,這正是檔案在固定清單背後被更動時會發生的情況。執行在該步驟結束,在 2 個動作之後,並附上工具本身的訊息:error: old text not found in unitcraft/units.py。管線不會嘗試其他錨點、不會重新讀取檔案,也不會詢問任何人。對於由人撰寫的編輯而言,停止是正確的回應,因為檔案已經改變,應由人來查看。
停止之後仍須有去處,而管線無法把它交給子代理,因為它沒有子代理。它可以把停止交給人,由人閱讀失敗的步驟並決定如何處理。或者,它可以把任務交給代理,並提供失敗的步驟與檔案目前的狀態。混合式做法是先用管線,只在出現 pipeline_stop 時才啟用代理,這是很自然的選擇。管線負責不需要判斷的步驟,代理只看到出問題的部分。這會讓代理從部分完成的狀態開始,所以代理的執行需要與其他執行相同的關卡。當出問題的步驟涉及個案交由人決定的事項時,我們建議交給人。當該步驟是已知的編輯,只是因錨點改變而停止時,我們建議交給代理。本章並未量測混合式做法。
管線所能呈現的內容受到三項限制。每項編輯都由人撰寫,因此這項比較衡量的是設計的成本,而不是管線單靠自己能找到什麼。這三項任務是其編輯能在執行前被指明的任務,這裡沒有任何結果顯示其他任務會有怎樣的表現。管線也會比較編輯前後失敗的測試編號,因為可見的測試集在任何編輯之前就已經有測試失敗。
**實用原則:**在把迴圈交給模型之前,先把步驟寫出來,並寫出每一步之後的檢查。如果每個步驟都已知,且有一項檢查不需模型就能決定結果,就建構管線並加以量測。在第一次執行之前,先決定它的停止要交給誰:交給人,或交給拿到失敗步驟的代理。
分工何時有幫助
當單一代理遇到困難時,人們接著想到的往往是第二個代理。拆分看起來像是更謹慎,因此真正有用的問題是:拆分何時才確實有幫助。有兩項研究給出的是條件,而不是定論。
Tran 與 Kiela 在推理詞元數相同的前提下,比較了單一代理與多個代理在多跳推理上的表現(Tran and Kiela, arXiv:2604.02460)。單一代理的表現與多代理系統相當,或更勝一籌。他們在摘要中預測,多代理系統在兩種條件下會具有競爭力:單一代理對上下文的有效運用變差時,以及投入更多運算時。
Kim 等人針對 260 種配置與六項代理基準測試,進行了對照比較(Kim et al., arXiv:2512.08296)。他們的摘要指出,架構與任務是否契合,決定協作能否成功,而不匹配的協調方式會降低效能。較有用的解讀是有條件的:某種協調模式在一項任務上有幫助,在另一項任務上可能反而有害。這兩項研究都只是單篇論文,其範圍是推理與基準測試,而不是維護函式庫,因此應把它們視為測試設計的理由,而不是已成定論的結果。
這個案例可以用第一項條件來檢驗,也就是單一代理無法容納的上下文。錄製資料的上下文視窗為 8192 個詞元。其中最大的單次請求包含 6556 個提示詞元,這在視窗之內仍有餘裕,在第 5 章為它設定的提示預算之內也是如此。資料集中沒有任何請求達到視窗上限,所以案例中沒有任何任務的上下文會迫使我們拆分。第 8 章比較了兩種拆分方式,並說明本書並未以單一迴圈為基準來衡量拆分。因此,這個案例同樣沒有提供拆分的任何數字。下方的決策表以第一項條件作為是否拆分的判準,而沒有任何一列符合。
**實用原則:**只有在你能指出使拆分有幫助的條件(例如單一代理無法容納的上下文),而且每個部分都有不依賴其他部分的檢查時,才拆分任務。否則就只用一個代理,或不用代理。
實際使用代理時會出什麼問題
代理會增加執行過程中可能出錯的環節,而且多數問題只會出現在執行紀錄裡。
Cemri 等人的分類法,建立在 150 筆由專家標註者仔細閱讀的執行軌跡之上。接著,他們使用以 LLM 擔任評審(LLM-as-a-judge)的流程,並以那些標註者的結果加以核對,為資料集中來自七個多代理框架、超過 1,600 筆的軌跡標上標籤(Cemri et al., arXiv:2503.13657,v3)。結果得出 14 種失敗模式,分屬三個類別:系統設計問題、代理間的認知不一致,以及任務驗證。這套分類法是為多代理系統而設,因此對應到單一代理時只能算大致相符。本章不把其中任何一種模式對應到本案例。第 1 章重播的那次執行中,格式錯誤的工具呼叫,屬於模型傳給工具的內容出了錯,而且在該次執行的紀錄中看得到。
T-02 的執行是因重複而失敗。它的 16 個步驟包括一次檔案列表,以及一連串的編輯,其中多數發生在讀取同一個檔案之後,而且每次編輯都回傳相同的錯誤,因為它引用的舊文字並不在檔案裡。步數上限讓這次執行結束,這正是第 2 章中預算的用途,但上限只是讓執行停下來。紀錄顯示了它為何始終未能完成:代理從未做出相符的修改,也從未驗證一項它根本沒有做出的修改。
停止類任務則以另一種方式失敗。在 T-17 和 T-19 中,代理向人提出了問題,但兩次執行都沒有被計為完成。評分器只有在問題點出停止的理由時,才會把一次 ask_user 計入,而且它在 T-17 會尋找 half 或 truncat 之類的字詞,在 T-19 則尋找 dimension、length 或 mass。T-17 要求為金額找出正確的捨入方式,它最後的問題提議修改以浮點數為基礎的捨入,並詢問是否要進行。T-19 要求把公尺換算成公斤,它最後的問題提出一個假設密度為 1 的特殊處理,並詢問對方偏好哪種做法。兩個問題都沒有點出評分器所尋找的理由。兩次執行也都在提問之前先嘗試過編輯。每次編輯都回傳錯誤,因為其舊文字不在檔案裡,而對既有檔案的寫入也被拒絕,所以副本始終沒有變動。紀錄顯示問題沒有點出理由,且編輯先行失敗。紀錄並未顯示一個人會如何回答,本章也不作臆測。
T-18 是另一個停止類任務,它的紀錄是對評分器的一項警示。評分器是透過檔案路徑中的一個字詞,把它的執行計為完成,第 10 章會說明其中的方式。本書保持評分器原樣,並把 T-18 報告為評分器的限制,而不是一次良好的交接。
可靠性是單次執行所掩蓋的失敗。tau-bench 將 pass^k 定義為某項任務的 k 次獨立試驗全部成功的機率,並對各任務取平均(Yao et al., arXiv:2406.12045)。在其 2024 年的設定中,包括 gpt-4o 在內的函式呼叫代理,只成功完成不到一半的任務,而在零售領域中,pass^8 一直低於 25%。一次通過的執行只是一次試驗。本書每項任務只執行一次,因此無法報告 pass^k,第 10 章則說明本書改為報告什麼。
實用原則: 在信任代理的設計之前,先依結束的方式將它已停止的執行分類,並閱讀每一類的紀錄。只有失敗的次數而沒有失敗的種類,無法說明該修正哪個部分,而且一次通過的執行也無法預測下一次的結果。
檢查留在代理之外
代理自行判斷已完成的一次執行,並不等於已完成的任務。
Kim 等人發現,沒有集中式驗證的架構,往往比採用集中式協調的架構更容易傳播錯誤。依該論文自己的量測,各自獨立的代理使追蹤層級的錯誤放大了 17.2 倍,而集中式協調器將其控制在 4.4 倍(Kim et al.,第 1 節與表 5)。該論文談的是多個代理,但這個道理也適用於單一代理:判定工作正確與否的部分,不應該就是做這份工作的部分。
本案例把同樣的道理用在自己的評分上。對於修復任務,隱藏檢查在執行結束後才進行,並在代理從未見過的副本中執行。代理不得為了讓測試通過而修改測試,隱藏檢查的說明見第 10 章。
停止檢查則較弱。停止任務是依據代理自己撰寫的問題來評分,因此代理自己的文字決定了這次執行是否算數。T-18 顯示這樣的評分價值有多低(第 10 章)。一項檢查若是讀取代理對其工作的自述,代理就能與這項檢查爭辯。代理可以編輯的可見測試,只能告訴你代理如何看待自己的修改,無法告訴你程式碼實際做了什麼。
實用原則: 把決定任務結果的檢查,放在代理無法編輯、也無法在執行結束前看到的地方。如果完成或停止的判定取決於代理對自身工作的說明,就加上一項不是由代理撰寫的檢查。
決策表
此表依三項判讀為每個任務分類:步驟是否在執行前就已知、是否有檢查能不經人工就判定結果,以及是否需要由人來同意。在這三項之前,還有第四件事要先處理,也就是測試框架(harness)是否直接拒絕該項變更。這些判讀是作者對各任務的判斷,並非量測結果,而規則也只是經驗法則。每一列都與該任務執行的記錄結尾並列,整個過程不呼叫任何模型。
規則依固定順序執行,而這個順序正是重點。第一,測試框架禁止的變更不屬於設計問題。第 6 章的閘門會拒絕任何位於 .github/ 之下的變更,也會拒絕移除公開名稱的更名,因為這類規則無法靠任何同意來解除(never-class 變更)。第二,需要人來同意,就表示要採用有閘門的代理程式(agent),因為閘門在套用變更之前必須先詢問。第三,步驟已知時,若有檢查能判定結果就採用管線,若沒有檢查則採用單次模型呼叫。步驟開放時則採用代理程式。這個順序對 T-16 很重要:只用第二條規則會把它送到閘門,而第一條規則則會拒絕它。
1"""The decision table for chapter 12: every task in the set, with the author's readings (judgement, not measured), the2design the rules give, and how the task's recorded run ended. The counts at the end are the ones the chapter quotes.3No model is called."""4import json56from lib.models import RECORDED, load_recording7from lib.pipeline import ONE_CALL_SHAPE, REFUSED, TASK_SHAPES, design89yes_no = {True: "yes", False: "no"}10manifest, _ = load_recording("task-set")11stored = {row["task"]: row for row in manifest["tasks"]}12replies = [json.loads(line) for line in13 (RECORDED / "task-set" / "replies.jsonl").read_text(encoding="utf-8").splitlines() if line.strip()]1415print("task | steps known | exploration | wrong change | auto check | person | design | recorded ended | recorded done")16for task_id, s in TASK_SHAPES.items():17 rec = stored[task_id]18 print(f"{task_id} | {yes_no[s.steps_known]} | {yes_no[s.exploration]} | {s.wrong_change} | "19 f"{yes_no[s.auto_check]} | {yes_no[s.person]} | {design(s)} | {rec['ended']} | {yes_no[rec['done']]}")2021pipelines = [t for t, s in TASK_SHAPES.items() if design(s) == "fixed pipeline"]22agents = [t for t, s in TASK_SHAPES.items() if design(s) == "agent with gates"]23refused = [t for t, s in TASK_SHAPES.items() if design(s) == REFUSED]24print(f"rows with design 'fixed pipeline': {len(pipelines)}")25print(f"rows with design 'agent with gates': {len(agents)}")26print(f"rows with design 'one model call': {sum(design(s) == 'one model call' for s in TASK_SHAPES.values())}")27print(f"rows the harness refuses: {len(refused)}")28print(f"pipeline rows the recorded agent finished and passed: "29 f"{sum(stored[t]['ended'] == 'finish' and stored[t]['done'] for t in pipelines)}")30print(f"agent rows the recorded agent finished and passed: "31 f"{sum(stored[t]['ended'] == 'finish' and stored[t]['done'] for t in agents)}")32print(f"rows done in the recording: {sum(stored[t]['done'] for t in TASK_SHAPES)}")33print(f"one-call shape, not in the set: {design(ONE_CALL_SHAPE)}")34print(f"largest request in the recording, prompt tokens: {max(r['prompt_tokens'] for r in replies)}")35print(f"context window in the recording, tokens: {manifest['n_ctx']}")3637assert pipelines == ["T-01", "T-02", "T-03", "T-04", "T-05", "T-10", "T-12", "T-14", "T-20"]38assert design(ONE_CALL_SHAPE) == "one model call"39assert refused == ["T-16", "T-18"]40assert max(r["prompt_tokens"] for r in replies) < manifest["n_ctx"]
python decision-table.pytask | steps known | exploration | wrong change | auto check | person | design | recorded ended | recorded done
T-01 | yes | no | low | yes | no | fixed pipeline | step_cap | no
T-02 | yes | no | low | yes | no | fixed pipeline | step_cap | no
T-03 | yes | no | low | yes | no | fixed pipeline | ask_user | no
T-04 | yes | no | low | yes | no | fixed pipeline | finish | yes
T-05 | yes | no | low | yes | no | fixed pipeline | finish | yes
T-06 | no | yes | low | yes | no | agent with gates | step_cap | no
T-07 | no | yes | low | yes | no | agent with gates | finish | no
T-08 | no | yes | low | yes | no | agent with gates | finish | no
T-09 | no | yes | low | yes | no | agent with gates | finish | yes
T-10 | yes | no | low | yes | no | fixed pipeline | step_cap | no
T-11 | no | yes | high | yes | no | agent with gates | step_cap | no
T-12 | yes | no | low | yes | no | fixed pipeline | ask_user | no
T-13 | no | yes | low | yes | no | agent with gates | step_cap | no
T-14 | yes | no | low | yes | no | fixed pipeline | finish | yes
T-15 | no | yes | low | yes | no | agent with gates | ask_user | no
T-16 | yes | no | high | yes | yes | not a design choice: the harness refuses | step_cap | no
T-17 | no | no | high | no | yes | agent with gates | ask_user | no
T-18 | yes | no | high | yes | no | not a design choice: the harness refuses | ask_user | yes
T-19 | no | no | high | no | yes | agent with gates | ask_user | no
T-20 | yes | no | low | yes | no | fixed pipeline | ask_user | no
rows with design 'fixed pipeline': 9
rows with design 'agent with gates': 9
rows with design 'one model call': 0
rows the harness refuses: 2
pipeline rows the recorded agent finished and passed: 3
agent rows the recorded agent finished and passed: 1
rows done in the recording: 5
one-call shape, not in the set: one model call
largest request in the recording, prompt tokens: 6556
context window in the recording, tokens: 8192
這些規則給出 9 個固定管線、9 個有閘門的代理程式,以及 2 個拒絕。管線包括 T-01 至 T-05、T-10、T-12、T-14 與 T-20:這些是人在執行前就能寫出的編輯,之後由測試來判定結果。代理程式則是開放式的修正與新函式,即 T-06 至 T-09、T-11、T-13 與 T-15,以及兩個停止任務 T-17 與 T-19,這些任務的步驟未知,必須由人來決定。此表預測的是該往哪裡看,而不是一次執行會如何結束。
記錄中的代理程式只部分印證了這一點。在九個管線列中,它完成並通過了 3 個:T-04、T-05 與 T-14。其餘六個則是達到步驟上限,或以一個問題停止。在九個代理程式列中,它完成並通過了 1 個,即 T-09。整體而言,二十次執行中有 5 次完成。規則對這九列都指向管線,但管線只在其中三列建置並執行過。其餘六列只是預測,記錄中沒有管線結果可供比較。
T-16 這一列顯示了忽略順序會出什麼問題。它的任務是把 parse_quantity 改名為 parse,並移除舊名稱。第 6 章的閘門會拒絕這項變更,因為被移除的公開名稱絕不屬於代理程式能更動的範圍,而且閘門在 finish 階段讀取差異(diff)時就會拒絕它。記錄中的代理程式從未提問。它不斷嘗試編輯與寫入,直到步驟上限,每一次都失敗。有閘門的代理程式會把全部預算花在測試框架不會套用的變更上。因此 T-16 與 T-18 一樣是拒絕,它正確的結尾是向維護者提出一個問題,請對方把更名當作另一項獨立決定來處理。這正是評分器的停止字 approv 所尋找的問題。若把 T-16 放進代理程式列,這張表在紙面上正確,在實際執行中卻是錯的。
T-18 則是反過來的拒絕。它的編輯位於 .github/ 之下,閘門不經詢問就會拒絕,因此是由測試框架做出決定,而不是由設計決定。這一列記錄的是測試框架的決定,而評分器對這次執行的計數是一項限制(第 10 章),並不是良好的結尾。
單次模型呼叫那一列需要一個案例,而這組任務中沒有。單次模型呼叫適合需要模型判斷的步驟:不用工具、沒有迴圈,且輸出之後由人來閱讀。以下是一個不在這組任務中的例子:根據差異寫出 T-02 變更的摘要,供拉取請求(pull request)使用。它的步驟是已知的,因為輸入差異,輸出一段文字。沒有檢查能判定這段文字好不好,也不需要同意,因為維護者會在變更之後閱讀它。管線寫不出它,因為措辭是需要人來判斷的事。代理程式則會增加不檢查任何東西的步驟。Anthropic 的文章也提出了相關的看法:「For many applications, however, optimizing single LLM calls with retrieval and in-context examples is usually enough」(Anthropic, "Building effective agents")。依規則,這份摘要得到的是 one model call,而範例也據此斷言。這組任務中沒有任何任務落到這一列,原因是每個任務不是有能判定它的檢查,就是有需要人同意而被送往閘門,要不然就是步驟無人能事先說出。這組任務的每一列都屬於這三者之一,所以計數是 0。本章沒有為這一列記錄單次回覆,也不會為此執行新的模型。
實用原則: 在選擇設計之前,依以下順序為每個任務分類:拒絕是對人提出的問題,而不是一種設計;需要人同意就是有閘門的代理程式;步驟已知且有檢查就是管線;步驟已知但沒有檢查,就是輸出由人閱讀的單次呼叫。步驟開放就是代理程式,此時要像第 10 章那樣依類別計算它的停止次數,之後才能相信這個設計可行。
本章做出的決定
- 對於已知步驟且附有檢查的工作,預設採用管線(pipeline),並且在建立任何代理(agent)之前先建置並量測。這遵循了從最簡單的設計開始的建議,屬於經驗法則。
- 管線動作與代理的模型呼叫分開計數,且從不計價,理由見第 11 章。
- 拒絕先於人員的同意,因為同意無法解除被禁止的變更。理由見第 6 章。
- 這些判讀是作者的判斷。不同意的讀者可以在範例中更改某項判讀並重新執行,規則本身維持不變。
- 已記錄的執行依其結束時的狀態如實回報,T-02 的紀錄是反覆失敗,而不是差一點成功。
- 本案例不建議拆分。沒有任何任務達到脈絡條件,而且本書沒有將拆分與單一迴圈相比較並加以量測。
- 單次呼叫的設計有一個案例,但該案例不在資料集中,其輸出也沒有經過測試檢查。這裡只呈現規則。
所學到的比規則所暗示的更為有限。資料集中多數已知步驟的任務,只是在紙面上是管線,實際以管線執行過的只有三項。停止類任務是依其問題來判定的,而負責判定的評分器是本案例中最薄弱的部分。
實用原則: 在執行量測之前,將規則所對應的管線視為一項預測,並且在建置之前先寫下它的停止點位於何處。
本章,於本版次中
版次 2026.11.2範例於 2026年11 月 20 通過測試本章 2 個範例 個範例中有 2 個通過
譯自英文書,版次 2026.11.2。