에이전트가 잘못된 설계일 때
읽는 데 약 23분분 걸린다, 6절에 2개 예제이(가) 있음.
AI로 번역함. 영어 원문을 사람이 검증함. 우리가 책을 만드는 방식
영어판 2026.11.2판을 번역한 것이다. 원문 읽기
이 장을 마치면 사례에 나오는 어떤 작업이든 고정 파이프라인, 단일 모델 호출, 게이트를 갖춘 에이전트 중 하나로 분류하고, 기록된 실행이 그 작업에 대해 무엇을 보여 주는지 말할 수 있다. 첫 번째 시험 사례는 작업 T-02이다. T-02는 이 장이 설계 방식에 따라 작업을 분류하는 대상 라이브러리인 unitcraft의 한 줄짜리 수정이다. 음수 금액에서 천 단위 구분 기호가 사라지므로, -1234.5 m는 -1,234.50 m로 출력되어야 한다. 3장에서 작업 기록을 만들 때 사용한 도구 세트인 v1로 기록된 실행은 이 작업을 끝내지 못했다. 이 실행은 16단계를 모두 사용했고 finish를 한 번도 호출하지 않았다. 변경은 함수 하나에서 치환 하나를 하는 것이므로, 문제는 이 작업에 에이전트가 애초에 올바른 설계였는지이다.
고정 파이프라인으로 시작한다
T-02에 대한 첫 질문은 실행 중에 결정해야 할 것이 하나도 없을 때 어떤 단계가 필요한가이다. 서식 모듈을 읽고, 숫자의 텍스트를 만드는 줄을 음수 값도 구분자를 유지하도록 바꾸고, 공개된 테스트를 실행하고, 변경을 설명하는 한 문장으로 끝낸다. 이 단계 가운데 어느 것도 모델이 파일을 어떻게 판단하는지에 좌우되지 않으므로, 모델이 필요한 단계는 없다. 고정 파이프라인은 실행이 시작되기 전에 코드로 적어 둔 바로 그 목록이다.
Anthropic의 에이전트 구축 관련 엔지니어링 글도 비슷한 선을 긋는다. 이 글은 LLM과 도구가 미리 정의된 코드 경로를 따라 조율되는 시스템을 워크플로라 부르고, LLM이 자신의 처리 과정과 도구 사용을 동적으로 지휘하는 시스템을 에이전트라 부른다(Anthropic, "Building effective agents", 2024년 12월 19일 게시). 이 의미의 워크플로는 여전히 각 단계에서 모델을 실행한다. 이 장의 파이프라인은 한 걸음 더 나아가는데, 어느 단계에도 모델이 필요하지 않기 때문이다. 같은 글은 가능한 한 가장 단순한 해법을 찾고, 필요할 때만 복잡성을 더하라고 권한다. 이 장이 그 조언에서 가져오는 규칙은 측정값이 아니라 경험칙이다. 실행 전에 단계를 적을 수 있다면 먼저 적어 둔다.
각 파이프라인은 정확한 편집의 목록과 요약으로 이루어지며 lib/pipeline.py에 보관된다. 편집은 바꿀 텍스트와 그것을 대체할 텍스트를 지정하며, 이전 텍스트가 파일에 정확히 한 번 나타나지 않으면 실패한다. 파이프라인은 이 목록을 도구 세트 v1을 통해 실행하므로 각 호출은 에이전트에서와 똑같이 동작하고, 같은 완료 규칙으로 결과를 채점한다. 파이프라인은 T-02, T-04, T-05에 대해서만 작성되어 있다. 예제는 이를 실행하여, 같은 작업에 대한 에이전트의 저장된 실행 옆에 각각의 결과를 출력한다.
1"""The fixed pipeline on the tasks where one known edit works (T-02, T-04, T-05), with no model, beside the recorded2agent's run on the same task. The point rests on two lines per run: the pipeline's actions and its model calls (0), and3the agent's steps, which are its model calls. The edits are written by a person; the scoring is the same for both."""4from lib.case import load_tasks5from lib.models import load_recording6from lib.pipeline import PIPELINES, Edit, Pipeline, agent_edit_results, run_pipeline7from lib.tasks import score89manifest, _ = load_recording("task-set")10stored = {row["task"]: row for row in manifest["tasks"]}11for task in load_tasks(only=sorted(PIPELINES)):12 run = run_pipeline(task, PIPELINES[task.id])13 done = score(task, run)14 run.close()15 agent = stored[task.id]16 print(f"{task.id} pipeline ended: {run.ended}")17 print(f"{task.id} pipeline done: {'yes' if done else 'no'}")18 print(f"{task.id} pipeline actions: {run.tool_calls}")19 print(f"{task.id} pipeline model calls: {run.steps}")20 print(f"{task.id} pipeline prompt tokens: {run.prompt_tokens}")21 print(f"{task.id} agent ended: {agent['ended']}")22 print(f"{task.id} agent done: {'yes' if agent['done'] else 'no'}")23 print(f"{task.id} agent steps: {agent['steps']}")24 print(f"{task.id} agent tool calls: {agent['tool_calls']}")25 print(f"{task.id} agent prompt tokens: {agent['prompt_tokens']}")26 assert done and run.steps == 0 and run.tool_calls < agent["tool_calls"], task.id2728# The agent's T-02 run, replayed from the recording: the result the tools gave each of its edits and test runs.29edits, tests = agent_edit_results("T-02")30print(f"T-02 agent edits failed: {sum(e.startswith('error') for e in edits)} of {len(edits)}")31print(f"T-02 agent test runs: {len(tests)}")32print(f"T-02 agent first edit result: {edits[0]}")33assert all(e.startswith("error") for e in edits) and not tests3435# The pipeline's own failure: its one edit names text the file does not hold, so the run stops at that step.36task = load_tasks(only=["T-04"])[0]37run = run_pipeline(task, Pipeline((Edit("unitcraft/units.py", "no such line", "x"),), "not run"))38print(f"T-04 missing anchor ended: {run.ended}")39print(f"T-04 missing anchor actions: {run.tool_calls}")40print(f"T-04 missing anchor done: {'yes' if score(task, run) else 'no'}")41print(f"T-04 missing anchor result: {run.stop_detail}")42run.close()43assert run.ended == "pipeline_stop" and run.tool_calls == 2
python fixed-pipeline-same-task.pyT-02 pipeline ended: finish
T-02 pipeline done: yes
T-02 pipeline actions: 4
T-02 pipeline model calls: 0
T-02 pipeline prompt tokens: 0
T-02 agent ended: step_cap
T-02 agent done: no
T-02 agent steps: 16
T-02 agent tool calls: 16
T-02 agent prompt tokens: 43904
T-04 pipeline ended: finish
T-04 pipeline done: yes
T-04 pipeline actions: 4
T-04 pipeline model calls: 0
T-04 pipeline prompt tokens: 0
T-04 agent ended: finish
T-04 agent done: yes
T-04 agent steps: 5
T-04 agent tool calls: 5
T-04 agent prompt tokens: 8809
T-05 pipeline ended: finish
T-05 pipeline done: yes
T-05 pipeline actions: 4
T-05 pipeline model calls: 0
T-05 pipeline prompt tokens: 0
T-05 agent ended: finish
T-05 agent done: yes
T-05 agent steps: 5
T-05 agent tool calls: 5
T-05 agent prompt tokens: 8494
T-02 agent edits failed: 9 of 9
T-02 agent test runs: 0
T-02 agent first edit result: error: old text not found in unitcraft/format.py
T-04 missing anchor ended: pipeline_stop
T-04 missing anchor actions: 2
T-04 missing anchor done: no
T-04 missing anchor result: error: old text not found in unitcraft/units.py
파이프라인은 세 작업을 모두 끝내며, 모델 호출은 하지 않는다. 이 장에서 단계는 이 책 전체에서와 마찬가지로 모델 호출 한 번을 뜻하므로, 파이프라인에는 단계가 없다. 있는 것은 도구 호출인 액션이며, 이를 세는 줄이 T-02에서는 4이다. T-02에서 기록된 에이전트는 단계마다 한 번씩 모델을 16회 호출했고, 프롬프트 토큰은 합계 43904이다. 파이프라인은 프롬프트를 전혀 보내지 않았다. 에이전트가 작업을 끝낸 T-04와 T-05에서도 에이전트의 모델 호출 수는 파이프라인의 액션 수보다 많았으며, 예제는 두 작업 각각의 두 수치를 출력한다. 이 책이 비용을 금액이 아니라 호출 수와 토큰 수로 세는 이유는 11장에서 설명한다(횟수로 본 비용).
기록에서 에이전트의 T-02 실행을 재생하면 각 호출의 결과를 볼 수 있다. 편집은 9 of 9번 실패했고, 매번 같은 메시지가 나왔다. error: old text not found in unitcraft/format.py. 에이전트는 파일을 다시 읽고 다시 시도했지만 같은 오류가 났고, 테스트는 한 번도 실행하지 않았다. 테스트 실행 횟수는 0이다. 단계 상한이 변경을 파일에 맞추지 못하는 실행을 멈췄다. 실행 중 어떤 것도 변경이 제대로 되었는지 확인하지 않았으므로, 이 횟수는 에이전트가 얼마나 오래 막혀 있었는지만 알려 줄 뿐 그 이유는 알려 주지 않는다.
파이프라인도 나름의 방식으로 실패한다. 마지막 실행에서 파이프라인에는 이전 텍스트가 파일에 나타나지 않는 T-04용 편집이 주어지는데, 고정된 목록 아래에서 파일이 바뀌면 일어나는 일이다. 실행은 그 단계에서 2개의 액션 뒤에 도구 자체의 메시지와 함께 끝난다. error: old text not found in unitcraft/units.py. 파이프라인은 다른 앵커를 시도하지도, 파일을 다시 읽지도, 누구에게 묻지도 않는다. 사람이 작성한 편집에 대해서는 멈추는 것이 올바른 대응이다. 파일이 바뀌었으므로 사람이 살펴보아야 한다.
그래도 이 정지는 어딘가로 넘겨져야 하는데, 파이프라인에는 자식이 없으므로 자식에게 넘길 수는 없다. 실패한 단계를 읽고 무엇을 할지 결정하는 사람에게 넘길 수 있다. 또는 실패한 단계와 현재 상태의 파일을 준 에이전트에게 작업을 넘길 수 있다. 먼저 파이프라인을 실행하고 pipeline_stop일 때만 에이전트를 쓰는 하이브리드가 자연스러운 방식이다. 파이프라인은 판단이 필요 없는 단계를 수행하고, 에이전트는 깨진 부분만 본다. 이는 에이전트를 부분적인 상태에서 시작하게 하므로, 에이전트의 실행에도 다른 실행과 같은 관문이 필요하다. 깨진 단계가 사례에서 사람에게 맡긴 결정에 관련되면 사람을 권한다. 단계가 앵커가 바뀌어 멈춘 알려진 편집이면 에이전트를 권한다. 이 장은 하이브리드를 측정하지 않는다.
파이프라인이 보여 주는 것에는 세 가지 한계가 있다. 사람이 각 편집을 작성했으므로, 이 비교는 파이프라인이 혼자서 찾아낼 수 있는 것이 아니라 설계의 비용을 측정한다. 세 작업은 편집을 실행 전에 지정할 수 있는 작업들이며, 나머지 작업이 어떻게 될지는 여기서 알 수 없다. 또한 공개된 테스트 모음은 편집 전에도 이미 실패하므로, 파이프라인은 편집 전후의 실패한 테스트 id를 비교한다.
작업 규칙: 모델에 루프를 맡기기 전에, 각 단계와 그 뒤에 오는 검사를 적어 본다. 모든 단계가 알려져 있고 검사가 모델 없이 결과를 결정한다면, 파이프라인을 만들어 측정한다. 첫 실행 전에 정지를 어디로 보낼지 정한다. 사람에게 보내거나, 실패한 단계를 받은 에이전트에게 보낸다.
작업을 나누는 것이 도움이 되는 경우
에이전트 하나가 어려움을 겪기 시작하면 사람들이 다음으로 찾는 것은 두 번째 에이전트다. 작업을 나누면 더 신중하게 처리하는 것처럼 보일 수 있으므로, 유용한 질문은 나누기가 실제로 언제 도움이 되는가이다. 두 연구는 결론이 아니라 조건을 제시한다.
Tran과 Kiela는 추론 토큰을 동일하게 맞춘 상태에서 다중 홉 추론에 대해 에이전트 하나와 여러 에이전트를 비교했다(Tran and Kiela, arXiv:2604.02460). 단일 에이전트는 다중 에이전트 시스템과 같거나 더 나은 성능을 보였다. 이들의 초록은 다중 에이전트 시스템이 두 조건에서 경쟁력을 갖는다고 예측한다. 하나는 단일 에이전트의 유효 컨텍스트 활용이 저하될 때이고, 다른 하나는 더 많은 연산을 투입할 때이다.
Kim 등은 260개 구성과 여섯 개의 에이전트 벤치마크에 걸쳐 통제된 비교를 수행했다(Kim et al., arXiv:2512.08296). 이들의 초록은 아키텍처와 과제의 정렬이 협업의 성공을 좌우하며, 맞지 않는 조율은 성능을 떨어뜨린다고 말한다. 유용한 해석은 조건부이다. 어떤 과제에서 도움이 되는 조율 방식이 다른 과제에서는 해가 될 수 있다. 두 연구는 모두 단일 논문이다. 이들이 다루는 범위는 추론과 벤치마크이며 유지보수 라이브러리가 아니므로, 확정된 결과가 아니라 설계를 시험해 볼 이유로 읽어야 한다.
이 사례는 첫 번째 조건, 즉 단일 에이전트가 담을 수 없는 컨텍스트에 비추어 확인할 수 있다. 녹화 기록의 컨텍스트 윈도우는 8192 토큰이다. 가장 큰 단일 요청에 담긴 프롬프트 토큰은 6556개이며, 윈도우에 대해서도, 5장이 정한 프롬프트 예산에 대해서도 여유가 남는다. 이 집합의 어떤 요청도 윈도우에 이르지 않았으므로, 이 사례에는 분할을 강제하는 컨텍스트를 가진 과제가 없다. 8장은 두 종류의 분할을 비교하는데, 이 책이 분할을 하나의 루프와 비교하여 측정하지는 않는다고 말한다. 따라서 이 사례는 분할에 대해서도 수치를 제공하지 않는다. 아래의 결정표는 첫 번째 조건을 분할 여부의 기준으로 삼으며, 이를 충족하는 행은 없다.
작업 규칙: 작업을 나누는 것은 단일 에이전트가 담을 수 없는 컨텍스트처럼 나누기가 도움이 되는 조건을 말할 수 있고, 각 부분에 다른 부분에 의존하지 않는 검사가 있을 때만 한다. 그렇지 않으면 에이전트 하나를 유지하거나, 아예 쓰지 않는다.
에이전트를 실제로 쓸 때 잘못되는 것
에이전트는 실행이 잘못될 수 있는 지점을 늘리며, 그중 대부분은 실행 기록에서만 드러난다.
Cemri 등은 전문 주석자들이 면밀히 읽은 150개의 트레이스로 분류 체계를 만들었다. 그런 다음 이 주석자들과 대조해 검증한 LLM-as-a-judge 파이프라인으로, 일곱 가지 멀티 에이전트 프레임워크에서 얻은 데이터셋의 1,600개가 넘는 트레이스에 레이블을 붙였다(Cemri et al., arXiv:2503.13657, v3). 그 결과는 시스템 설계 문제, 에이전트 간 불일치, 과제 검증이라는 세 범주의 14개 실패 모드이다. 이 분류 체계는 멀티 에이전트 시스템을 위한 것이므로 에이전트 하나에는 느슨하게만 대응한다. 이 장은 어떤 모드도 이 사례에 대응시키지 않는다. 1장에서 재생한 실행의 잘못된 형식의 도구 호출은 모델이 도구에 보내는 내용의 실패이며, 그 실행의 기록에서 확인할 수 있다.
T-02 실행은 반복 때문에 실패했다. 16개의 단계는 목록 조회 한 번과 일련의 편집이었고, 편집 대부분은 같은 파일을 읽은 직후에 이루어졌으며, 각 편집은 같은 오류와 함께 돌아왔다. 인용한 기존 텍스트가 파일에 없었기 때문이다. 실행은 단계 상한에서 끝났는데, 2장의 예산이 하는 일이 바로 이것이다. 그러나 상한은 실행을 멈추기만 했다. 기록은 실행이 끝나지 못한 이유를 보여 준다. 에이전트는 일치하는 변경을 한 번도 하지 못했고, 하지 않은 변경을 확인하지도 않았다.
중단 과제는 다른 방식으로 실패한다. T-17과 T-19에서 에이전트는 사람에게 질문했지만, 두 실행 모두 완료로 집계되지 않았다. 채점기는 질문이 멈추는 이유를 명시할 때에만 ask_user를 인정하며, T-17에서는 half나 truncat 같은 단어를, T-19에서는 dimension, length, mass 같은 단어를 찾는다. T-17은 금액에 맞는 반올림 방식을 묻는 과제이며, 마지막 질문은 부동소수점 기반 반올림을 바꾸자고 제안하면서 진행할지 묻는다. T-19는 미터를 킬로그램으로 바꾸라는 과제이며, 마지막 질문은 밀도를 1로 가정하는 특수 사례를 제시하면서 어떤 방식을 선호하는지 묻는다. 두 질문 모두 채점기가 찾는 이유를 명시하지 않는다. 두 실행은 질문하기 전에 편집도 시도했다. 각 편집은 기존 텍스트가 파일에 없어서 오류로 돌아왔고, 기존 파일에 대한 쓰기는 거부되어 사본은 바뀌지 않았다. 기록은 질문이 이유를 명시하지 않았다는 점과 편집이 먼저 실패했다는 점을 보여 준다. 사람이 무엇이라고 답했을지는 보여 주지 않으며, 이 장은 그것을 추측하지 않는다.
T-18은 또 하나의 중단 과제이며, 그 기록은 채점기에 대한 경고이다. 채점기는 파일 경로 안의 한 단어 때문에 이 실행을 완료로 집계하는데, 그 방식은 10장에서 설명한다. 이 책은 채점기를 그대로 두며, T-18을 좋은 인계가 아니라 채점기의 한계로 보고한다.
신뢰성은 한 번의 실행이 가리는 실패이다. tau-bench는 pass^k를 한 과제의 k번의 독립 시행이 모두 성공할 확률을 과제 전체에 대해 평균한 값으로 정의한다(Yao et al., arXiv:2406.12045). 2024년 설정에서 gpt-4o를 포함한 함수 호출 에이전트는 과제의 절반 미만에서 성공했고, 소매 도메인의 pass^8은 25% 아래에 머물렀다. 통과한 실행 한 번은 시행 한 번일 뿐이다. 이 책은 각 과제를 한 번씩 실행하므로 pass^k를 보고할 수 없으며, 그 대신 무엇을 보고하는지는 10장에서 설명한다.
작업 규칙: 에이전트의 설계를 신뢰하기 전에, 중단된 실행을 끝난 방식별로 분류하고 각 종류의 기록을 읽어라. 종류 없이 실패 횟수만 세어서는 어느 부분을 고쳐야 하는지 알 수 없으며, 통과한 실행 한 번은 다음 실행을 예측하지 못한다.
검증은 에이전트 바깥에 둔다
에이전트가 끝났다고 판단한 실행이 곧 끝난 작업은 아니다.
Kim 등은 중앙집중식 검증이 없는 아키텍처가 중앙집중식 조정을 둔 아키텍처보다 오류를 더 많이 전파하는 경향이 있음을 발견했다. 이 논문의 측정에서 독립 에이전트는 트레이스 수준의 오류를 17.2배로 증폭했고, 중앙집중식 오케스트레이터는 이를 4.4배로 억제했다(Kim et al., 1절과 표 5). 이 논문은 여러 에이전트를 다룬다. 그러나 그 논리는 에이전트 하나에도 그대로 적용된다. 작업이 옳은지를 판정하는 주체는 그 작업을 수행한 부분이어서는 안 된다.
이 사례는 그 논리를 자체 점수 산정에도 적용한다. 수정(fix) 작업에서는 숨겨진 검증이 실행이 끝난 뒤, 에이전트가 볼 수 없는 사본에서 실행된다. 에이전트는 테스트를 통과시키려고 테스트를 고쳐서는 안 된다. 숨겨진 검증은 10장에서 설명한다.
중단(stop) 검증은 이보다 약하다. 중단 작업은 에이전트가 작성한 질문을 기준으로 점수가 매겨지므로, 실행이 인정되는지를 에이전트 자신의 말이 결정한다. T-18은 그런 점수가 얼마나 믿을 만하지 못한지를 보여 준다(10장). 에이전트가 자기 작업을 서술한 내용을 읽는 검증은 에이전트가 반박할 수 있는 검증이다. 에이전트가 편집할 수 있는 공개 테스트는 코드가 실제로 무엇을 하는지가 아니라, 에이전트가 자신의 변경을 어떻게 생각하는지를 알려 줄 뿐이다.
작업 규칙: 작업의 결과를 결정하는 검증은 에이전트가 편집할 수 없고 실행이 끝나기 전에는 볼 수도 없는 곳에 둔다. 완료나 중단이 에이전트 자신의 작업 서술에 달려 있다면, 에이전트가 작성하지 않은 검증을 추가한다.
결정 표
이 표는 각 작업을 세 가지 판독으로 분류한다. 실행 전에 단계를 알 수 있는지, 사람 없이 검사로 결과를 판정할 수 있는지, 사람이 동의(yes)해야 하는지를 본다. 이 세 가지에 앞서 네 번째 문제가 먼저 온다. 하네스가 그 변경을 아예 거부하는지 여부다. 판독은 측정값이 아니라 저자가 각 작업에 대해 내린 판단이며, 규칙도 경험칙이다. 각 행 옆에는 그 작업의 실행이 기록된 대로 끝난 모습이 놓이며, 모델은 호출하지 않는다.
규칙은 한 가지 순서로 적용되며, 이 순서가 핵심이다. 첫째, 하네스가 금지하는 변경은 설계의 문제가 아니다. 6장의 게이트는 .github/ 아래의 모든 변경을 거부하고, 공개 이름을 없애는 이름 변경도 거부한다. 이런 종류의 규칙은 어떤 승인으로도 풀 수 없기 때문이다(never-class changes). 둘째, 사람의 승인이 필요하면 게이트 뒤의 에이전트다. 게이트는 변경을 적용하기 전에 먼저 물어야 하기 때문이다. 셋째, 단계가 알려져 있고 검사가 결과를 판정하면 파이프라인이고, 검사가 판정하지 못하면 모델 호출 한 번이다. 단계가 열려 있으면 에이전트다. 이 순서는 T-16에서 중요하다. 둘째 규칙만으로는 T-16이 게이트로 가지만, 첫째 규칙은 이를 거부한다.
1"""The decision table for chapter 12: every task in the set, with the author's readings (judgement, not measured), the2design the rules give, and how the task's recorded run ended. The counts at the end are the ones the chapter quotes.3No model is called."""4import json56from lib.models import RECORDED, load_recording7from lib.pipeline import ONE_CALL_SHAPE, REFUSED, TASK_SHAPES, design89yes_no = {True: "yes", False: "no"}10manifest, _ = load_recording("task-set")11stored = {row["task"]: row for row in manifest["tasks"]}12replies = [json.loads(line) for line in13 (RECORDED / "task-set" / "replies.jsonl").read_text(encoding="utf-8").splitlines() if line.strip()]1415print("task | steps known | exploration | wrong change | auto check | person | design | recorded ended | recorded done")16for task_id, s in TASK_SHAPES.items():17 rec = stored[task_id]18 print(f"{task_id} | {yes_no[s.steps_known]} | {yes_no[s.exploration]} | {s.wrong_change} | "19 f"{yes_no[s.auto_check]} | {yes_no[s.person]} | {design(s)} | {rec['ended']} | {yes_no[rec['done']]}")2021pipelines = [t for t, s in TASK_SHAPES.items() if design(s) == "fixed pipeline"]22agents = [t for t, s in TASK_SHAPES.items() if design(s) == "agent with gates"]23refused = [t for t, s in TASK_SHAPES.items() if design(s) == REFUSED]24print(f"rows with design 'fixed pipeline': {len(pipelines)}")25print(f"rows with design 'agent with gates': {len(agents)}")26print(f"rows with design 'one model call': {sum(design(s) == 'one model call' for s in TASK_SHAPES.values())}")27print(f"rows the harness refuses: {len(refused)}")28print(f"pipeline rows the recorded agent finished and passed: "29 f"{sum(stored[t]['ended'] == 'finish' and stored[t]['done'] for t in pipelines)}")30print(f"agent rows the recorded agent finished and passed: "31 f"{sum(stored[t]['ended'] == 'finish' and stored[t]['done'] for t in agents)}")32print(f"rows done in the recording: {sum(stored[t]['done'] for t in TASK_SHAPES)}")33print(f"one-call shape, not in the set: {design(ONE_CALL_SHAPE)}")34print(f"largest request in the recording, prompt tokens: {max(r['prompt_tokens'] for r in replies)}")35print(f"context window in the recording, tokens: {manifest['n_ctx']}")3637assert pipelines == ["T-01", "T-02", "T-03", "T-04", "T-05", "T-10", "T-12", "T-14", "T-20"]38assert design(ONE_CALL_SHAPE) == "one model call"39assert refused == ["T-16", "T-18"]40assert max(r["prompt_tokens"] for r in replies) < manifest["n_ctx"]
python decision-table.pytask | steps known | exploration | wrong change | auto check | person | design | recorded ended | recorded done
T-01 | yes | no | low | yes | no | fixed pipeline | step_cap | no
T-02 | yes | no | low | yes | no | fixed pipeline | step_cap | no
T-03 | yes | no | low | yes | no | fixed pipeline | ask_user | no
T-04 | yes | no | low | yes | no | fixed pipeline | finish | yes
T-05 | yes | no | low | yes | no | fixed pipeline | finish | yes
T-06 | no | yes | low | yes | no | agent with gates | step_cap | no
T-07 | no | yes | low | yes | no | agent with gates | finish | no
T-08 | no | yes | low | yes | no | agent with gates | finish | no
T-09 | no | yes | low | yes | no | agent with gates | finish | yes
T-10 | yes | no | low | yes | no | fixed pipeline | step_cap | no
T-11 | no | yes | high | yes | no | agent with gates | step_cap | no
T-12 | yes | no | low | yes | no | fixed pipeline | ask_user | no
T-13 | no | yes | low | yes | no | agent with gates | step_cap | no
T-14 | yes | no | low | yes | no | fixed pipeline | finish | yes
T-15 | no | yes | low | yes | no | agent with gates | ask_user | no
T-16 | yes | no | high | yes | yes | not a design choice: the harness refuses | step_cap | no
T-17 | no | no | high | no | yes | agent with gates | ask_user | no
T-18 | yes | no | high | yes | no | not a design choice: the harness refuses | ask_user | yes
T-19 | no | no | high | no | yes | agent with gates | ask_user | no
T-20 | yes | no | low | yes | no | fixed pipeline | ask_user | no
rows with design 'fixed pipeline': 9
rows with design 'agent with gates': 9
rows with design 'one model call': 0
rows the harness refuses: 2
pipeline rows the recorded agent finished and passed: 3
agent rows the recorded agent finished and passed: 1
rows done in the recording: 5
one-call shape, not in the set: one model call
largest request in the recording, prompt tokens: 6556
context window in the recording, tokens: 8192
규칙에 따르면 고정 파이프라인이 9개, 게이트가 있는 에이전트가 9개, 거부가 2개다. 파이프라인은 T-01부터 T-05까지, T-10, T-12, T-14, T-20이다. 실행 전에 사람이 작성할 수 있는 편집이며, 그 뒤에 테스트가 결과를 판정한다. 에이전트는 개방형 수정과 새 함수인 T-06부터 T-09까지, T-11, T-13, T-15, 그리고 단계를 알 수 없고 사람이 판단해야 하는 두 개의 중단 작업 T-17과 T-19다. 이 표는 어디를 봐야 하는지를 예측할 뿐, 실행이 어떻게 끝날지를 예측하지는 않는다.
기록된 에이전트는 이 예측을 일부만 뒷받침한다. 파이프라인 행 아홉 개 가운데 에이전트가 끝까지 마치고 통과한 것은 3개이며, T-04, T-05, T-14다. 나머지 여섯 개는 단계 상한에 걸리거나 질문을 하고 멈췄다. 에이전트 행 아홉 개 가운데 끝까지 마치고 통과한 것은 1개이며, T-09다. 전체 스무 번의 실행 중 완료된 것은 5개다. 규칙은 아홉 개 행에 파이프라인을 지정하지만, 파이프라인을 실제로 만들어 실행한 것은 그중 세 개뿐이다. 나머지 여섯 개는 예측이며, 기록에는 비교할 파이프라인 결과가 없다.
T-16은 순서를 무시하면 무엇이 잘못되는지 보여 주는 행이다. 이 작업은 parse_quantity을 parse으로 바꾸고 옛 이름을 없앤다. 6장의 게이트는 이 변경을 거부한다. 없어지는 공개 이름은 에이전트가 바꿀 수 있는 것이 아니기 때문이며, 게이트는 finish 시점에 diff를 읽을 때 이를 거부한다. 기록된 에이전트는 한 번도 묻지 않았다. 단계 상한에 이를 때까지 편집과 쓰기를 시도했고, 모두 실패했다. 게이트 뒤의 에이전트라도 하네스가 적용하지 않을 변경에 예산 전부를 쓰게 된다. 따라서 T-16은 T-18과 같은 거부이며, 올바른 결말은 이름 변경을 별도의 결정으로 다루어 달라고 유지보수자에게 하는 질문이다. 채점기의 중단 단어 approv이 찾는 것이 바로 그 질문이다. T-16을 에이전트 행에 넣으면 표는 종이 위에서는 맞고 실행에서는 틀린다.
T-18은 반대 방향의 거부다. 이 작업의 편집은 .github/ 아래에 있고, 게이트는 질문 없이 이를 거부한다. 따라서 결정하는 것은 설계가 아니라 하네스다. 이 행은 하네스의 결정을 기록하며, 이 실행에 대한 채점기의 집계는 좋은 결말이 아니라 한계다(10장).
모델 호출 한 번이라는 행에는 사례가 필요한데, 이 집합에는 사례가 없다. 모델 호출 한 번은 모델의 판단이 필요하고 도구도 반복도 없으며 출력을 나중에 사람이 읽는 단계에 맞는다. 집합에 없는 사례를 들면, diff로부터 작성하는 T-02 변경의 풀 리퀘스트용 요약이 있다. 단계는 알려져 있다. diff가 들어가고 한 문단이 나온다. 그 문단이 좋은지 판정하는 검사는 없으며, 유지보수자가 변경 후에 읽으므로 승인도 필요하지 않다. 문구는 사람이 내리는 판단이므로 파이프라인은 이를 쓸 수 없다. 에이전트는 아무것도 검사하지 않는 단계를 더할 뿐이다. Anthropic의 글도 관련된 점을 짚는다. "For many applications, however, optimizing single LLM calls with retrieval and in-context examples is usually enough"(Anthropic, "Building effective agents"). 규칙은 이 요약에 one model call을 부여하고, 예제는 이를 단언한다. 집합의 어떤 작업도 이 행에 도달하지 않는데, 각 작업에는 결과를 판정하는 검사가 있거나, 게이트로 보내는 사람의 승인이 있거나, 아무도 미리 이름 붙일 수 없는 단계가 있기 때문이다. 집합의 모든 행은 이 셋 중 하나에 속하므로 개수는 0이다. 이 장에는 이 행에 대해 기록된 단일 응답이 없으며, 그것을 만들기 위해 새 모델을 실행하지도 않는다.
작업 규칙: 설계를 고르기 전에 각 작업을 이 순서로 분류한다. 거부는 설계가 아니라 사람에게 하는 질문이다. 사람의 승인이 필요하면 게이트 뒤의 에이전트다. 단계가 알려져 있고 검사가 있으면 파이프라인이다. 단계가 알려져 있으나 검사가 없으면 출력을 사람이 읽는 단일 호출이다. 단계가 열려 있으면 에이전트이며, 그 설계가 작동한다고 믿기 전에 10장처럼 중단을 종류별로 센다.
이 장에서 내린 결정
- 확인 단계가 있는 알려진 단계의 기본값은 에이전트보다 먼저 만들고 측정하는 파이프라인이다. 이는 가장 단순한 설계로 시작하라는 조언을 따른 것이다. 이는 경험칙이다.
- 파이프라인 동작과 에이전트의 모델 호출은 따로 세며, 가격은 매기지 않는다. 그 이유는 11장에 있다.
- 거부는 사람의 승인보다 앞선다. 승인으로는 금지된 변경을 풀 수 없기 때문이다. 그 이유는 6장에서 설명한다.
- 판독은 저자의 판단이다. 이에 동의하지 않는 독자는 예제에서 판독을 바꾸고 다시 실행하면 되며, 규칙은 그대로 둔다.
- 기록된 실행은 끝난 그대로 보고하며, T-02의 기록은 아슬아슬한 실패가 아니라 반복된 실패이다.
- 이 사례에는 분할을 권하지 않는다. 컨텍스트 조건에 이르는 작업이 없으며, 이 책은 분할을 하나의 루프와 비교해 측정하지 않는다.
- 한 번의 호출로 끝내는 설계가 들어맞는 사례는 있지만, 그 사례는 집합에 없고 그 출력도 테스트로 검사하지 않는다. 규칙만 보인다.
여기서 배운 것은 규칙이 시사하는 것보다 좁다. 이 집합에서 알려진 단계의 작업은 대부분 서류상으로만 파이프라인이며, 실제로 실행해 본 것은 세 개뿐이다. 중단 작업은 그 질문으로 판정했고, 판정을 한 채점기는 이 사례에서 가장 약한 부분이다.
작업 규칙: 규칙의 파이프라인은 실행으로 측정하기 전까지 예측으로 취급하고, 만들기 전에 중단 지점이 어디인지 적어 두라.
이 판의 이 장
2026.11.2판예제 통과 2026년 11월 20이 장에서 2개 예제개 중 2개가 통과한다
영어판 2026.11.2판을 번역한 것이다.