불확실할 때 사람에게 넘기는, 은행 수신함용 라우터 만들기

읽는 데 약 25분분 걸린다, 6절에 4개 예제이(가) 있음.

2026.11.9판 예제 통과 2026년 11월 20 36개 예제 중 36개 통과 변경 사항

AI로 번역함. 영어 원문을 사람이 검증함. 우리가 책을 만드는 방식

영어판 2026.11.9판을 번역한 것이다. 원문 읽기

이 장을 마치면 메시지 하나에 대해 팀, 신뢰도, 인계 여부 표시를 반환하는 라우터를 만들 수 있다. 또한 고정된 표본에서 세 가지 척도로 점수를 매길 수 있으며, 학습하지 않은 소형 모델을 주어진 그대로 프롬프트하는 방식이 왜 라우터의 첫 버전이 될 수 없는지 이해하게 된다.

은행에 들어오는 고객 메시지는 하나의 지원 대기열에 쌓이며, 이 책은 이를 수신함이라고 부른다. 라우터는 수신함의 메시지를 각각 77개의 팀 가운데 하나로 보낸다. 모든 메시지에 팀을 정해 주는 라우터는 가끔 잘못된 팀을 고른다. 잘못된 팀은 고객의 시간을 낭비시키고, 지원 직원에게는 메시지를 다시 넘겨야 하는 수고를 더한다. 이 장에서는 확신이 없을 때 그렇다고 알리는 라우터를 만든다.

팀은 라우터가 반환할 수 있는 레이블이며, 예를 들면 card_arrival가 있다. 팀은 사람의 집단이 아니다. 메시지를 읽는 사람은 은행의 지원 직원이고, 라우터가 넘기지 못하는 메시지는 이들 가운데 한 사람에게 간다.

메시지와 팀은 은행 고객 메시지로 이루어진 공개 데이터셋인 BANKING77에서 가져왔으며, 이 데이터셋은 CC BY 4.0으로 공개되어 있다. BANKING77은 각 레이블을 의도(intent)라고 부른다. 이 책은 이후로 이를 팀이라고 부르며, 레이블은 데이터셋에 나온 그대로 적는다.

라우터는 시스템 전체를 가리킨다. 모델, 프롬프트, 임계값, 그리고 메시지를 다음으로 보내는 코드가 모두 라우터다. 이 장에서는 거친 라우터를 만든다. 임계값이 임시 값이고 모델이 대용품이면 라우터는 거칠다고 한다. 그래도 이 라우터는 모든 메시지에 답을 반환하고 모든 출력에 점수를 매길 수 있으므로 동작하는 라우터다. 필요한 것은 Python과 호스팅된 모델 API 호출 한 번이며, 이는 이미 작성해 본 적이 있을 수도 있다. 이 장은 트랜스포머가 내부에서 어떻게 동작하는지 알고 있을 것을 요구하지 않는다. 내부 구조가 중요해지는 곳에서는 한 문장으로 설명한다.

먼저 두 가지 공유 요소가 있다. 첫째는 테스트 메시지에 대한 대용 모델의 답을 기록한 것으로, 모델에 묻기에 관한 절에서 소개한다. 대부분의 예제는 이 답을 오프라인으로 읽으며, 한 예제는 실패를 보여 주는 절에서 소형 모델을 직접 실행한다. 둘째는 router_lib로, 이 책의 examples 폴더에 있는 공유 모듈이다. 여기에는 팀 레이블, 라우터 프롬프트, 인계 규칙, 척도가 들어 있다. 모든 예제가 이 모듈을 가져다 쓰므로 함수는 어느 장에서나 같은 뜻을 가진다.

라우터가 반환하는 것

마지막으로 변경된 판: 2026.11.9판

메시지 하나에 대해 라우터는 세 가지를 반환한다. 팀은 레이블 중 하나이며, 레이블 그 자체로 적는다. 신뢰도는 라우터가 그 팀을 얼마나 확신하는지를 0에서 1 사이의 수로 나타낸 것이다. 인계 플래그는 신뢰도가 너무 낮아 메시지를 그대로 보낼 수 없을 때 참이 되며, 이때는 사람이 메시지를 맡는다.

이 장에서 신뢰도는 좁은 의미를 가진다. 제약된 답에 대해 llama-cpp-python이 반환하는 확률이며, 기록에는 로그 확률로 남는다. 쉽게 말해, 모델이 자신이 쓴 팀에 얼마나 많은 확률을 두었는지를 뜻한다. 식으로 쓰면 신뢰도 = exp(log p(토큰)의 합)이며, 이는 답을 이루는 토큰들의 확률의 곱이다. 토큰은 모델이 읽고 쓰는 텍스트 조각이다. 이것은 5장에서 사용하는, 팀들에 대한 softmax가 아니다. 이것은 보정된 확률이 아니라 점수이며, 일정한 크기의 신뢰도가 그 팀이 맞는 빈도와 일치한다는 것을 이 장은 어디에서도 보이지 않는다. 5장에서는 개발 분할에서 보정을 확인한다. 개발 분할은 설정을 고르기 위해 따로 떼어 둔 학습 메시지이며(2장), 메시지를 신뢰도 구간으로 묶어 각 구간의 개수와 정확도를 출력한다.

출력 무엇인가 어디에 쓰이는가
팀 은행 레이블 집합의 레이블 하나 플래그가 거짓일 때 메시지를 보낼 목적지
신뢰도 제약된 답에 대해 llama-cpp-python이 반환하는 확률, 점수로서 인계 규칙
인계 플래그 신뢰도가 임계값보다 낮을 때 참 메시지를 맡는 사람

플래그가 가장 중요하며, 그 이유는 운영에 있다. 항상 팀을 반환하는 라우터는 모든 메시지를 어딘가로 보내며, 라우팅할 근거가 없는 메시지도 예외가 아니다. 인계는 메시지를 라우팅할 수 있는 사람에게 넘기고, 확신이 없을 때 그렇다고 말하는 라우터는 그 사람의 일을 눈에 보이게 한다. 아래 절들의 각 측정값을 출력만으로 계산할 수 있도록, 모든 라우터가 참이든 거짓이든 매 답마다 플래그를 반환할 것을 권한다.

라우터가 확신이 없을 때 그렇다고 말하게 하는 것은 연구 문헌에서 선택적 분류 또는 거부 옵션이라는 이름을 가진다. Geifman과 El-Yaniv의 2017년 심층 신경망 프리프린트가 이 절충을 설명한다. 일부 입력을 거부하는 분류기는 그만큼 적은 입력을 다루게 되며, 이 기법들은 적용 범위를 포기하는 대가로 분류기가 남겨 둔 입력에 대한 심층 신경망의 예측을 잠재적으로 크게 개선할 수 있다. 이들의 방법은 사용자가 목표 위험 수준을 정할 수도 있게 한다. 이 책의 인계 규칙은 그렇게 하지 않는다. 이 규칙은 따로 떼어 둔 데이터에서 임계값을 고르며, 남는 위험에 대해서는 어떤 보장도 하지 않는다.

이 장의 측정은 채점을 위해서만 팀을 반환한다. 인계 절의 메시지 하나짜리 예제는 플래그가 거짓일 때만 팀을 반환한다.

작업 규칙: 모든 팀과 함께 플래그를 반환하고, 플래그가 참일 때마다 메시지를 사람에게 보낸다. 플래그가 거짓일 때만 호출자에게 팀을 반환한다. 플래그를 없애면 라우터가 더 완결된 것처럼 보이더라도 플래그를 유지한다. 인계 측정이 그 플래그를 세기 때문이다.

모델에 팀 하나를 묻는다

마지막으로 변경된 판: 2026.11.2판

라우터의 팀은 모델이 정하고, 모델은 프롬프트로 조종된다. 프롬프트는 은행이 라우터에서 가장 자주 바꾸는 부분이므로 한곳에서 고정한다. router_prompt는 메시지 하나에 대한 프롬프트 하나를 만든다. 이 프롬프트는 팀 하나를 요구하고, 모든 팀의 이름과 메시지를 모델에 주며, 끝에 모델이 이어서 완성할 Team:라는 단어를 둔다. 프롬프트에는 팀 이름과 라우팅할 메시지 하나만 들어 있으므로, 표본의 다른 메시지는 그 메시지와 함께 모델에 전달되지 않는다.

실제 실행과 기록된 실행은 모두 router_lib.router_prompt의 같은 프롬프트 문구를 사용하므로 모든 실행에서 문구는 같다. 그러나 모델이 읽는 내용이 항상 같지는 않다. 기록에서는 그 문구를 대역 모델의 채팅 템플릿으로 감싸고, 작은 모델에 관한 절의 실제 실행에서는 작은 모델에 템플릿 없이 원문 그대로 준다. 프롬프트가 바뀌면 다른 기록이 되므로, 그 점수를 이전 점수와 비교할 수 없다. 프롬프트는 라우터 버전의 일부이다. 프롬프트를 바꾸는 독자는 이 책이 모델 변경을 기록하는 것과 같은 방식으로 그 변경을 기록해야 한다.

이 책에서 조직을 가리키는 이름은 은행뿐이다. 은행의 실제 라우터는 메시지마다 호출하는 호스팅 모델이다. 우리에게는 그런 모델에 접근할 권한이 없고, 이 책은 호스팅 모델을 호출하지 않는다. 그 대신 더 작은 공개 모델인 Qwen3-4B-Instruct-2507을 대역으로 쓰며, 이 책의 모든 라우터는 대역 모델의 답을 기준으로 측정한다. 독자가 가진 호스팅 모델은 일부 메시지에 다르게 답할 수 있고, 그만큼 점수도 달라진다.

누구나 답을 재현할 수 있기 때문에 이 모델을 대역으로 골랐다. 이 책이 고정한 리비전의 파일에 대해 GGUF 저장소의 모델 카드가 밝히듯, 라이선스는 Apache-2.0이다. 파일은 Qwen3-4B-Instruct-2507-Q4_K_M.gguf이며, llama-cpp-python 라이브러리가 CPU에서 실행하는 양자화 빌드이다. 기록 매니페스트에는 파일의 SHA-256이 적혀 있으므로, 파일을 내려받은 독자는 무엇이든 실행하기 전에 검증할 수 있다.

대역 모델은 테스트 메시지 1,001개의 고정 표본인 test_1001의 모든 메시지에 한 번씩 답했고, test_40은 그 가운데 처음 40개 메시지이다. 기록에는 단계마다 가장 가능성이 높은 토큰을 고르는 탐욕 디코딩과 고정된 시드를 사용했다. 또한 팀 이름만 허용하는 문법을 사용했으므로, 기록된 모든 답은 77개의 레이블 중 하나이다. 기록된 답이 항상 팀 이름인 것은 이 문법 때문이다. 4장에서 이 문법을 설명한다. 작은 모델에 관한 절의 실패를 바로잡는 것도 같은 발상이기 때문이다.

독자가 자신의 모델을 가지고 있다면 같은 방식으로 그 모델의 답을 기록할 수 있다. 함수 call_model 하나를 작성하면 된다. 이 함수는 메시지 하나를 받아 팀과 답의 로그 확률을 반환한다. 답의 로그 확률은 대역 모델의 기록에 저장된 방식대로 답을 이루는 토큰들의 로그 확률의 합이다. record_answers 함수는 표본의 모든 메시지에 대해 이 함수를 호출하고, 메시지마다 대역 모델의 형식으로 한 줄씩 쓰며, 함수가 팀 이름이 아닌 이름을 반환하면 오류를 발생시킨다. 나머지는 모든 모델에서 같으므로, 같은 표본에 대한 두 기록은 줄 단위로 비교할 수 있다.

record-your-own-answers.py Python 3.12.15 · torch 2.15.0+cpu · transformers 5.23.0 통과
"""Write a model's team answers in the stand-in's JSONL shape, then check record_answers against the stand-in's recording.The line to read is the last one printed, which counts the lines that match the recording. The stand-in here replaysthat recording, so no model runs."""import osos.environ["HF_HUB_OFFLINE"] = "1"os.environ["TRANSFORMERS_OFFLINE"] = "1"import json  # noqa: E402import tempfile  # noqa: E402import torch  # noqa: E402torch.set_num_threads(2)import router_lib  # noqa: E402router_lib.setup_runtime()def record_answers(call_model, messages, path):    """Write one JSONL line per (index, text); call_model(text) returns (team, logprob)."""    with open(path, "w") as out:        for index, text in messages:            team, logprob = call_model(text)            if team not in router_lib.LABELS:                raise ValueError("the model returned a name that is not a team")            label = router_lib.LABELS.index(team)  # stored as the label, the same encoding as the gold labels            row = {"index": index, "label": label, "team": team, "logprob": logprob}            out.write(json.dumps(row) + "\n")RECORDING = router_lib.HERE / "data" / "recorded" / "standin-baseline" / "answers.jsonl"rows = router_lib.read_rows("test")  # each row is (text, gold label)sample = router_lib.read_sample("test_40")messages = [(i, rows[i][0]) for i in sample]  # element 0 of a row is its text, which the model readswith open(RECORDING) as f:    recording_lines = f.read().splitlines()recorded = {json.loads(line)["index"]: json.loads(line) for line in recording_lines}  # keyed by message indexby_text = {rows[i][0]: (recorded[i]["team"], recorded[i]["logprob"]) for i in sample}  # keyed by text, not indexdef standin(text):    """Stand in for a model: return the recorded team and logprob for this message."""    return by_text[text]with tempfile.TemporaryDirectory() as folder:    path = os.path.join(folder, "answers.jsonl")    record_answers(standin, messages, path)    with open(path) as f:        written = f.read().splitlines()matching = sum(line in recording_lines for line in written)  # a line matches when it equals a recorded line exactlyprint(f"messages written: {len(written)}")print(f"lines matching the recording: {matching}/{len(written)}")
출력python record-your-own-answers.py
messages written: 40
lines matching the recording: 40/40

자신의 기록을 믿기 전에 대역 모델의 답에 대해 record_answers를 확인하라. 여기서는 대역 함수가 기록을 재생하므로, 이 확인은 모델이 아니라 record_answers를 시험한다. 이 함수가 쓰는 모든 줄이 기록과 일치하며, 40개 전부가 그렇다. 이 함수를 자신의 모델을 호출하는 함수로 바꾸면, 같은 확인으로 자신의 기록이 대역 모델의 기록과 같은 형태인지 알 수 있다.

작업 규칙: 모든 모델을 같은 고정 표본에서 채점하고, 대역 모델과 비교하기 전에 record_answers로 그 답을 기록하라. 각 점수가 어느 표본의 것인지 밝히고, 표본이 일치할 때만 두 점수를 나란히 놓아라.

이 부분은 아직 번역되지 않았으므로 영어로 표시된다.

Hand off the unsure messages

마지막으로 변경된 판: 2026.11.9판

The stand-in's answers give each message a confidence, and this section turns that confidence into the hand-off flag.

The hand-off rule is one comparison. handoff(confidence, threshold) returns true when the confidence is below the threshold, and false when it is equal to the threshold or above it. A message that is handed off goes to a person. A message that is not handed off goes to the team the router named. Every route in this book that returns a team to a caller uses this function, so no caller can receive a team without the decision having been made.

The rule is simple to read, and the work is in choosing the number. This chapter uses a placeholder threshold, 0.5, and every output that uses it says so. A placeholder threshold has no rule behind it: it is a number that lets the rule run.

Chapter 5 chooses the threshold on the dev split, by a rule stated there. It records the chosen value in the adapter's manifest, so a reader can see which threshold a result used and what it was chosen on. The test sample is never used to choose it. Until then, the placeholder is the only threshold this chapter has, and its results are for teaching the measures, not for judging the router.

The hand-off rate is the share of messages that go to a person, and it moves with the threshold. Raise the threshold and more messages go to people; lower it and more go straight to a team. The trade-off is the reason the choice is a measured one. Chapter 5 shows the trade-off on the dev split, at more than one setting, before it picks one.

route-one-message.py Python 3.12.15 · torch 2.15.0+cpu · transformers 5.23.0 통과
"""Route the first message of test_40 from the stand-in's recorded answer, at the placeholder threshold.The prose reads the printed team and the hand-off line. No model runs here, and the message's text is never printed."""import osos.environ["HF_HUB_OFFLINE"] = "1"os.environ["TRANSFORMERS_OFFLINE"] = "1"import json  # noqa: E402import math  # noqa: E402import torch  # noqa: E402torch.set_num_threads(2)import router_lib  # noqa: E402router_lib.setup_runtime()THRESHOLD = 0.5  # Placeholder. Chapter 5 chooses the threshold on the dev split.RECORDING = router_lib.HERE / "data" / "recorded" / "standin-baseline" / "answers.jsonl"def route(row):    """Return (team, confidence, handed off) for one recorded answer. The team is None when handed off."""    confidence = math.exp(row["logprob"])  # the recording stores a log-probability; exp gives a probability    flag = router_lib.handoff(confidence, THRESHOLD)  # True below THRESHOLD, and for a NaN; equal to THRESHOLD is kept    return (None if flag else row["team"]), confidence, flagwith open(RECORDING) as f:    recorded = {r["index"]: r for r in map(json.loads, f)}  # keyed by message index, as the sample lists themfirst = router_lib.read_sample("test_40")[0]  # the first of the sample's 40 message indexesteam, confidence, flag = route(recorded[first])assert not flag  # the prose states this message is kept; a change that hands it off fails the runprint(f"team: {team or 'none (handed off)'}")print(f"confidence: {confidence:.2f}")print(f"handed off: {'yes' if flag else 'no'}")
출력python route-one-message.py
team: top_up_reverted
confidence: 1.00
handed off: no

Follow one message through the whole route, from the recorded answer to a printed team. The example takes the first message of test_40, reads the stand-in's recorded answer for it, and routes it through handoff at the placeholder threshold. It prints the team, the confidence rounded to two places and whether the message was handed off, and it never prints the message's text. This message's confidence is 1.00, which clears the placeholder, so the router keeps the message and returns its team, top_up_reverted. The script asserts that the message is not handed off. One message shows the shape of the output. It can't show how often the router is right.

Working rule: Choose the threshold on the dev split, never on the test sample, and report the hand-off rate beside accuracy every time. While the threshold is a placeholder, say so in each output, and keep its accuracy out of any claim about the router's result.

고정된 표본으로 라우터 점수 매기기

마지막으로 변경된 판: 2026.11.2판

라우터는 담당 팀이 이미 알려진 메시지로 점수를 매긴다. 이 장은 40개의 시험 메시지로 이루어진 고정 표본 test_40을 사용하므로, 모든 독자가 같은 메시지를 같은 순서로 채점한다. 2장은 표본을 어떻게 추출했는지, 설정을 고르는 데 어느 분할을 쓰는지, 시험 표본을 그 선택에서 왜 제외하는지를 설명한다. 아래의 수치는 이 표본만을 기술한다.

라우터는 세 가지 수치로 측정하며, 각 수치에는 그 개수를 함께 적는다.

  • 정확도는 팀이 정답 레이블과 일치하는 메시지 수를 표본의 전체 메시지 수로 나눈 값이다. 이관된 메시지도 분모에 포함되며, 팀이 틀렸다면 오답이다.
  • 이관율은 확신도가 임계값보다 낮은 메시지 수를 전체 메시지 수로 나눈 값이다.
  • 이관되지 않은 메시지의 정확도는 라우터가 직접 처리하는 메시지 중 맞은 메시지 수를 라우터가 처리하는 메시지 수로 나눈 값이다. 라우터가 처리하는 메시지가 하나도 없으면 정의되지 않음으로 보고한다.

각 측정값은 서로 다른 질문에 답한다. 정확도는 전체적으로 라우터가 얼마나 자주 맞는지를 묻는다. 이관율은 작업 중 얼마만큼이 사람에게 넘어가는지를 묻는다. 이관되지 않은 메시지의 정확도는 라우터가 직접 처리하는 메시지를 곧바로 팀에 보내도 되는지를 묻는다. 정확도만으로는 두 종류의 오류를 구분할 수 없다. 이관된 잘못된 팀도 정확도를 떨어뜨리고, 검토 없이 팀에 도달한 잘못된 팀도 마찬가지로 정확도를 떨어뜨린다. 두 번째 종류의 오류를 따로 드러내는 것은 세 번째 수치뿐이며, 지원 담당자가 직접 체감하는 것도 이 종류의 오류이다.

route-recorded-answers.py Python 3.12.15 · torch 2.15.0+cpu · transformers 5.23.0 통과
"""Score the stand-in's recorded answers on test_40, with a placeholder hand-off threshold.The last printed line, accuracy on messages not handed off, is the one the prose reads against the others: it is theaccuracy of the messages a team receives. No model runs here, and the answers come from the recording."""import osos.environ["HF_HUB_OFFLINE"] = "1"os.environ["TRANSFORMERS_OFFLINE"] = "1"import json  # noqa: E402import math  # noqa: E402import torch  # noqa: E402torch.set_num_threads(2)import router_lib  # noqa: E402router_lib.setup_runtime()THRESHOLD = 0.5  # Placeholder. Chapter 5 chooses the threshold on the dev split.RECORDING = router_lib.HERE / "data" / "recorded" / "standin-baseline" / "answers.jsonl"answers = {}with open(RECORDING) as f:    for line in f:        row = json.loads(line)        answers[row["index"]] = rowrows = router_lib.read_rows("test")sample = router_lib.read_sample("test_40")golds = [rows[i][1] for i in sample]  # element 1 of a test row is its gold label; element 0 is its textpreds = [answers[i]["label"] for i in sample]  # the recorded label is the team's position in LABELS, as the gold isconfs = [math.exp(answers[i]["logprob"]) for i in sample]  # exp turns each recorded log-probability into a confidence# metrics applies the hand-off rule at THRESHOLD; accuracy's denominator still includes handed-off messagesresult = router_lib.metrics(preds, golds, confs, THRESHOLD)n = result["n"]print(f"messages: {n}")print(f"placeholder threshold: {THRESHOLD}")print(f"accuracy: {result['correct']}/{n} ({result['accuracy']:.1%})")print(f"handed off: {result['handed_off']}/{n} ({result['handoff_rate']:.1%})")if result["accuracy_not_handed_off"] is None:  # None when the router keeps no message, so the measure is undefined    print("accuracy on messages not handed off: not defined (0 messages not handed off)")else:    m = result["not_handed_off"]    print(        f"accuracy on messages not handed off: {result['correct_not_handed_off']}/{m} "        f"({result['accuracy_not_handed_off']:.1%})"    )
출력python route-recorded-answers.py
messages: 40
placeholder threshold: 0.5
accuracy: 20/40 (50.0%)
handed off: 2/40 (5.0%)
accuracy on messages not handed off: 20/38 (52.6%)

다음은 자리 표시자 임계값에서 이 표본에 대해 구한 세 측정값이다. 예제는 기록된 답을 읽고, 그 확신도에 임계값을 적용한 다음, 각 측정값을 개수와 함께 출력한다. 눈여겨볼 줄은 이관되지 않은 메시지의 정확도이다. 팀이 실제로 받는 메시지의 정확도이기 때문이다.

세 측정값을 함께 보면, 자리 표시자 임계값은 팀을 보호하지 못한다. 라우터는 표본의 20/40 (50.0%)에서 맞는데, 어느 팀도 이 수준을 그대로 받아들여서는 안 된다. 임계값이 이관하는 메시지는 2/40 (5.0%)뿐이므로 표본의 대부분이 팀에 도달한다. 이렇게 처리된 메시지가 올바르게 분류되는 비율은 20/38 (52.6%)로, 표본 전체의 정확도보다 조금 높을 뿐이다. 모든 메시지에 팀을 반환하는 라우터는 아직 은행이 사용할 수 있는 라우터가 아니다.

이처럼 작은 표본은 라우터가 실패한다는 것과 측정값이 어떻게 변하는지를 보여 줄 수는 있다. 그러나 두 라우터를 확신을 가지고 구분할 수는 없다. 2장은 더 큰 표본을 제시하고, 5장은 같은 종류의 표본에서 5장에서 선택한 임계값을 측정한다.

작업 규칙: 정확도, 이관율, 이관되지 않은 메시지의 정확도를 같은 고정 표본에서 각각의 개수와 함께 모두 보고하고, 두 라우터를 비교할 때는 둘 다 그 표본에서 측정한 경우에만 비교한다.

먼저 작은 모델이 하는 일을 보인다

마지막으로 변경된 판: 2026.11.2판

가장 손쉬운 지름길은 대역을 버리고 작은 모델에 직접 묻는 것이다. SmolLM2-135M-Instruct는 이 책이 다루는 계열에서 가장 작은 모델이며, 이 책의 나머지 부분에서 핵심 모델로 쓰인다. 이 모델은 CPU에서 실행되고, 고정된 리비전에서 오프라인으로 불러온다. 이 모델이 팀 이름으로 답한다면 라우터에는 기록된 답이 전혀 필요하지 않다. 따라서 다른 무엇을 만들기 전에 이 지름길을 먼저 시험해 볼 만하다.

이 시험은 라우터가 던질 질문과 같은 질문을 모델에 던진다. 모델은 표본의 첫 20개 메시지에 대한 라우터 프롬프트를 받으며, 답에는 제약이 없고 토큰 수는 몇 개로 제한한다. 먼저 추측해 보자. 모델이 목록에 묶여 있지 않을 때, 그 답 가운데 팀 이름은 몇 개일까? 그런 다음 세어 본다.

unconstrained-first-try.py Python 3.12.15 · torch 2.15.0+cpu · torchao 0.18.0+cpu · transformers 5.23.0 통과
"""Ask the 135M model for a team with the raw router prompt and no constraint, on the first 20 messages of test_40.Look at the last printed line, which counts the answers that are exactly a team name. The answers stay in this fileand are never returned to a caller."""import osos.environ["HF_HUB_OFFLINE"] = "1"os.environ["TRANSFORMERS_OFFLINE"] = "1"import torch  # noqa: E402torch.set_num_threads(2)import router_lib  # noqa: E402router_lib.setup_runtime()SMALL = "HuggingFaceTB/SmolLM2-135M-Instruct"tokenizer, model = router_lib.load_model(SMALL)rows = router_lib.read_rows("test")sample = router_lib.read_sample("test_40", n=20)  # the first 20, to keep the run shortteams = set(router_lib.LABELS)answers = []with torch.no_grad():    for i in sample:        # the raw prompt: no chat template and no grammar, so the model may write anything        inputs = tokenizer(router_lib.router_prompt(rows[i][0]), return_tensors="pt")        # at most 10 new tokens, and greedy: the most likely token at each step        out = model.generate(            **inputs, max_new_tokens=10, do_sample=False, pad_token_id=tokenizer.eos_token_id        )        # the output starts with the prompt, so skip its tokens and keep only the answer        new_tokens = out[0, inputs["input_ids"].shape[1] :]        answers.append(tokenizer.decode(new_tokens, skip_special_tokens=True).strip())print(f"messages: {len(answers)}")# an answer counts only when it is exactly a team name, with no extra words around itprint(f"answers that are a team name: {sum(a in teams for a in answers)}/{len(answers)}")
출력python unconstrained-first-try.py
messages: 20
answers that are a team name: 0/20

모델의 답 가운데 팀 이름인 것은 하나도 없으므로, 라우터가 팀으로 보낼 것이 없다. 이 측정은 모델의 답을 보관할 뿐 호출한 쪽에 돌려주지 않는다.

이 실패가 작은 모델은 결코 라우팅할 수 없다는 것을 보여 주지는 않는다. 이 모델에 이런 방식으로 물으면 팀이 반환되지 않는다는 점만 보여 준다. 해결책은 두 가지이며 차례대로 다룬다. 4장은 답을 제약하여 모델이 팀 이름만 쓸 수 있게 한다. 5장은 모델 위에 헤드를 학습시켜, 한 번의 순전파로 각 팀에 점수를 매긴다. 이 장은 둘 중 어느 것도 하지 않으며, 그래서 이 장의 라우터는 대역이 기록해 둔 답으로 실행된다.

작업 규칙: 모델에 무엇이든 라우팅시키기 전에, 고정된 표본에서 팀 이름인 답의 수를 세고 그 수를 표본의 크기와 비교한다. 모델이 모든 메시지에 대해 팀을 반환하지 않으면, 그 상태로는 라우팅에 쓰지 않는다. 답을 팀으로 제약하거나, 그 작업에 맞게 모델을 학습시킨다. 팀이 아닌 답에 인계 규칙을 적용하면 존재하지 않는 팀을 보호하는 셈이다.

단순한 라우터가 무너지는 지점

마지막으로 변경된 판: 2026.11.2판

단순한 라우터는 실제 운영에서 네 가지 방식으로 무너지며, 각각은 지원 담당자가 볼 수 있는 징후를 남긴다.

첫째는 존재하지 않는 팀 이름이다. 자유 텍스트 모델은 목록에 없는 팀이나 문장을 쓸 수 있고, 그 텍스트를 그대로 넘기는 라우터는 메시지를 아무에게도 보내지 않은 셈이 된다. 대역의 녹음은 문법이 레이블만 허용하므로 이런 일이 생기지 않지만, 독자의 모델에서는 생길 수 있다. 징후는 팀 이름이 아닌 답이며, 제약 없는 테스트는 팀 이름인 답의 수를 센다. 라우터는 이런 답을 오류로 취급하고, 그 수를 세고, 메시지를 사람에게 넘겨야 한다. record_answers는 이미 이 경우에 오류를 발생시키며, 라우터도 같은 방식으로 처리해야 한다.

둘째는 드리프트이다. 대역의 답은 그 답을 녹음할 때 쓴 파일, 프롬프트, 표본에 대해서만 성립한다. 녹음의 매니페스트에는 파일의 SHA-256, 프롬프트의 해시, 디코딩, 표본이 적혀 있으므로, 이 중 하나라도 바뀌면 다른 녹음이다. 코드를 바꾸지 않았는데 점수가 움직인 것을 본 독자는 먼저 매니페스트를 비교하고, 그다음에 프롬프트를 비교해야 한다.

셋째는 더 이상 맞지 않게 된 임계값이다. 한 개발 분할에서 고른 임계값은 메시지의 구성이 바뀌면 맞지 않게 될 수 있다. 징후는 새 개발 메시지로 라우터를 측정할 때 인계 비율이나 인계되지 않은 메시지의 정확도가 변하는 것이다. 5장은 임계값을 그것을 고른 개발 분할과 함께 기록하므로, 은행은 그 수가 무엇에 맞추어졌는지 확인할 수 있고, 9장은 이 변화를 감시한다.

넷째는 비용과 사람에게 가는 부담이다. 호스팅되는 모델은 호출마다 요금을 부과한다. 은행이 직접 운영하는 라우터는 자체 머신의 연산으로 비용이 발생하며, 3장은 메시지 하나의 비용을 토큰 수와 순전파 횟수로 세고, 10장은 기록된 속도를 청구 금액으로 바꾼다. 인계는 하나하나가 사람의 일이며, 인계 비율은 그 일이 차지하는 몫이다. 플래그의 비용이 빠지는 일이 없도록, 라우터에 관한 모든 보고서에 정확도와 나란히 인계 비율을 싣기를 권한다.

자신이 확신하지 못할 때를 말하지 못하는 라우터는 실수를 감추며, 플래그는 그 실수를 셀 수 있게 만든다. 이 장은 다음과 같은 결정을 내렸다. 이후의 장은 이를 유지하거나, 바꾸면서 이유를 밝힌다.

  • 라우터는 팀, 확신도, 인계 플래그를 반환하며, 팀을 반환하는 모든 경로는 handoff를 거친다.
  • 임계값은 5장에서 개발 분할을 기준으로 고르기 전까지는 임시 값이다.
  • 모든 라우터는 같은 고정 표본에서 정확도, 인계 비율, 인계되지 않은 메시지의 정확도로 채점하며, 각 값 옆에 개수를 함께 적는다.
  • 대역은 기준선이며, 그 답은 녹음되어 있다. 독자의 모델도 record_answers로 같은 방식으로 답을 녹음한다.
  • 모든 메시지에 팀을 반환하지는 못하는 모델은 아직 라우터가 아니다.

이 판의 이 장

2026.11.9판예제 통과 2026년 11월 20이 장에서 4개 예제개 중 4개가 통과한다

영어판 2026.11.9판을 번역한 것이다.

이 절 인용

형식

각 형식은 이 번역이 따르는 영문 원서를 출처로 표기한다.

모든 형식은 이 판을 명시한다. 링크는 현재 판을 열며, 여기서 절의 제목은 본문이 마지막으로 바뀐 시점을 알려 준다. 접근 날짜와 검색 날짜는 이 자료를 여는 날짜다.

이 페이지의 내용

10장 중 1장: 불확실할 때 사람에게 넘기는, 은행 수신함용 라우터 만들기

  1. 라우터가 반환하는 것
  2. 모델에 팀 하나를 묻는다
  3. Hand off the unsure messages
  4. 고정된 표본으로 라우터 점수 매기기
  5. 먼저 작은 모델이 하는 일을 보인다
  6. 단순한 라우터가 무너지는 지점

맨 위로 돌아가기전체 장