메시지 한 건의 비용을 세어 기반 모델을 고른다
읽는 데 약 25분분 걸린다, 5절에 3개 예제이(가) 있음.
AI로 번역함. 영어 원문을 사람이 검증함. 우리가 책을 만드는 방식
영어판 2026.11.9판을 번역한 것이다. 원문 읽기
이 장을 마치면 이 책이 계속 사용하는 두 기반 모델의 이름을 말할 수 있고, 각 모델을 고정된 리비전으로 불러올 수 있으며, 모델을 확정하기 전에 라우팅 메시지 한 건의 비용을 토큰과 파라미터 단위로 셀 수 있다.
은행 지원 수신함에 들어오는 모든 메시지는 라우팅하는 데 비용이 든다. 모델이 메시지를 읽고 담당 팀을 고르는데, 라우터가 어떤 모델에서 출발하느냐가 그 비용을 정한다. 라우터는 1장에서 만드는 시스템 전체를 가리키며, 이 장에서는 그 아래에 들어갈 작은 오픈 모델을 고른다. 2장에서는 라우터를 측정할 표본을 확정했다. 이 장은 비용을 먼저 기준으로 삼아 고른다. 은행은 모델 주변에 아무것도 만들기 전에 메시지 한 건의 비용을 셀 수 있기 때문이다.
어떤 후보를 유지하는가
기반 모델(base model)은 대량의 텍스트로 이미 사전 학습된 모델이며, 이를 하나의 작업에 맞게 조정해 사용한다. 이후의 모든 장은 프롬프트, 학습, 증류, 서빙을 거치며 이 선택 위에 쌓인다. 따라서 이 선택은 근거를 바탕으로 하는 것이 좋다. 공개 모델은 많으므로 이 책은 두 가지 질문으로 범위를 좁힌다. 모델이 은행이 가진 하드웨어에서 실행될 수 있는가, 그리고 은행이 그 라이선스를 사용할 수 있는가이다.
실무에서는 라이선스가 먼저다. 라이선스는 은행이 자체 시스템에서 그 모델로 무엇을 할 수 있는지를 정하며, 은행이 실행할 수 없는 모델은 크기와 관계없이 후보가 아니다. 이 책은 각 모델의 라이선스를 해당 모델의 고정(pin) 옆에 기록하므로, 독자는 책이 사용한 것과 같은 기록을 확인할 수 있다.
첫 번째 후보는 Hugging Face에 공개된 모델 계열인 SmolLM2이다. 이 책이 고정한 커밋 기준으로 135M 모델의 모델 카드는 이 계열의 세 가지 크기를 한 문장으로 제시한다. 파라미터 수는 135M, 360M, 1.7B이다. 같은 카드는 라이선스를 license: apache-2.0로 표시하며, 이 책의 고정 기록도 책이 유지하는 두 모델 모두에 대해 같은 값을 담고 있다. 카드는 또한 135M 모델의 학습 데이터를 2조 토큰으로 제시한다. 이 수치는 135M 모델의 카드에서만 가져온 것이다.
이 책은 세 가지 크기 중 두 가지를 유지한다. 아래 목록은 두 모델을 나열하고, 그 뒤의 표는 세 모델을 각 고정이 기록한 라이선스와 함께 나란히 보여 준다.
- SmolLM2-135M-Instruct는 핵심 모델이다. 이 책의 나머지 부분에서 이 모델을 학습하고 서빙한다.
- SmolLM2-360M-Instruct는 비교용이다. 이 책은 이 모델을 불러와 파라미터 수와 층 수를 세고, 이 장과 4장에서 핵심 모델 옆에 두고 사용한다. 이 책은 이 모델을 학습하지 않는다.
| 모델 | 이 책에서의 역할 | models.toml에 고정 |
라이선스 |
|---|---|---|---|
| SmolLM2-135M-Instruct | 핵심 모델, 이 책의 나머지 부분에서 학습하고 서빙함 | 예 | Apache-2.0 |
| SmolLM2-360M-Instruct | 핵심 모델 옆에 두는 비교용 | 예 | Apache-2.0 |
| SmolLM2 1.7B | 고정하지 않았고 실행하지 않음 | 아니요 | 기록 없음 |
1.7B 모델은 이 책의 models.toml 파일에 고정되어 있지 않으며, 책은 이 모델을 실행하지 않는다. 이 책의 예제는 CPU 스레드를 두 개로 설정하므로, 각 후보는 그 한도 안에서 불러와 실행될 수 있어야 한다. 이 정도의 한도를 가진 은행에는 이 장의 나머지에서 설명하는 이유로 135M 모델을 출발점으로 권한다.
이 책의 기준점은 다른 모델이다. 사례에서는 호스팅 모델이 현재 은행의 메시지를 라우팅하며, 이 책은 그런 모델을 호출하지 않는다. 이를 대신하는 것은 Qwen3-4B-Instruct-2507이다. 이 모델은 더 큰 공개 모델로, 테스트 메시지에 대한 답을 한 번 기록한 뒤 오프라인으로 읽는다. 이 대역은 후보들을 측정할 때 비교 대상이 되는 기준선이지, 라우터의 후보가 아니다. 1장에서 이를 소개한다.
작업 규칙: 개발(dev) 분할, 즉 선택을 위해 따로 떼어 둔 학습 메시지(2장)에서 설정한 측정 기준을 통과하는 계열 내 가장 작은 모델로 시작한다. 더 작은 모델이 어떤 기준에 미달할 때만, 그리고 같은 샘플로 더 큰 모델을 측정한 뒤에만 한 단계 크기를 올린다. 이는 경험칙이다. 자신의 측정 결과가 다르게 말해 줄 때까지 유효하다.
고정된 리비전으로 각 모델 불러오기
이전 절에서 모델 두 개를 지정했다. 이름만으로는 모델 파일의 어느 버전을 불러오는지 알 수 없다. 모델은 커밋으로 이루어진 저장소에 보관되며, main 같은 브랜치는 새 커밋으로 옮겨 갈 수 있기 때문이다. 전체 커밋 해시로 고정한 리비전은 파일의 스냅숏 하나를 가리키며, 고정 파일인 examples/models.toml은 그 스냅숏에 있는 모든 파일의 SHA-256을 기록하며, 런타임은 이를 검사한다. 공용 로더는 이 커밋을 transformers 라이브러리에 넘기는데, 이 책은 transformers를 5.23.0 버전으로 고정한다. 로더는 각 모델의 커밋을 이 파일에서 찾는다.
이 파일에는 모델마다 저장소, 커밋, 라이선스, 그리고 모델에 필요한 모든 파일의 SHA-256이 들어 있다. 파일 머리말에는 런타임이 각 모델을 한 번 가져와 파일 단위로 검사한 뒤 오프라인으로 읽는다고 적혀 있다. 이 파일은 re-check models --pin가 생성하며, 머리말은 손으로 편집하지 말라고 밝힌다. 따라서 고정 값을 바꾸려는 독자는 새 커밋을 파일에 직접 입력하지 않고 이 명령을 실행한다. 고정 값이 없는 모델은 찾아볼 커밋이 없으므로 공용 로더가 불러오지 않는다.
예제는 라이브러리를 임포트하기 전에 라이브러리의 오프라인 플래그를 설정한다. 그러면 불러오기는 런타임이 이미 가진 파일만 읽는다. 로더는 가중치를 float32로 설정하고, 어텐션은 라이브러리의 기본 eager 방식으로 실행한다. 이 책의 결정성 규칙이 두 가지를 모두 고정하므로, 예제를 실행할 때마다 같은 수가 나온다. 독자의 컴퓨터에서 오프라인 불러오기가 실패하면, 다른 것을 바꾸기 전에 디스크의 파일을 고정 파일의 목록과 비교한다.
예제는 출력 쪽에서도 고정 값을 감시한다. 예제는 각 모델의 파라미터 수를 출력하므로, 모델 크기가 바뀌면 책 자체의 출력에서 한 줄이 달라진 것으로 나타난다. 이 장이 그 줄에서 인용하는 모든 수도 함께 바뀐다. 다른 수를 본 독자는 어느 고정 값을 먼저 비교해야 하는지 알 수 있다. 크기가 같은 채로 커밋만 바뀐 경우는 출력에 드러나지 않으므로, 고정 값 자체가 기록으로 남는다.
한 예제가 보관 중인 두 모델을 모두, 런타임이 가져와 고정 값과 대조해 검사한 파일에서 네트워크 없이 불러온 뒤, 이 책의 첫 크기 수치를 출력한다.
1"""Load the 135M and 360M SmolLM2 models at their pins, offline, and print each one's parameter count and layer count. The chapter's size claims rest on both lines; the parameter line is rounded to whole millions."""23import os45os.environ["HF_HUB_OFFLINE"] = "1"6os.environ["TRANSFORMERS_OFFLINE"] = "1"78import torch # noqa: E402910torch.set_num_threads(2)1112import router_lib # noqa: E4021314# Seeds, deterministic algorithms and float32, set before either model loads.15router_lib.setup_runtime()1617SMALL = "HuggingFaceTB/SmolLM2-135M-Instruct"18MEDIUM = "HuggingFaceTB/SmolLM2-360M-Instruct"192021def size(model):22 """Return (parameter count in millions, rounded to a whole number) and the layer count."""23 # parameters() yields a shared tensor once, so the tied embedding and output head count once.24 total = sum(p.numel() for p in model.parameters())25 return round(total / 1e6), model.config.num_hidden_layers262728# load_model returns (tokenizer, model). This example needs only the models.29_, small = router_lib.load_model(SMALL)30_, medium = router_lib.load_model(MEDIUM)3132small_millions, small_layers = size(small)33medium_millions, medium_layers = size(medium)3435print(f"parameters, millions, rounded: {small_millions} and {medium_millions}")36print(f"layers: {small_layers} and {medium_layers}")
python load-both-models-offline.pyparameters, millions, rounded: 135 and 362
layers: 30 and 32
파라미터는 모델이 학습 중에 익히는 수 하나이고, 레이어는 토큰이 지나가는 쌓인 블록 하나이다. 이 장에서 쓰는 크기는 파라미터와 레이어, 이 두 가지뿐이다. 360M이 둘 중 더 큰 모델이다. 출력의 첫 줄은 각 모델의 파라미터 수를 백만 단위 정수로 반올림해 보여 준다. 그 값은 135 and 362이다. 둘째 줄은 같은 순서로 레이어 수를 보여 주며, 그 값은 30 and 32이다. 속도는 여기에 들어 있지 않다. 시간은 컴퓨터에 따라 달라지기 때문이다. throughput 기록은 이름이 정해진 컴퓨터에서 분류기와 그 int8 복사본을 대역 모델과 비교해 측정한다(7장이 방법을 설명하고, 10장이 비율을 보고한다). 이 기록은 360M을 측정하지 않는다.
이 수치는 모델 카드가 아니라 여기서 모델을 불러와 얻은 것이다.
운영 환경에서 고정 값은 결과가 바뀌었을 때 가장 먼저 던지는 질문, 즉 어떤 파일이 그 결과를 만들었는가에 답한다. 모델이 바뀌면 커밋과 파일 해시가 있는 models.toml에 차이로 나타난다. 독자가 가진 모델의 출력이 책의 출력과 다르면 커밋부터 비교한다.
작업 규칙: 모든 모델을 examples/models.toml의 커밋으로 고정하고, 그 커밋과 오프라인 플래그로 불러온다. 파라미터 수와 레이어 수를 고정 값 옆에 기록한다. 그러면 모델 크기가 바뀌었을 때 뒤쪽 장에서 뜻밖의 일로 나타나지 않고 출력의 달라진 줄로 드러난다.
이 부분은 아직 번역되지 않았으므로 영어로 표시된다.
Measure what one message costs
The previous section showed what the two models are. This section shows what one message costs them. A message's cost comes from what the model reads and what it writes. The router's prompt holds the 77 team names, the message and a request for the team, and the team list is the same in every call, so every message pays for it.
The prompt opens with the sentence "Route this customer message from an online bank to one support team." It asks for the team name only, lists the teams, then gives the message and ends with the word "Team:". Everything in that text is the same from one message to the next except the message itself, so the cost of a message is the fixed text plus the message's own length.
The tokenizer turns the prompt's text into tokens, the units a model reads. The count is in tokens rather than characters because a model reads tokens. Counting needs the tokenizer's rules but no weights, so the count is the first cost you can take before you choose a design. A classifier reads the message once and returns a score for each team. A generative model reads the prompt once and then writes its answer one token at a time, and each token it writes is one more pass through the network. The later chapters use both designs.
One example counts the forward passes, each one call of the network, for a single test message under each design. It uses the 135M model with no adapter. The classifier's head is untrained here, so only the pass count matters.
1"""Count the forward passes one test_40 message costs a classifier and a generative model, with the 135M model and no adapter. The point rests on the generative line: the model makes one pass for each token it writes, plus one for the end token."""23import os45os.environ["HF_HUB_OFFLINE"] = "1"6os.environ["TRANSFORMERS_OFFLINE"] = "1"78import torch # noqa: E402910torch.set_num_threads(2)1112import router_lib # noqa: E40213from transformers import AutoModelForSequenceClassification # noqa: E4021415router_lib.setup_runtime()1617SMALL = "HuggingFaceTB/SmolLM2-135M-Instruct"18texts = [text for text, _ in router_lib.read_rows("test")]19# read_sample gives row indices into the test split; index 0 is the sample's first message.20message = texts[router_lib.read_sample("test_40")[0]]212223def count_passes(model, run):24 """Return how many forward calls the model makes while run() executes."""25 calls = []26 # A forward hook on the whole model fires once per call to its forward, so each generation step counts.27 handle = model.register_forward_hook(lambda module, args, output: calls.append(1))28 run()29 handle.remove()30 return len(calls)313233tokenizer, causal = router_lib.load_model(SMALL)34# SmolLM2's tokenizer sets a pad token; this line keeps the example working with one that doesn't.35tokenizer.pad_token = tokenizer.pad_token or tokenizer.eos_token36# The trie holds each team name's tokens, so constrained_team can write only a team name, one token per pass, then the end token.37trie = router_lib.build_trie(tokenizer)38# The pinned commit from models.toml, and the float32 weights and eager attention that load_model also sets.39# The head is new, with one score per team (77), and untrained here; only the pass count matters.40classifier = AutoModelForSequenceClassification.from_pretrained(41 SMALL, revision=router_lib._pins()[SMALL], num_labels=len(router_lib.LABELS),42 dtype=torch.float32, attn_implementation="eager",43).eval()44# The classification head finds each message's last token through this id, so the config needs it too.45classifier.config.pad_token_id = tokenizer.pad_token_id4647classifier_passes = count_passes(classifier, lambda: router_lib.classify(classifier, tokenizer, [message]))48answers = []49generative_passes = count_passes(causal, lambda: answers.append(router_lib.constrained_team(tokenizer, causal, trie, message)))50# answers[0] holds (label index, label text). The text is encoded with a leading space, as the model writes it after "Team:".51answer_tokens = len(tokenizer.encode(" " + answers[0][1], add_special_tokens=False))5253print(f"classifier forward passes: {classifier_passes}")54print(f"generative forward passes: {generative_passes}")55print(f"answer tokens, end token not counted: {answer_tokens}")
python count-forward-passes.pyclassifier forward passes: 1
generative forward passes: 8
answer tokens, end token not counted: 7
A generative model's cost grows with its answer, and a classifier's does not. For this message the classifier makes 1 pass. The generative model makes 8 passes, one for each of the 7 tokens in its answer and one for the end token.
A second example counts the router prompt's tokens for each of the 40 messages in the fixed test sample, using the 135M model's tokenizer. It runs no model.
1"""Count the router prompt's tokens for each message in test_40, with the 135M model's tokenizer. No model runs. The point rests on the mean line: a day's prompt cost is the mean, not the median, times the number of messages."""23import os45os.environ["HF_HUB_OFFLINE"] = "1"6os.environ["TRANSFORMERS_OFFLINE"] = "1"78import torch # noqa: E402910torch.set_num_threads(2)1112import router_lib # noqa: E40213from transformers import AutoTokenizer # noqa: E4021415router_lib.setup_runtime()1617SMALL = "HuggingFaceTB/SmolLM2-135M-Instruct"1819# Only the tokenizer is read from the pinned commit; no weights load.20tokenizer = AutoTokenizer.from_pretrained(SMALL, revision=router_lib._pins()[SMALL])2122texts = [text for text, _ in router_lib.read_rows("test")]23# read_sample gives row indices into the test split, in the order the sample lists them.24messages = [texts[i] for i in router_lib.read_sample("test_40")]2526# router_prompt builds the same prompt the router sends. encode keeps its default, so any special tokens are counted too.27counts = sorted(len(tokenizer.encode(router_lib.router_prompt(message))) for message in messages)2829# The median of an even count is the lower of the two middle values, so it is a whole number of tokens.30median = counts[(len(counts) - 1) // 2]3132total = sum(counts)33mean = round(total / len(counts))3435print(f"messages: {len(counts)}")36print(f"prompt tokens min: {counts[0]}")37print(f"prompt tokens median: {median}")38print(f"prompt tokens max: {counts[-1]}")39print(f"prompt tokens total: {total}")40print(f"prompt tokens mean, rounded: {mean}")
python count-prompt-tokens.pymessages: 40
prompt tokens min: 580
prompt tokens median: 585
prompt tokens max: 614
prompt tokens total: 23493
prompt tokens mean, rounded: 587
The prompts differ only in their messages, because the team list is the same text in every prompt. So the spread runs from 580 tokens for the shortest prompt to 614 for the longest, with a median of 585 tokens. The median is the lower of the two middle values, so it is a whole number of tokens.
In production, the count moves when the team list moves. Adding a team adds its name to every prompt, so every message costs more from that day on. Rerun the count after each change to the list, and keep the list in the same order, so that the rest of the prompt does not change with it.
To turn the count into a figure for a day, use the mean, not the median, because a day's prompt tokens are the sum of its prompts. The 40 sample messages total 23493 tokens, a mean of 587 tokens each. The mean is above the median here, so the median times the count would undercount the prompt tokens. Multiply the mean by the number of messages the router handles that day to get the prompt tokens it reads, before any output is counted. The output side depends on the design, and the designs come in later chapters.
This section gives counts only. The time a message takes is the recording's job, as the load step noted.
Working rule: Count the prompt's tokens with the tokenizer of the model you will run, before you choose a design, and count again whenever the prompt changes. The count belongs to that tokenizer, so a count from another model's tokenizer answers a different question.
135M이 핵심인 이유
앞선 절들은 135M 모델의 위치를 정했다. 이 모델은 더 작고, 이 책의 나머지 부분에서 학습하고 서비스하는 모델이다. 이 절은 그렇게 선택한 이유를 설명하고, 그 선택이 아직 입증되지 않은 부분이 어디인지 밝힌다.
작은 모델이 메시지를 분류해 담당 팀으로 보내게 하는 방법은 크게 두 가지다. 하나는 프롬프트에서 어느 팀을 고를지 모델에 묻는 것이다. 다른 하나는 레이블이 붙은 메시지로 모델을 학습시키는 것이다. Bucher와 Martini는 2024년 프리프린트에서 파인튜닝한 BERT 계열 모델과, 제로샷으로 프롬프트를 준 ChatGPT, Claude Opus 같은 대형 호스팅 모델을 비교했다. 이들의 초록은 파인튜닝한 작은 모델이 프롬프트를 준 큰 모델보다 일관되고 유의미하게 앞선다고 보고한다(arXiv:2406.08660v2). 이 비교는 작은 모델끼리가 아니라, 파인튜닝한 작은 모델과 프롬프트를 준 큰 모델을 맞세운 것이며, 하나의 프리프린트에서 나온 결과일 뿐이다. 이 책은 이를 파인튜닝한 작은 모델을 먼저 측정해야 하는 근거로 삼는다. 파인튜닝한 모델이 받은 메시지함(실제 수신 메시지)에서 이긴다는 증명으로 삼지는 않는다.
두 설계는 실패하는 방식도 다른데, 비용 수치로는 이 차이가 드러나지 않는다. 생성 모델은 답을 텍스트로 쓰므로, 그 텍스트가 77개 팀 중 어느 것도 아닌 문자열일 수 있다. 분류기는 77개 팀 각각에 점수를 매기므로 답이 항상 그중 하나이고, 확신이 없는 메시지를 사람에게 넘기는 인계 규칙은 이 점수를 읽는다. 4장은 생성 모델의 답을 77개 이름으로 제한하고, 5장은 분류기를 학습시킨다.
비용에 관한 이유는 로드 단계의 수치에 근거한다. 출력된 두 수치 모두에서 135M 모델이 더 작다. 파라미터는 135 and 362백만 개, 레이어는 30 and 32개이며, 각 쌍에서 앞의 값이 135M 모델의 수치다. 135M 모델의 모델 카드는 이 모델을 온디바이스에서 실행할 만큼 가볍고 다양한 작업을 수행할 수 있다고 설명한다. 수치의 근거는 이 책의 예제이고, 설명의 근거는 모델 카드다.
모델 카드는 모델이 해야 할 일도 제한한다. "These models should be used as assistive tools rather than definitive sources of information." 이 단서는 라우터의 설계와 맞는다. 이 정도 크기의 모델은 지원 담당자를 돕는 어시스턴트이며, 확신이 없는 메시지는 사람에게 간다. 1장이 이 인계를 소개한다.
이 장은 135M 모델이 기준을 통과한다는 점을 보이지 않는다. 4장은 두 모델을 같은 메시지로 실행하는데, 이것이 이 절에 없는 비교다. 5장은 레이블이 붙은 메시지로 135M 모델을 학습시키고, 2장에서 정한 기준에 따라 개발 분할에서 측정한다. 그때까지 이 선택은 비용 수치와 위의 연구에 근거한다.
세 가지 경우에는 이 선택이 바뀔 수 있으며, 각각 논쟁이 아니라 측정으로 결정된다. 135M 모델이 파인튜닝 후 개발 기준 하나를 충족하지 못하면, 다음 단계는 같은 학습 행으로 360M을 학습시키고 같은 방식으로 측정해 개발 분할에서 두 모델을 비교하는 것이다. 135M 모델이 개발 기준을 통과하지만 지원 담당자가 감당할 수 있는 양보다 많은 메시지를 넘긴다면, 조절 수단은 인계 임계값이다. 5장은 이 임계값을, 그에 따른 인계 비율과 함께 개발 분할에서 정한다. 은행이 다른 종류의 메시지를 라우팅한다면 선택은 처음부터 다시 시작된다. 이 장의 기준은 은행 메시지를 설명할 뿐 다른 메시지는 설명하지 않기 때문이다.
이 선택에는 독자가 따져 봐야 할 비용이 있으며, 이 장은 그것을 측정하지 않는다. 어느 모델의 로드 시간도 실행 시간도 제시하지 않으며, 첫 번째 절의 작업 규칙은 선택을 확정하기 전에 그 측정을 요구한다. 이 장은 잠정적으로 선택하고, 이후의 장들이 같은 기준으로 이를 확인하거나 대체한다.
작업 규칙: 더 작은 모델을 먼저 파인튜닝하고, 테스트 분할을 보기 전에 정한 기준에 따라 개발 분할에서 측정한다. 더 작은 모델이 개발 분할에서 기준 하나를 충족하지 못할 때까지는 더 큰 모델을 비교용으로 남겨 두고, 테스트 분할을 보고 모델을 바꾸지 않는다.
더 큰 모델에 필요한 것
이전 절에서는 더 작은 모델을 선택했고, 더 큰 모델인 SmolLM2-360M-Instruct에 대한 질문은 열어 두었다. 이 절에서는 그 질문에 무엇이 필요한지, 그리고 이 책이 그에 대해 무엇을 알고 무엇을 알지 못하는지를 정리한다.
더 큰 모델이 좁은 범위의 작업에서 자동으로 더 나은 모델이 되는 것은 아니다. 2024년에 처음 게시되어 EMNLP 2025에 채택된 한 연구는 여덟 개의 언어 모델과 여덟 개의 텍스트 분류 작업에서 파인튜닝, 지시 튜닝, 프롬프트, 문맥 내 학습을 비교한다. 이 연구의 초록은 더 큰 모델이 일관되게 더 나은 성능이나 더 낮은 분산을 보이지는 않는다고 결론짓는다(arXiv:2402.12819v4). 이는 하나의 연구일 뿐이며, 이 책은 이를 더 큰 모델을 배제하는 근거가 아니라 더 큰 모델을 측정해야 하는 근거로 사용한다.
남은 질문은 135M과 같은 방식으로 학습한 360M이 추가 비용을 상쇄할 만큼의 차이로 dev 지표를 통과하는지 여부이다. 이 책은 360M을 학습하지 않으므로 그 답을 알지 못한다. 이 책의 예제가 사용하는 두 개의 CPU 스레드에서 360M 학습에 걸리는 시간과 메모리도 측정하지 않았다. 4장에서는 같은 프롬프트에 대한 비교 대상으로 360M을 사용한다.
그 답을 알고 싶은 독자는 이 책이 따르는 것과 같은 경로를 따라가면 된다. 360M은 이미 고정되어 있고 로드 단계에서 보듯이 오프라인으로 로드된다. 라우터 프롬프트의 토큰을 360M의 토크나이저로 센 다음, 135M과 같은 학습 행으로 학습한다. 각 단계는 별개의 변경이고 비교는 같은 데이터 위에서 이루어지므로, 두 결과를 dev 분할에서 나란히 놓고 볼 수 있다.
이 계열에서 가장 큰 모델인 1.7B는 훨씬 더 많은 것을 요구한다. 이 책은 이 모델을 고정하지 않았으며, 이에 대해 어떤 주장도 하지 않는다.
더 큰 모델이 메시지당 드는 비용은 처리하는 모든 메시지마다 발생하며, 이 책은 360M에 대해 그 비용을 측정하지 않는다. 로드 단계는 학습하기 전에도 360M이 얼마나 더 큰지를 이미 보여 준다. 각 쌍에서 앞의 값이 135M의 값이며, 파라미터는 135 and 362백만 개, 레이어는 30 and 32개이다. 7장의 throughput 기록은 지정된 머신에서 분류기와 그 int8 사본을 대역 모델과 비교해 측정하지만, 여기에 360M은 들어 있지 않다.
이 장에서 내린 결정은 다음과 같으며, 독자는 이를 자기 은행의 요구와 대조해 볼 수 있다.
- 핵심 모델은 SmolLM2-135M-Instruct이고, 비교 대상은 SmolLM2-360M-Instruct이다.
- 두 모델은 공유 로더를 통해 오프라인으로,
examples/models.toml에 있는 커밋으로 로드된다. - 라우터 프롬프트의 비용은 135M 모델의 토크나이저로 토큰 단위로 세며, 이 계산을 위해 어떤 모델도 실행하지 않는다.
- 이 장에는 시간이나 메모리 수치가 나오지 않는다. 그 수치는 이후에 지정된 머신에서 측정한 결과로 제시된다.
- 360M은 이 책에서 학습하지 않는다.
앞으로 가져갈 교훈은, 공개된 연구가 더 큰 모델이 도움이 되지 않을 수 있다고 말해 줄 수는 있어도 실제로 도움이 되는지는 자신의 샘플에 대한 자신의 측정만이 알려 준다는 것이다.
작업 규칙: 더 큰 모델을 선택하기 전에, 더 작은 모델에 사용한 것과 같은 방식으로 학습하고, 자신의 머신에서 같은 dev 및 test 샘플로 측정한다. 공개된 점수가 아니라 그 모델의 지표와 해당 머신에서 실행하는 데 드는 비용으로 판단한다.
이 판의 이 장
2026.11.9판예제 통과 2026년 11월 20이 장에서 3개 예제개 중 3개가 통과한다
영어판 2026.11.9판을 번역한 것이다.