Meça a tarefa de roteamento antes de escolher um modelo

Cerca de 23 minutos min de leitura, com 3 exemplos em 5 seções.

Edição 2026.11.9 Exemplos aprovados em 20 de nov de 2026 36 de 36 exemplos passam O que mudou

Traduzido com IA. Verificado por pessoas em inglês. Como fazemos os livros

Traduzido do livro em inglês, edição 2026.11.9. Leia o original

Ao final deste capítulo, você saberá dizer para que serve cada uma das amostras do livro, calcular as três medidas pelas quais o roteador é avaliado, com seus denominadores, e ler uma linha de base que foi registrada uma única vez e é reutilizada em cada comparação.

Hoje, um modelo hospedado roteia as mensagens que chegam à caixa de suporte do banco. O roteador do livro é um pequeno modelo aberto que o banco executaria por conta própria, e a questão é se ele consegue igualar esse modelo hospedado nas mensagens que mantém, e se declara quando não tem certeza sobre uma mensagem. Antes de qualquer modelo ser comparado, a comparação precisa de dados fixos, amostras fixas e medidas fixas. Caso contrário, dois números parecidos podem vir de mensagens diferentes ou ser divididos por contagens diferentes.

Este livro não chama um modelo hospedado; por isso, usa um substituto, um modelo aberto maior: Qwen3-4B-Instruct-2507. Suas respostas vêm da conversão GGUF Q4_K_M de 4 bits que um terceiro publicou, na revisão fixada, com respostas limitadas aos 77 nomes de equipe. Ele responde a cada mensagem de teste uma única vez, em uma gravação, e os exemplos leem essas respostas offline, de modo que qualquer pessoa pode reproduzi-los. Um leitor com um modelo próprio pode registrar as respostas dele da mesma forma, como mostra o capítulo 1.

Os dados e sua licença

Última alteração na edição 2026.11.2

O roteador é treinado e medido com o BANKING77, um conjunto de dados público de consultas de atendimento ao cliente no domínio bancário (Casanueva et al., 2020). Cada mensagem recebe um dos 77 rótulos. O BANKING77 chama seus rótulos de intents; eles são as equipes da caixa de entrada (capítulo 1).

Casanueva et al. (2020) apresentam o conjunto de dados em Efficient Intent Detection with Dual Sentence Encoders, nos anais do 2nd Workshop on Natural Language Processing for Conversational AI, páginas 38–45 (ID no Anthology 2020.nlp4convai-1.5; arXiv 2003.04807). O resumo do artigo o descreve como um conjunto de dados difícil, de um único domínio, com 13,083 exemplos rotulados distribuídos em 77 intents, e a seção 3 do artigo apresenta a mesma contagem para o conjunto do domínio bancário, que eles chamam de BANKING 77. O cartão de dados informa o commit de onde vêm os arquivos. Os dois arquivos juntos contêm as mesmas 13,083 mensagens, que a próxima seção contabiliza.

O cartão de dados também registra os fatos em que o livro se apoia. Ele diz que os arquivos são uma cópia da divisão de treino e teste da própria fonte, que não é refeita, e que cada equipe aparece nos dois arquivos. Um roteador treinado no arquivo de treino e avaliado no arquivo de teste é avaliado nas mensagens reservadas da própria fonte, não em uma divisão que o livro escolheu.

A licença é CC BY 4.0. O arquivo LICENSE que fica ao lado dos dados começa com "Attribution 4.0 International". Sob essa licença, os dados podem ser compartilhados e adaptados, desde que a fonte seja creditada. O livro mantém o arquivo de licença ao lado dos dados e traz a citação no cartão de dados, de modo que o leitor que reutilizar os arquivos tenha o que a licença exige.

As mensagens permanecem como foram publicadas. Nenhum exemplo imprime o texto das mensagens, e nenhum capítulo as cita, de modo que o conteúdo das mensagens não chega a nenhuma página. Tudo o que os exemplos imprimem a partir dos dados é uma contagem ou uma taxa.

Regra prática: mantenha o arquivo de licença ao lado dos dados, cite o artigo no cartão de dados e imprima contagens, nunca o texto das mensagens. Se você reutilizar um conjunto de dados de mensagens reais de clientes, leia o seu cartão antes de imprimir qualquer coisa dele, e cite a fonte onde os dados estão documentados.

Conjuntos de desenvolvimento, de teste e amostras fixas

Última alteração na edição 2026.11.9

Os dois arquivos do conjunto de origem não bastam por si sós. Um roteador precisa de mensagens para ajustar, mensagens para relatar e um conjunto pequeno que os exemplos possam executar em segundos. Cada um deles precisa ser fixado com antecedência, ou um resultado posterior pode ser explicado por uma amostra diferente, e não por um modelo diferente.

O conjunto de desenvolvimento é extraído do arquivo de treinamento, nunca do arquivo de teste. Para cada equipe, na ordem do arquivo de categorias, o livro sorteia cerca de um décimo das mensagens de treinamento dessa equipe com uma semente fixa e registra os números das linhas em examples/data/banking77/samples.json. As mensagens de treinamento que não estão no desenvolvimento são as que os modelos usam para treinar. Como o sorteio é feito equipe por equipe, a parcela de cada equipe no desenvolvimento acompanha a sua parcela no arquivo de treinamento, e uma equipe com poucas mensagens de treinamento mantém uma pequena parcela no desenvolvimento, e não nenhuma.

O conjunto de teste é o arquivo reservado da própria origem. O livro sorteia uma amostra estratificada dele, 13 mensagens para cada equipe, o que resulta em 1001 mensagens no total. A amostra é embaralhada uma única vez, com o mesmo gerador usado no sorteio do desenvolvimento, continuando a partir dele, e a ordem embaralhada é registrada. Três prefixos dessa ordem recebem nome. As primeiras 40 mensagens da amostra de teste embaralhada são test_40, as primeiras 200 são test_200, e a amostra inteira é test_1001. Um prefixo de uma amostra embaralhada é um sorteio aleatório, então test_40 não lê as equipes em ordem.

As contagens vêm das amostras registradas, e o livro cita apenas essas. O primeiro deles, count-the-splits, também verifica que cada número de linha do desenvolvimento é único e cai dentro do arquivo de treinamento, de modo que toda mensagem de desenvolvimento é uma linha de treinamento, e que test_40 e test_200 são as primeiras 40 e as primeiras 200 de test_1001.

O primeiro ponto a observar é o tamanho de cada conjunto e o quão desigualmente as equipes se distribuem entre eles. A contagem não exige modelo, então o leitor pode executá-la primeiro. Ela lê o arquivo de treinamento, o arquivo de teste e a amostra de desenvolvimento, e conta cada conjunto:

count-the-splits.py Python 3.12.15 · torch 2.15.0+cpu · transformers 5.23.0 Aprovado
"""Count each BANKING77 split and its messages per team, and check the committed samples; no model runs.The prose's point rests on the four "per label" lines for the test and training files."""import osos.environ["HF_HUB_OFFLINE"] = "1"os.environ["TRANSFORMERS_OFFLINE"] = "1"import torch  # noqa: E402torch.set_num_threads(2)import router_lib  # noqa: E402from collections import Counter  # noqa: E402router_lib.setup_runtime()train = router_lib.read_rows("train")test = router_lib.read_rows("test")dev = router_lib.read_sample("dev")  # dev row numbers index train.csv, never test.csvassert len(set(dev)) == len(dev), "dev indices repeat"assert max(dev) < len(train), "dev indices fall outside train.csv"train_per_label = Counter(label for _, label in train)test_per_label = Counter(label for _, label in test)test_1001 = router_lib.read_sample("test_1001")  # committed order: prefixes are the first n of ittest_40 = router_lib.read_sample("test_40")test_200 = router_lib.read_sample("test_200")# test_40 and test_200 are prefixes of the shuffled order, not new drawsassert test_1001[:40] == test_40, "test_40 is not the first 40 of test_1001"assert test_1001[:200] == test_200, "test_200 is not the first 200 of test_1001"sample_per_label = Counter(test[i][1] for i in test_1001)  # rows are (text, label index); [1] is the labeltrain_counts = [train_per_label[i] for i in range(len(router_lib.LABELS))]  # one entry per team, so a team with no rows counts 0test_counts = [test_per_label[i] for i in range(len(router_lib.LABELS))]sample_counts = [sample_per_label[i] for i in range(len(router_lib.LABELS))]print(f"train rows: {len(train)}")print(f"dev rows: {len(dev)}")print(f"test rows: {len(test)}")print(f"labels: {len(router_lib.LABELS)}")print(f"test per label min: {min(test_counts)}")print(f"test per label max: {max(test_counts)}")print(f"train per label min: {min(train_counts)}")print(f"train per label max: {max(train_counts)}")print(f"test_1001 per label min: {min(sample_counts)}")print(f"test_1001 per label max: {max(sample_counts)}")
Saídapython count-the-splits.py
train rows: 10003
dev rows: 1003
test rows: 3080
labels: 77
test per label min: 40
test per label max: 40
train per label min: 35
train per label max: 187
test_1001 per label min: 13
test_1001 per label max: 13

O arquivo de teste é equilibrado, com a mesma contagem para cada equipe, e o arquivo de treinamento não é: suas equipes vão de 35 mensagens a 187. Essa dispersão é o motivo pelo qual o sorteio do desenvolvimento é feito equipe por equipe, e não como um único décimo aleatório do arquivo. O mínimo e o máximo do próprio arquivo de teste, 40 e 40, são iguais.

A amostra estratificada também é uniforme, com 13 a 13 mensagens por equipe.

O arquivo de teste uniforme é uma propriedade da origem, e o livro depende dela. Contagens iguais por equipe significam que o conjunto de teste não recompensa um roteador por ser bom na maior equipe. Um roteador que se sai bem numa amostra com contagens desiguais pode parecer melhor do que é, porque a maior parte da sua pontuação vem das equipes com mais mensagens.

Capítulo 5 escolhe o limiar de transferência no desenvolvimento e registra a escolha no manifesto do adaptador. A regra por trás dessa escolha é ajustar no desenvolvimento, nunca no teste. O prompt, o modelo e a receita são fixados antes que qualquer resultado de teste seja lido, nenhum deles é alterado por causa de um resultado, e os resultados de teste são lidos uma única vez, para relatá-los, nas amostras fixas acima.

Em produção, a mesma regra vale para a caixa de entrada. Mantenha um conjunto de desenvolvimento tirado de mensagens que a caixa de entrada já possui, e mantenha um conjunto de teste que ninguém leia enquanto o roteador está sendo ajustado. Um conjunto de teste que é lido durante o ajuste ainda parece um conjunto de teste, mas deixa de medir qualquer coisa nova, e um roteador que depois for medido nele parecerá melhor do que será no tráfego que vem em seguida.

Regra prática: Tire o desenvolvimento apenas de linhas de treinamento, equipe por equipe, com uma semente fixa, e registre os seus números de linha. Sorteie cada amostra de teste uma única vez, registre a sua ordem e leia-a apenas para relatar. Escolha todo limiar, prompt e configuração no desenvolvimento. Quando o desenvolvimento for pequeno demais para decidir, sorteie mais mensagens de desenvolvimento do arquivo de treinamento, nunca do arquivo de teste.

Três medidas, cada uma com seu denominador

Última alteração na edição 2026.11.2

As amostras indicam quais mensagens devem ser pontuadas. As medidas indicam o que contar. Um roteador que devolve uma equipe, uma confiança e um indicador de encaminhamento pode ser pontuado de três maneiras, e cada uma responde a uma pergunta diferente para o banco que o executa.

A acurácia pergunta com que frequência a equipe indicada pelo roteador é a correta. A taxa de encaminhamento pergunta com que frequência uma pessoa precisa ler uma mensagem. A acurácia nas mensagens não encaminhadas pergunta com que frequência o roteador acerta nas mensagens que ele mantém. Cada pergunta tem seu próprio denominador, e o livro mantém as três separadas em cada linha de saída. A confiança é a probabilidade que o roteador atribui à sua equipe, e o limiar é o valor abaixo do qual uma mensagem é encaminhada, como o capítulo 1 os define.

Medida Conta Dividido por
Acurácia Mensagens cuja equipe é igual à equipe de referência Todas as mensagens da amostra
Taxa de encaminhamento Mensagens cuja confiança está abaixo do limiar Todas as mensagens da amostra
Acurácia nas mensagens não encaminhadas Mensagens corretas entre as não encaminhadas Mensagens não encaminhadas

Como fórmulas, com N mensagens na amostra: acurácia = corretas / N; taxa de encaminhamento = encaminhadas / N; acurácia nas mensagens não encaminhadas = corretas entre as mantidas / mantidas, em que mantidas = N menos encaminhadas.

Duas regras tornam essas medidas comparáveis entre candidatos. A primeira é que uma mensagem encaminhada conta no denominador da acurácia, como errada quando sua equipe está errada. A acurácia, por si só, não recompensa um encaminhamento, porque uma mensagem encaminhada só conta como correta quando sua equipe está certa. A acurácia nas mensagens não encaminhadas, tomada isoladamente, esconde o custo do encaminhamento, porque deixa de fora exatamente as mensagens que foram para pessoas. A taxa de encaminhamento mostra esse custo. Os três números devem ser lidos em conjunto, e um roteador que é melhor em apenas um deles ainda não demonstrou que é melhor.

A segunda regra diz respeito à impressão. Toda taxa é arredondada para uma casa decimal, como porcentagem, e é impressa ao lado de sua contagem, para que o leitor possa conferi-la dividindo à mão. Uma taxa sem contagem ao lado não pode ser conferida, e uma taxa impressa sem seu denominador pode ser citada de um modo que esconde sua amostra.

Quando o denominador da terceira medida é zero, a medida não está definida. Isso acontece quando todas as mensagens são encaminhadas, de modo que nenhuma mensagem é mantida. Nesse caso, o livro imprime "não definida", como mostra a seção de linha de base, e não imprime zero, porque zero diria que cada mensagem mantida estava errada, quando não há mensagem mantida alguma.

Essas medidas pontuam rótulos. Os scripts deste capítulo, e as medições do capítulo 1 e do capítulo 4, devolvem equipes apenas para serem pontuadas, e não devolvem nada a quem os chama. Um roteador que devolve uma equipe a quem o chama faz isso pela regra de encaminhamento que o capítulo 1 apresenta, de modo que uma mensagem abaixo do limiar vai para uma pessoa, e não para uma equipe.

Em produção, a taxa de encaminhamento é a medida que muda primeiro. A mistura de mensagens muda com as estações, com o lançamento de um produto ou com uma falha que inunda a caixa de entrada com um mesmo tipo de pergunta. Um roteador cuja acurácia se mantém ainda pode encaminhar muito mais mensagens do que a divisão de desenvolvimento previu, e a única forma de ver isso é imprimir a taxa com sua contagem sobre o tráfego que o roteador de fato recebe.

Regra prática: Imprima cada uma das três medidas com sua contagem e seu denominador, e arredonde toda taxa para uma casa decimal. Informe a acurácia nas mensagens não encaminhadas ao lado da taxa de encaminhamento, nunca isoladamente. Quando nenhuma mensagem é mantida, imprima "não definida" em vez de zero.

A linha de base a partir das respostas gravadas

Última alteração na edição 2026.11.2

Uma medida significa pouco até que algo seja pontuado com ela. A linha de base é a pontuação do modelo substituto no test_1001, a amostra que a comparação final do capítulo 10 usa. Capítulos posteriores pontuam candidatos em seus prefixos, test_40 e test_200, que são as primeiras 40 e as primeiras 200 mensagens da mesma amostra fixa. Cada prefixo é pontuado a partir da mesma gravação, de modo que a linha de base nele corresponde às mesmas respostas para as mesmas mensagens.

O modelo substituto respondeu a cada uma das mensagens em test_1001 uma única vez. As respostas estão armazenadas em uma gravação, examples/data/recorded/standin-baseline/answers.jsonl, e cada resposta indica uma equipe e fornece sua log-probabilidade. O registro tem um manifesto ao lado. O manifesto indica o script que gerou o registro, o modelo e sua revisão fixada, o hash do prompt, as configurações de decodificação e a semente, além do hash do arquivo de respostas. O código verifica o arquivo de respostas contra esse hash antes de ler uma única linha, de modo que um arquivo alterado faz a execução falhar em vez de alterar uma pontuação.

A gravação é lida, não executada. Todo exemplo que usa a linha de base lê as mesmas respostas, de modo que a linha de base não pode mudar de uma execução para outra, mesmo que o ambiente de execução que gerou o registro seja atualizado depois. A razão para gravar, em vez de chamar um modelo em cada exemplo, é a mesma razão pela qual as revisões são fixadas. Um registro fixa as respostas de um modelo em uma revisão, de modo que um leitor que execute o mesmo exemplo mais tarde verá os mesmos números. O livro nunca chama uma API hospedada, porque as respostas de um modelo hospedado não são fixadas da mesma forma. O modelo substituto é um modelo aberto que qualquer pessoa pode executar, e seu registro é o único caminho até as respostas dele que o livro adota.

A linha de base também não é um teto. Ela é a pontuação que um candidato precisa superar nas mesmas mensagens, e sozinha nada diz sobre o compromisso entre encaminhamento e acerto. Um candidato que supera a linha de base em acurácia ainda pode encaminhar mais mensagens do que a equipe de suporte consegue ler. Por isso, a linha de base é sempre lida ao lado das três medidas, e nunca como um número isolado.

Quanto custa o limiar provisório? Pontuado com as três medidas em test_1001, o modelo substituto mostra quantas mensagens um limiar de 0.5 encaminha e com que frequência ele acerta nas demais. Sua confiança é a probabilidade que llama-cpp-python retorna para sua resposta restringida, que é o exp da log-probabilidade registrada. Esse limiar é o provisório do capítulo 1, portanto sua taxa de encaminhamento não é a taxa final do livro, e o capítulo 5 escolhe o limiar real no conjunto dev. O exemplo também aplica um limiar acima de todas as confianças, o que encaminha todas as mensagens.

baseline-measures.py Python 3.12.15 · torch 2.15.0+cpu · transformers 5.23.0 Aprovado
"""Score the stand-in's recorded answers on test_1001 with the three measures, at chapter 1's placeholder threshold and at one above every confidence; no model runs. The point rests on the accuracy and hand-off lines, and the answers' hash is checked first."""import hashlib, json, math, osos.environ.update(HF_HUB_OFFLINE="1", TRANSFORMERS_OFFLINE="1")import torch  # noqa: E402torch.set_num_threads(2)import router_lib  # noqa: E402router_lib.setup_runtime()PLACEHOLDER = 0.5  # Chapter 5 chooses the real threshold on the dev split.ABOVE_ALL = 1.01  # Confidence is at most 1.0, so this hands off every message.RECORDED = router_lib.HERE / "data" / "recorded" / "standin-baseline"manifest = json.loads((RECORDED / "manifest.json").read_text())raw = (RECORDED / "answers.jsonl").read_bytes()assert hashlib.sha256(raw).hexdigest() == manifest["output_sha256"]["answers.jsonl"]answers = {row["index"]: row for row in map(json.loads, raw.decode().splitlines())}  # keyed by test.csv row, not by sample positionrows = router_lib.read_rows("test")sample = router_lib.read_sample("test_1001")golds = [rows[i][1] for i in sample]  # in the sample's committed order, so position k of each list is one messagepreds = [answers[i]["label"] for i in sample]# Confidence is the probability llama-cpp-python returns for the constrained answer: exp of its log-probability.confs = [math.exp(answers[i]["logprob"]) for i in sample]n = len(sample)first = router_lib.metrics(preds, golds, confs, PLACEHOLDER)  # one call returns the counts and rates of all three measureshigh = router_lib.metrics(preds, golds, confs, ABOVE_ALL)print(f"messages: {n}")print(f"placeholder threshold: {PLACEHOLDER}")print(f"accuracy: {first['correct']}/{n} ({first['accuracy']:.1%})")print(f"handed off: {first['handed_off']}/{n} ({first['handoff_rate']:.1%})")m = first["not_handed_off"]print(f"accuracy on messages not handed off: {first['correct_not_handed_off']}/{m} ({first['accuracy_not_handed_off']:.1%})")print(f"threshold above every confidence: {ABOVE_ALL}")print(f"handed off at that threshold: {high['handed_off']}/{n} ({high['handoff_rate']:.1%})")if high["accuracy_not_handed_off"] is None:  # None means no message is kept, so the measure has no denominator    print("accuracy on messages not handed off at that threshold: not defined (0 messages not handed off)")else:    print(f"accuracy on messages not handed off at that threshold: {high['correct_not_handed_off']}/{high['not_handed_off']}")
Saídapython baseline-measures.py
messages: 1001
placeholder threshold: 0.5
accuracy: 560/1001 (55.9%)
handed off: 30/1001 (3.0%)
accuracy on messages not handed off: 554/971 (57.1%)
threshold above every confidence: 1.01
handed off at that threshold: 1001/1001 (100.0%)
accuracy on messages not handed off at that threshold: not defined (0 messages not handed off)

No limiar provisório, o modelo substituto acerta 560/1001 (55.9%) e encaminha 30/1001 (3.0%). Nas mensagens que mantém, sua acurácia é 554/971 (57.1%).

Com um limiar acima de todas as confianças, a taxa de encaminhamento é 1001/1001 (100.0%), de modo que a acurácia nas mensagens não encaminhadas é not defined (0 messages not handed off).

O modelo hospedado do próprio leitor é uma linha de base diferente. Ela terá pontuação diferente nas mesmas mensagens, e o livro não afirma que os números do modelo substituto sejam os números da caixa de entrada. A linha de base do leitor são as respostas gravadas do modelo dele sobre test_1001, pontuadas com as três medidas deste capítulo. A comparação que importa é entre o candidato do leitor e essa linha de base, nas mesmas mensagens, com as mesmas contagens.

A próxima seção conta as respostas erradas do modelo substituto e mostra entre quais equipes elas caem. A contagem de respostas erradas é o primeiro número da linha de base.

Regra prática: Grave a linha de base uma única vez, em test_1001, a amostra fixa da qual saem todos os prefixos de cada candidato. Guarde a revisão fixada do modelo, o hash do prompt e as configurações de decodificação em um manifesto, e verifique o arquivo de respostas contra o hash antes de ler uma linha. Compare cada candidato somente com a linha de base pontuada nas mesmas mensagens, seja test_40, test_200 ou test_1001. Quando o seu próprio modelo hospedado for a linha de base, grave as respostas dele do mesmo modo e diga no relatório que as pontuações dele diferem das do modelo substituto.

Onde os rótulos colidem

Última alteração na edição 2026.11.2

As contagens da linha de base dizem com que frequência o substituto erra. Elas não dizem quais equipes ele confunde, e são essas confusões que a equipe de suporte pode tratar. Um par de equipes que o roteador confunde pode precisar de uma descrição de equipe mais clara, de uma regra para esse par ou de mais mensagens para uma das duas equipes no treinamento. Nada disso se sabe pela contagem total; por isso, o livro lê os pares a partir das respostas registradas, em vez de presumir quais equipes são parecidas.

Contar as respostas erradas exige o próprio registro. Por isso, o próximo exemplo o lê, confere-o com o manifesto, verifica se ele contém exatamente as mensagens de test_1001, e então conta as respostas erradas e os três pares de equipe correta e resposta que mais ocorrem. Empates são desfeitos pela posição de cada equipe no arquivo de categorias, de modo que os mesmos pares são impressos na mesma ordem em toda execução.

confusions-in-the-baseline.py Python 3.12.15 · torch 2.15.0+cpu · transformers 5.23.0 Aprovado
"""Count the stand-in's wrong answers, its three most frequent gold-to-answer pairs and the teams it never answers, on test_1001; no model runs. The point rests on the "pair" and "never answered" lines."""import hashlib, json, osos.environ.update(HF_HUB_OFFLINE="1", TRANSFORMERS_OFFLINE="1")import torch  # noqa: E402torch.set_num_threads(2)import router_lib  # noqa: E402from collections import Counter  # noqa: E402router_lib.setup_runtime()RECORDED = router_lib.HERE / "data" / "recorded" / "standin-baseline"manifest = json.loads((RECORDED / "manifest.json").read_text())raw = (RECORDED / "answers.jsonl").read_bytes()assert hashlib.sha256(raw).hexdigest() == manifest["output_sha256"]["answers.jsonl"]records = [json.loads(line) for line in raw.decode().splitlines()]sample = router_lib.read_sample("test_1001")assert sorted(r["index"] for r in records) == sorted(sample), "recorded rows differ from test_1001"assert all(router_lib.LABELS[r["label"]] == r["team"] for r in records), "label and team disagree"test, LABELS = router_lib.read_rows("test"), router_lib.LABELSgold_totals = Counter(test[i][1] for i in sample)answered = Counter(r["label"] for r in records)pairs = Counter((test[r["index"]][1], r["label"]) for r in records if r["label"] != test[r["index"]][1])  # (gold, answer); [1] is the gold labelwrong = sum(pairs.values())# Ties break on the lower gold label index, then the lower answer index.top = sorted(pairs.items(), key=lambda kv: (-kv[1], kv[0][0], kv[0][1]))[:3]never = sorted(team for k, team in enumerate(LABELS) if answered[k] == 0)  # sorted by name, so uppercase names print firstprint(f"messages: {len(sample)}")print(f"wrong answers: {wrong}")print(f"wrong rate: {100 * wrong / len(sample):.1f}% ({wrong} of {len(sample)})")for rank, ((gold, answer), count) in enumerate(top, start=1):    print(f"pair {rank} count: {count}")    print(f"pair {rank} gold: {LABELS[gold]}")    print(f"pair {rank} answer: {LABELS[answer]}")    print(f"pair {rank} of gold team: {count}/{gold_totals[gold]}")print(f"teams never answered: {len(never)}")for rank, team in enumerate(never, start=1):    gold = LABELS.index(team)    count, answer = max(((c, a) for (g, a), c in pairs.items() if g == gold), key=lambda ca: (ca[0], -ca[1]))  # most frequent wrong answer; ties go to the lower answer index    print(f"never answered {rank} team: {team}")    print(f"never answered {rank} messages: {gold_totals[gold]}")    print(f"never answered {rank} most often as: {LABELS[answer]}")    print(f"never answered {rank} most often count: {count}")
Saídapython confusions-in-the-baseline.py
messages: 1001
wrong answers: 441
wrong rate: 44.1% (441 of 1001)
pair 1 count: 13
pair 1 gold: Refund_not_showing_up
pair 1 answer: request_refund
pair 1 of gold team: 13/13
pair 2 count: 13
pair 2 gold: failed_transfer
pair 2 answer: transfer_not_received_by_recipient
pair 2 of gold team: 13/13
pair 3 count: 12
pair 3 gold: card_arrival
pair 3 answer: card_delivery_estimate
pair 3 of gold team: 12/13
teams never answered: 4
never answered 1 team: Refund_not_showing_up
never answered 1 messages: 13
never answered 1 most often as: request_refund
never answered 1 most often count: 13
never answered 2 team: card_arrival
never answered 2 messages: 13
never answered 2 most often as: card_delivery_estimate
never answered 2 most often count: 12
never answered 3 team: failed_transfer
never answered 3 messages: 13
never answered 3 most often as: transfer_not_received_by_recipient
never answered 3 most often count: 13
never answered 4 team: order_physical_card
never answered 4 messages: 13
never answered 4 most often as: get_physical_card
never answered 4 most often count: 10

O substituto erra em 44.1% (441 of 1001). Sem limiar aplicado, o erro é um menos a acurácia; assim, essa taxa de erro e a acurácia na seção da linha de base somam 100%.

Cada um dos três pares mais frequentes fica com todas, ou quase todas, as mensagens de amostra de sua equipe correta. O primeiro par fica com 13/13, o segundo com 13/13, e o terceiro com 12/13; assim, os dois primeiros ficam com todas as mensagens de sua equipe correta, e o terceiro com todas menos uma. Os nomes das equipes sugerem um motivo para cada par: o primeiro diz respeito a reembolso, o segundo a transferência, e o terceiro à chegada de um cartão e à sua estimativa de entrega. Essa é uma leitura dos nomes. O capítulo não lê as mensagens, e nenhum exemplo as imprime; por isso, os pares são um motivo para investigar, não uma conclusão sobre o que as mensagens dizem.

O substituto nunca nomeia 4 das 77 equipes; assim, toda mensagem cuja equipe correta é uma dessas está errada. Para card_arrival, uma dessas equipes, a resposta errada mais comum é card_delivery_estimate, que fica com 12 de suas mensagens.

Para order_physical_card, outra dessas equipes, a resposta errada mais comum é get_physical_card, que fica com 10 de suas mensagens. O registro não mostra por que essas equipes nunca são indicadas; por isso, a lista é um motivo para investigar.

Os pares descrevem o substituto nesta amostra, não as equipes nem a caixa de entrada. O modelo do próprio leitor terá seus próprios pares, e o leitor deve contá-los a partir de suas próprias respostas registradas. Quando a questão é como corrigir um par, a correção precisa ser escolhida e verificada no dev, como exige a seção de dev e de teste. Uma mudança escolhida ao ler os pares em test_1001 foi ajustada na divisão de teste, e seu resultado nessa divisão não pode ser apresentado como medida do roteador.

Quando os encaminhamentos ou as reclamações aumentam para uma equipe em produção, repita esta contagem primeiro. Conte os pares novamente nas respostas registradas da própria caixa de entrada, imprima cada par com sua contagem e compare a lista com a da linha de base. Uma mudança na lista mostra onde o comportamento do roteador se deslocou, mesmo quando a taxa geral não mudou.

As decisões do capítulo, em resumo:

  • O dev é sorteado equipe por equipe do arquivo de treinamento, com uma semente fixa, e seus números de linha são registrados no repositório.
  • As amostras de teste são fixadas em ordem e lidas apenas para relatar.
  • Cada medida é impressa com sua contagem e seu denominador, e "não definido" substitui um denominador zero.
  • As respostas registradas do substituto em test_1001 formam a linha de base, lidas de um arquivo verificado pelo manifesto.

Os três números da linha de base, lidos em conjunto, são a pontuação que um candidato precisa superar nas mesmas mensagens. O capítulo 3 conta os tokens do prompt do roteador em test_40 antes de escolher um modelo base. O capítulo 5 escolhe o limiar de encaminhamento no dev, com a regra enunciada ali. O capítulo 10 compara o roteador com a linha de base na mesma amostra de test_1001.

Regra prática: Conte as respostas erradas e os pares mais frequentes de cada candidato, na mesma amostra, e imprima cada par com sua contagem. Leia os pares como uma lista de onde investigar. Imprima os três pares mais frequentes, e não apenas o primeiro, porque um único par convida a uma leitura excessiva, e uma lista mostra se os erros se concentram ou se espalham. Verifique qualquer correção na divisão de dev antes de a divisão de teste ser lida novamente.

Este capítulo, nesta edição

Edição 2026.11.9Exemplos aprovados em 20 de nov de 20263 de 3 exemplos exemplos deste capítulo passam

Traduzido do livro em inglês, edição 2026.11.9.

Citar esta seção

Formato

Cada formato cita o livro em inglês, que esta tradução acompanha.

Todos os formatos citam esta edição. Seu link abre a edição atual, em que o título de cada seção indica quando seu texto foi alterado pela última vez. As datas de acesso e de recuperação são o dia em que você abre esta página.

Nesta página

Capítulo 2 de 10: Meça a tarefa de roteamento antes de escolher um modelo

  1. Os dados e sua licença
  2. Conjuntos de desenvolvimento, de teste e amostras fixas
  3. Três medidas, cada uma com seu denominador
  4. A linha de base a partir das respostas gravadas
  5. Onde os rótulos colidem

Voltar ao topoTodos os capítulos