Descubra onde o veredito de um juiz deixa de ser confiável

Cerca de 22 minutos min de leitura, com 3 exemplos em 4 seções.

Edição 2026.11.3 Exemplos aprovados em 21 de nov de 2026 54 de 54 exemplos passam O que mudou

Traduzido com IA. Verificado por pessoas em inglês. Como fazemos os livros

Traduzido do livro em inglês, edição 2026.11.3. Leia o original

Ao final deste capítulo, você será capaz de testar um juiz quanto a dois vieses que os dados deste livro podem mostrar: posição e comprimento. Você saberá dizer o que cada teste mostra e o que ele deixa em aberto, e saberá anotar as condições em que deixa de confiar em um dos seus vereditos.

Capítulo 6 mediu os erros do juiz em comparação com avaliações humanas, e terminou perguntando o que um juiz par a par faz quando suas duas respostas trocam de lugar. Este capítulo pergunta o que mais pode alterar um veredito nas respostas do sablefile que o juiz avalia. O juiz lê uma resposta a uma pergunta de teste, compara-a com a resposta de referência e imprime PASS ou FAIL, como o Capítulo 5 descreve. A taxa de aprovação é o número que uma equipe reportaria, e esse número só vale ser reportado se o veredito depender da resposta. Um veredito que muda quando duas respostas trocam de lugar, ou uma taxa de aprovação que sobe com o comprimento de uma resposta que não diz mais nada, mede algo diferente da resposta. Uma taxa construída sobre um veredito assim pode parecer progresso sem ser progresso.

Duas advertências valem para todo o capítulo, por isso são feitas uma única vez, aqui. O juiz é o Qwen3-4B-Instruct-2507, e todas as taxas deste capítulo são medidas nesse modelo. Os números publicados que o capítulo cita vêm de outros juízes, e mostram o que pode acontecer com um juiz, não o que este juiz faz. A segunda advertência diz respeito ao tamanho. Os pares avaliados por humanos e os itens de desenvolvimento são conjuntos pequenos, de modo que cada taxa vem acompanhada da sua contagem, e cada comparação vem acompanhada de um intervalo.

O capítulo trata de três limites, um de cada vez. O primeiro é a posição: se um veredito par a par depende de qual resposta foi mostrada primeiro. O segundo é o comprimento: se a taxa de aprovação sobe com o comprimento da resposta. O terceiro é a autopreferência: se o juiz favorece respostas escritas pelo seu próprio modelo. O livro pode testar os dois primeiros com as suas próprias gravações, porque elas contêm o que os testes exigem: cada par avaliado por humanos julgado nas duas ordens, e cada resposta com um comprimento que pode ser contado. Não pode testar o terceiro, e a seção sobre ele explica o motivo. A última seção transforma os três limites em regras que você pode aplicar, cada uma ligada a uma contagem.

Posição

Pergunte ao juiz qual de duas respostas é melhor, e a resposta dele pode depender de qual delas ele leu primeiro. Uma equipe que leia apenas uma ordem não veria essa dependência, e seu relatório carregaria a ordem junto com as respostas.

O teste é simples de descrever. Julgue cada par duas vezes, uma com as respostas em uma ordem e outra com elas trocadas. Um veredito que acompanha a resposta preferida é consistente. Um veredito que acompanha a posição muda quando a ordem muda, o que significa que a escolha do juiz depende de onde a resposta estava, além do que ela diz. Um juiz pode inclinar-se para a primeira resposta que lê ou para a segunda. O teste mostra essa inclinação apenas conforme a ordem muda. Ele não consegue dizer o que a causa, e não precisa, porque um veredito alterado pela ordem é um veredito que você não deve usar como está. O Capítulo 5 apresenta as duas ordens e os vereditos, e o Capítulo 6 confronta as escolhas do juiz com avaliações humanas.

Cada par avaliado por humanos é julgado nas duas ordens, e cada par cai em um de quatro tipos: consistente, alterado pela ordem, empate ou ilegível. A saída do exemplo chama os pares alterados pela ordem de invertidos. Um par ilegível tem veredito ausente em qualquer uma das ordens. Para os pares alterados pela ordem, a pergunta é qual posição venceu nas duas ordens.

position-flips.py Python 3.12.15 · numpy 2.5.5 Aprovado
"""How the pairwise judge's verdict follows the position it was shown in, on the HelpSteer2 pairs. Each pair is judged in bothorders and sorted as consistent, flipped, tie or unreadable. The flipped pairs are split by the position that won both orders,and the consistent pairs are checked against the human preference."""import lib  # first: fixes the thread counts and seeds before anything else loadsfrom lib.bias import flip_directionfrom lib.judging import both_orders, human_pairsfrom lib.stats import bootstrap_mean, interval_pct, pctAB = "judge-hs2-pairs-ab"BA = "judge-hs2-pairs-ba"SPLITS = ("dev", "held-out")pairs = human_pairs()  # all 150 pairs, sorted by id, each with its split and the human's preferred responseorders = both_orders(AB, BA, list(pairs))  # every pair judged in both orders, sorted by idfor split in SPLITS:    in_split = [o for o in orders if pairs[o.pair_id].split == split]    for kind in ("consistent", "flipped", "tie", "unreadable"):        # the denominator is the split's pairs, so the counts add up to the split's size        print(f"{kind}, {split}: {sum(1 for o in in_split if o.kind == kind)} of {len(in_split)} pairs")for split in SPLITS:    flipped = [o for o in orders if o.kind == "flipped" and pairs[o.pair_id].split == split]    # the letter A's position won both times when flip_direction says 'first'; B's when it says 'second'    first = sum(1 for o in flipped if flip_direction(o) == "first")    print(f"flipped, first position won both orders, {split}: {pct(first, len(flipped))}")# both splits pooled, one 0 or 1 per flipped pair: 1.0 when the first position won both ordersflipped_all = [1.0 if flip_direction(o) == "first" else 0.0 for o in orders if o.kind == "flipped"]print(f"flipped, first position won both orders, both splits: {pct(int(sum(flipped_all)), len(flipped_all))}")lo, hi = bootstrap_mean(flipped_all)  # percentile bootstrap over the flipped pairs, as every interval in the bookprint(f"first-position share interval, both splits: {interval_pct(lo, hi)}")for split in SPLITS:    consistent = [o for o in orders if o.kind == "consistent" and pairs[o.pair_id].split == split]    # in a consistent pair the two orders agree, so ab is the original response the judge picked    agree = sum(1 for o in consistent if o.ab == pairs[o.pair_id].preferred)    print(f"consistent pairs agreeing with the human, {split}: {pct(agree, len(consistent))}")
Saídapython position-flips.py
consistent, dev: 60 of 75 pairs
flipped, dev: 15 of 75 pairs
tie, dev: 0 of 75 pairs
unreadable, dev: 0 of 75 pairs
consistent, held-out: 56 of 75 pairs
flipped, held-out: 19 of 75 pairs
tie, held-out: 0 of 75 pairs
unreadable, held-out: 0 of 75 pairs
flipped, first position won both orders, dev: 20.0% (3 of 15)
flipped, first position won both orders, held-out: 26.3% (5 of 19)
flipped, first position won both orders, both splits: 23.5% (8 of 34)
first-position share interval, both splits: [8.8%, 38.2%]
consistent pairs agreeing with the human, dev: 81.7% (49 of 60)
consistent pairs agreeing with the human, held-out: 83.9% (47 of 56)

A maioria dos vereditos se mantém nas duas ordens. No dev, 60 of 75 pairs foram consistentes e 15 of 75 pairs mudaram com a ordem. No held-out, 56 of 75 pairs foram consistentes e 19 of 75 pairs mudaram com a ordem.

Um empate conta como veredito legível, por isso permanece no denominador da taxa de mudança de ordem. Aqui os empates somaram 0 of 75 pairs no dev, e os vereditos ilegíveis, 0 of 75 pairs, de modo que cada par do dev deu um veredito nas duas ordens.

Somando as duas divisões, a taxa de mudança de ordem é 22.7% (34 of 150). Seu denominador são os pares lidos nas duas ordens, de modo que um par com veredito ilegível em uma das ordens fica de fora.

As mudanças de ordem inclinam-se para a segunda posição, e a contagem agregada é a que deve ser lida, porque as contagens por divisão são pequenas. Considerando as duas divisões, a parcela da primeira posição nas mudanças de ordem é 23.5% (8 of 34). Seu intervalo é [8.8%, 38.2%], e o intervalo fica inteiramente abaixo de metade. Assim, a contagem agregada separa a inclinação de uma divisão igual, para esses pares. A parcela agregada se apoia em poucas mudanças de ordem, de modo que algumas poucas que se movam em qualquer sentido a deslocariam em vários pontos. Só no dev, a parcela é 20.0% (3 of 15), e no held-out, 26.3% (5 of 19).

Outros estudos encontraram a inclinação em outros juízes, e as inclinações nem sempre apontaram para o mesmo lado. Wang e colaboradores (2023), um preprint, relataram que o GPT-4 favoreceu a primeira posição e o ChatGPT, a segunda, em uma configuração com modelos diferentes. Zheng e colaboradores (2023), na trilha Datasets and Benchmarks do NeurIPS 2023, relataram que o GPT-4, com um prompt padrão, deu o mesmo veredito nas duas ordens em 65.0% das comparações. Essas são configurações publicadas para outros juízes. Elas indicam ao leitor o que medir, mas não dizem o que esperar de um juiz de 4B.

Os pares consistentes são aqueles cujo veredito pode ser lido como uma escolha, por isso o exemplo os confronta com a preferência humana. No dev, o juiz coincidiu com o humano nos pares consistentes nesta taxa:

81.7% (49 of 60).

No held-out, a taxa foi:

83.9% (47 of 56).

Os pares alterados pela ordem não recebem essa verificação, porque um veredito alterado pela ordem não diz qual resposta o juiz escolheu. Uma equipe que reporte concordância apenas nos pares consistentes mediu a parte menos contestada do conjunto. A parte alterada pela ordem é onde a escolha do juiz está em dúvida, e ela precisa de uma contagem própria.

A inclinação tem uma consequência prática para a forma como a equipe conduz suas comparações. Suponha que uma equipe sempre mostre sua resposta candidata na segunda posição e nunca troque. Se o juiz se inclina para o segundo lugar, a candidata ganha um impulso que nada tem a ver com a sua resposta. Uma equipe que sempre põe a candidata em primeiro comete o erro oposto. Trocar a ordem em cada par e relatar as mudanças de ordem remove a inclinação da comparação, em vez de torcer para que ela não exista.

Regra prática: Julgue cada comparação par a par nas duas ordens antes de ler seu veredito, e relate a taxa de mudança de ordem ao lado das contagens de vereditos. Conte um par alterado pela ordem como nenhum veredito para nenhuma das respostas, não como vitória de quem veio primeiro ou segundo. Quando as mudanças de ordem se inclinarem para um lado, diga qual lado, quantas são e com que intervalo, e não presuma que outro juiz se incline do mesmo modo.

Comprimento

Última alteração na edição 2026.11.3

O comprimento levanta uma pergunta diferente. A posição diz respeito a qual resposta o juiz vê primeiro; o comprimento diz respeito à própria resposta. A questão é se o juiz dá uma nota mais alta a uma resposta mais longa apenas por ser mais longa. Estudos publicados descrevem esse viés, por isso um teste neste livro precisa procurá-lo, e um resultado limpo exigiria um teste que pudesse ter mostrado o viés.

Zheng e colaboradores (2023) relataram que todos os modelos que testaram podem ser propensos a viés de verbosidade, e que o GPT-4 se defende dele muito melhor que os outros. Em um ataque, uma lista repetitiva foi acrescentada a 23 respostas. A taxa de falha foi de 91.3% para dois dos modelos e de 8.7% para o GPT-4. Esses números vêm de outros juízes e de um ataque diferente. São uma razão para medir o comprimento aqui, e não dizem nada sobre o tamanho do efeito neste livro.

O teste é mais simples que o ataque. Ele pega as respostas do conjunto de desenvolvimento que o assistente de referência respondeu, separa-as em três faixas pelo número de palavras e imprime a taxa de aprovação do juiz para cada faixa. As bordas que definem as faixas são fixas no exemplo. Outras bordas produziriam outras faixas, e o quadro poderia mudar com elas.

length-and-verdicts.py Python 3.12.15 · numpy 2.5.5 · pydantic 2.14.3 · typing-extensions 4.16.0 Aprovado
"""The reference-guided judge's PASS rate by the length of the assistant's reply, on the dev items the baseline answered. Thereply lengths are in words, in three bands with the edges printed below. Each band's rate is printed with its count. Declinedreplies and unreadable verdicts are left out, and each is printed with its count."""import lib  # first: fixes the thread counts and seeds before anything else loadsfrom lib.bias import LENGTH_EDGES, band_outcomes, read_verdicts, reply_lengthsfrom lib.stats import pctfrom lib.testset import load_itemsASSISTANT = "assistant-baseline"  # the reply the judge read, and the one whose length is measuredJUDGE = "judge-answers-baseline"dev = [item.id for item in load_items(split="dev")]  # 80 dev items, sorted by idlengths = reply_lengths(ASSISTANT, dev)  # the answered items only: declined replies are left out hereverdicts = read_verdicts(JUDGE, dev)  # None where the judge's first line is not a verdictprint(f"band edges, in words: {LENGTH_EDGES[0]} and {LENGTH_EDGES[1]}")print(f"declined, left out: {len(dev) - len(lengths)} of {len(dev)} dev items")unreadable = [item_id for item_id in lengths if verdicts[item_id] is None]print(f"unreadable verdict, left out: {', '.join(unreadable) if unreadable else 'none'}")for band, outcomes in band_outcomes(lengths, verdicts):    print(f"{band}: {pct(int(outcomes.sum()), outcomes.size)}")
Saídapython length-and-verdicts.py
band edges, in words: 15 and 30
declined, left out: 23 of 80 dev items
unreadable verdict, left out: q-0043
under 15 words: 94.1% (16 of 17)
15 to 29 words: 83.3% (15 of 18)
30 words or more: 85.7% (18 of 21)

As bordas ficam em 15 and 30 palavras. As respostas recusadas são deixadas de fora das faixas, o que corresponde a 23 of 80 dev items. A primeira linha do juiz é lida como seu veredito. Quando essa linha não é um veredito, o veredito é ilegível, e o exemplo imprime esse item e o deixa de fora das faixas. Ele nunca é contado como FAIL. Aqui o veredito ilegível está em q-0043.

As faixas são construídas apenas com respostas que o assistente respondeu, por isso seus denominadores são menores que os do conjunto. A comparação com o segundo modelo, na última seção, usa um conjunto diferente de itens, contando cada item de desenvolvimento que o juiz leu para os dois assistentes e contando uma recusa correta como aprovação segundo a rubrica de resposta do Capítulo 5. Os dois conjuntos não são os mesmos, e suas taxas não devem ser colocadas lado a lado.

As taxas não sobem com o comprimento. A faixa do meio foi aprovada com menor frequência, e a faixa mais longa foi aprovada com mais frequência que a do meio, embora com menos frequência que a mais curta. Um leitor que ajustasse uma reta única a três faixas obteria uma inclinação, e essas faixas não sustentam essa reta.

A faixa mais curta foi aprovada em 94.1% (16 of 17).

A faixa do meio foi aprovada em 83.3% (15 of 18).

A faixa mais longa foi aprovada em 85.7% (18 of 21).

A comparação que o livro relata é a faixa mais longa menos a mais curta. Sua ordem é fixada pelo comprimento, e por isso é definida antes que alguém leia as taxas. A faixa de maior taxa menos a de menor taxa seria escolhida depois de vistas as taxas, e nunca poderia ficar abaixo de zero. A diferença é -8.4 points, interval [-28.6, +8.1] points.

O método é percentile bootstrap over items, each band resampled alone, 2000 resamples, 95% level. As duas faixas contêm itens diferentes, por isso cada uma é reamostrada separadamente, e as contagens das faixas são as que aparecem em suas taxas acima. As contagens das faixas são pequenas, por isso o intervalo é amplo. O intervalo inclui zero, portanto o resultado é nenhuma diferença detectada entre a faixa mais longa e a mais curta.

Nenhuma diferença detectada não significa que o comprimento seja inofensivo. Significa que faixas deste tamanho não conseguem separar uma diferença de zero. Elas não conseguem identificar um viés de alguns pontos, porque uma única resposta altera a taxa de uma faixa em vários pontos. O bootstrap sobre itens que intervalos e tamanho amostral descreve é a mesma reamostragem. As duas faixas aqui são reamostradas separadamente, um intervalo para dois grupos separados, que esse capítulo não apresenta.

Uma resposta mais longa também nem sempre é uma resposta inflada. Uma resposta que cobre mais da pergunta pode ser aprovada com mais frequência por esse motivo, e uma taxa que sobe com o comprimento não mostraria, por si só, inflação. Distinguir os dois casos exige respostas nas quais comprimento e conteúdo se separam, como uma resposta completa e a mesma resposta com enchimento acrescentado. As faixas aqui não conseguem separá-los, porque as respostas de cada faixa diferem em mais que o comprimento.

Regra prática: Não afirme um efeito de comprimento, ou a sua ausência, a partir de poucas faixas. Compare a faixa mais longa com a mais curta, com o intervalo da diferença e a contagem de cada faixa. Quando o intervalo incluir zero, diga "nenhuma diferença detectada" com essas contagens, e pare aí. Se o comprimento puder importar para o seu produto, construa um teste em que o comprimento mude e o conteúdo permaneça o mesmo, e meça isso.

Autopreferência, que este livro não pode testar

A seção sobre o comprimento perguntou se o juiz recompensa uma resposta pelo seu tamanho. Esta seção pergunta se ele a recompensa por quem a escreveu. O livro não consegue responder a isso, e a sua própria configuração mostra por quê.

Panickssery e colegas (2024), um preprint, definem autopreferência como a tendência de avaliadores baseados em LLM a dar notas mais altas aos seus próprios resumos do que aos resumos de outros modelos, enquanto anotadores humanos avaliam os dois conjuntos como de igual qualidade. Os autores chamam o seu resultado causal de evidência inicial, e dizem que a correlação, por si só, não prova a afirmação causal. A pergunta vale para qualquer juiz, e a resposta precisa ser medida nesse juiz.

Um teste precisaria de respostas de qualidade igual, como avaliadores humanos as julgam, produzidas pelo modelo do próprio juiz e por outro modelo, ou atribuídas a cada um. O mesmo juiz leria então as mesmas respostas sob cada atribuição, e as duas taxas de aprovação difeririam apenas pelo autor. O desenho é claro em linhas gerais, mas as gravações do livro não o executam.

O livro tem um juiz lendo dois autores. O assistente de base e o juiz são o mesmo modelo, Qwen3-4B-Instruct-2507. O único outro conjunto de respostas vem do Qwen3-0.6B, um modelo menor, que o mesmo juiz leu. O livro não tem avaliação humana dessas respostas com qualidade equivalente, e este juiz é a única medida da sua qualidade, de modo que a comparação não consegue manter a qualidade fixa enquanto o autor muda.

Nos mesmos itens de desenvolvimento, a base foi aprovada em 78.5% (62 of 79). O segundo modelo foi aprovado em 40.5% (32 of 79). A diferença é -38.0 points, interval [-48.1, -26.6] points, n = 79.

Lido de forma direta, o segundo modelo passa com muito menos frequência nas suas respostas. Qualidade inferior produziria essa lacuna, e também a produziria o favorecimento do juiz ao seu próprio modelo. Os dados do livro não conseguem distinguir as duas coisas, porque a única medida de qualidade é este juiz. Portanto, a lacuna é uma diferença entre dois assistentes segundo a leitura deste juiz. Não é um resultado de autopreferência, nem uma ausência limpa dela.

Um relatório que descreva o juiz como justo com o seu próprio modelo precisa dizer que o teste não foi feito com as gravações deste livro. O silêncio sobre esse ponto soa como um resultado limpo, e aqui não é um. A afirmação que uma equipe pode fazer é mais restrita: as gravações mostram uma diferença entre dois assistentes, e nada mostram sobre a preferência do juiz pelo seu próprio modelo.

Regra prática: Quando o juiz e o assistente são o mesmo modelo, informe isso ao lado da taxa de aprovação, e não apresente a autopreferência como testada. Não use o juiz para comparar o seu próprio modelo com outro, a menos que a verificação acima esteja feita: respostas de qualidade equivalente, produzidas ou atribuídas aos dois modelos, lidas pelo mesmo juiz. O capítulo 6 apresenta as avaliações humanas de que essa verificação precisa.

Onde deixar de confiar em um veredito

Os limites só são úteis como regras que o leitor pode aplicar, e cada regra precisa de uma contagem para ser verificada. Um leitor que consulta apenas a tabela tem os limites, mas não as razões deles, e as seções anteriores dão a razão de cada linha. A tabela de limites apresenta essas linhas com rótulos, em grupos: a taxa de mudança de ordem; a diferença de comprimento, com seu método; os vereditos ilegíveis; a contagem de gravações do mesmo modelo; e a comparação com o segundo modelo. A taxa de mudança de ordem deixa de fora os pares ilegíveis em qualquer uma das ordens, enquanto o exemplo de posição acima conta todos os pares em sua divisão. Leia a tabela de cima para baixo, porque cada linha responde a uma pergunta e nenhuma linha responde a outra.

verdict-limits.py Python 3.12.15 · numpy 2.5.5 · pydantic 2.14.3 · typing-extensions 4.16.0 Aprovado
"""The judge's limits as one table, one labelled line per limit, each computed as in position-flips and length-and-verdicts.The length line compares the longest band with the shortest, fixed in advance by length order: each band holds differentitems, so each is resampled on its own. The unreadable count is over every answer-judge recording on every item."""import lib  # first: fixes the thread counts and seeds before anything else loadsfrom lib.bias import band_outcomes, paired_passes, read_verdicts, reply_lengths, same_model_count, unreadable_countfrom lib.judging import both_orders, human_pairsfrom lib.stats import RESAMPLES, bootstrap_difference, bootstrap_mean, interval_points, pctfrom lib.testset import load_itemsJUDGE = "judge-answers-baseline"ANSWER_JUDGES = tuple(f"judge-answers-{variant}" for variant in ("baseline", "k5", "prompt-b", "second-model", "unfiltered"))items = [item.id for item in load_items()]dev = [item.id for item in load_items(split="dev")]# Order-change rate: flipped pairs over the pairs read in both orders. A tie is a readable verdict; an unreadable pair is left out.pairs = human_pairs()read_both = [o for o in both_orders("judge-hs2-pairs-ab", "judge-hs2-pairs-ba", list(pairs)) if o.kind != "unreadable"]print(f"order-change rate: {pct(sum(1 for o in read_both if o.kind == 'flipped'), len(read_both))}")# Length gap: the longest band's PASS rate minus the shortest band's, fixed by length order, on the dev items.shortest, _, longest = band_outcomes(reply_lengths("assistant-baseline", dev), read_verdicts(JUDGE, dev))lo, hi = bootstrap_difference(shortest[1], longest[1])print(f"length gap, longest band minus shortest band: {100 * (longest[1].mean() - shortest[1].mean()):+.1f} points, "      f"interval {interval_points(lo, hi)}")print(f"length gap method: percentile bootstrap over items, each band resampled alone, {RESAMPLES} resamples, 95% level")print(f"shortest band, {shortest[0]}: {pct(int(shortest[1].sum()), shortest[1].size)}")print(f"longest band, {longest[0]}: {pct(int(longest[1].sum()), longest[1].size)}")unreadable, total = unreadable_count(ANSWER_JUDGES, items)print(f"unreadable verdicts, five answer-judge recordings: {unreadable} of {total}")print(f"items per answer-judge recording: {len(items)}")worst = max((unreadable_count([name], items) for name in ANSWER_JUDGES), key=lambda found: found[0])print(f"most unreadable in one recording: {worst[0]} of {worst[1]}")same, judged = same_model_count(ANSWER_JUDGES)print("self-preference test on these recordings: not possible")print(f"same-model recordings: {same} of {judged}")# Second model beside the baseline, on the dev items both judged: a None verdict in either leaves the item out.both, base_pass, second_pass = paired_passes(JUDGE, "judge-answers-second-model", dev)print(f"baseline PASS rate, same dev items: {pct(int(base_pass.sum()), len(both))}")print(f"second-model PASS rate, same dev items: {pct(int(second_pass.sum()), len(both))}")diff_lo, diff_hi = bootstrap_mean(second_pass - base_pass)print(f"second-model minus baseline, same dev items: {100 * (second_pass - base_pass).mean():+.1f} points, "      f"interval {interval_points(diff_lo, diff_hi)}, n = {len(both)}")
Saídapython verdict-limits.py
order-change rate: 22.7% (34 of 150)
length gap, longest band minus shortest band: -8.4 points, interval [-28.6, +8.1] points
length gap method: percentile bootstrap over items, each band resampled alone, 2000 resamples, 95% level
shortest band, under 15 words: 94.1% (16 of 17)
longest band, 30 words or more: 85.7% (18 of 21)
unreadable verdicts, five answer-judge recordings: 2 of 600
items per answer-judge recording: 120
most unreadable in one recording: 1 of 120
self-preference test on these recordings: not possible
same-model recordings: 4 of 5
baseline PASS rate, same dev items: 78.5% (62 of 79)
second-model PASS rate, same dev items: 40.5% (32 of 79)
second-model minus baseline, same dev items: -38.0 points, interval [-48.1, -26.6] points, n = 79

Leia cada taxa em relação ao seu próprio denominador. As linhas não compartilham um único denominador, e uma taxa com denominador pequeno se move muito com um único item. A tabela não diz nada sobre se o juiz concorda com as pessoas em geral. Isso é o trabalho do Capítulo 6, e um juiz pode passar em todas as linhas aqui e ainda discordar das avaliações humanas nos pares que importam. Os limites são as condições que um veredito deve atender antes que valha a pena fazer uma calibração, e não um substituto para ela.

As regras abaixo seguem essas linhas, e cada uma se apoia em uma delas.

  • Mudanças de ordem. Não leia um veredito de comparação par a par como resultado quando ele muda com a ordem. Conte as mudanças de ordem nas duas divisões e imprima a taxa de mudança de ordem ao lado das contagens de vereditos.
  • Vereditos ilegíveis. Imprima-os, deixe-os de fora e nunca os conte como FAIL. A tabela conta 2 of 600 vereditos em cinco gravações do juiz de respostas: a linha de base, k5, prompt-b, o segundo modelo e as variantes sem filtro, cada uma lida em 120 itens. O maior número perdido em uma única gravação foi 1 of 120. Esta é uma orientação aproximada, não um corte medido: quando mais de 1 em cada 100 vereditos de uma gravação forem ilegíveis, corrija o prompt antes de ler uma taxa dessa gravação.
  • Comprimento. Não atribua um efeito de comprimento a partir de poucas faixas, nem a ausência dele. A linha de comprimento compara a faixa mais longa com a mais curta, com seu intervalo. Quando o intervalo inclui zero, diga "nenhuma diferença detectada" com as contagens, e pare aí.
  • Mesmo modelo. Quando o juiz e o assistente são o mesmo modelo, a taxa deve trazer esse fato ao lado. Aqui, 4 of 5 gravações julgadas são desse tipo. O livro não consegue testar a autopreferência nessas gravações, então não use o juiz para comparar o seu próprio modelo com outro, como a seção sobre autopreferência expõe.
  • Qualidade equiparada. Uma diferença entre as taxas de aprovação de dois assistentes é uma diferença entre assistentes, não um viés do juiz. A linha do segundo modelo é o exemplo, e é por isso que a seção sobre autopreferência não dá resultado em nenhum sentido.
  • Transferência. A calibração em que uma taxa se apoia foi medida em outras linhas, então use-a apenas até onde a premissa de transferência permite.

Um veredito que atinge uma condição de parada não é descartado. Um par com mudança de ordem ou um veredito ilegível torna-se ausência de veredito para aquele item. Ele é impresso, contado e deixado de fora da taxa na qual entraria, como acontece com os vereditos ilegíveis, e a taxa então informa quantos itens deixou de fora. Uma gravação do mesmo modelo não é uma condição de parada. Ela é reportada ao lado da taxa.

Em produção, os limites aparecem como uma taxa que se move pelo motivo errado. Suponha que uma equipe mude o prompt do assistente e a taxa de aprovação suba. Antes que a equipe atribua a alta ao prompt, a tabela de limites faz três perguntas. Os vereditos mudaram com a ordem, ou ficaram ilegíveis? As respostas ficaram mais longas, e o intervalo da linha de comprimento separa a diferença de zero? O juiz é o modelo que escreveu as respostas? Um sim às duas primeiras significa que a alta precisa de uma verificação própria antes de ser reportada. Um sim à terceira significa que a alta é reportada com esse fato ao lado.

Regra prática: Deixe de confiar em um veredito, e diga isso no relatório, quando ele mudar com a ordem ou quando não puder ser lido. Quando o juiz for o modelo cujas respostas ele avalia, informe isso ao lado da taxa, e não use o juiz para comparar o seu próprio modelo com outro, como a seção sobre autopreferência expõe. Antes de publicar uma taxa de aprovação, verifique o juiz contra avaliações humanas, como o Capítulo 6 faz, e imprima a taxa de mudança de ordem, a contagem de ilegíveis e o fato de mesmo modelo ao lado da taxa. Uma taxa de aprovação descreve as respostas apenas na medida em que o juiz concorda com as pessoas, então a taxa deve sempre vir acompanhada da sua calibração.

Este capítulo, nesta edição

Edição 2026.11.3Exemplos aprovados em 21 de nov de 20263 de 3 exemplos exemplos deste capítulo passam

Traduzido do livro em inglês, edição 2026.11.3.

Citar esta seção

Formato

Cada formato cita o livro em inglês, que esta tradução acompanha.

Todos os formatos citam esta edição. Seu link abre a edição atual, em que o título de cada seção indica quando seu texto foi alterado pela última vez. As datas de acesso e de recuperação são o dia em que você abre esta página.

Nesta página

Capítulo 7 de 11: Descubra onde o veredito de um juiz deixa de ser confiável

  1. Posição
  2. Comprimento
  3. Autopreferência, que este livro não pode testar
  4. Onde deixar de confiar em um veredito

Voltar ao topoTodos os capítulos