Decida se uma mudança é melhor, e de quantas perguntas você precisa

Cerca de 24 minutos min de leitura, com 5 exemplos em 6 seções.

Edição 2026.11.3 Exemplos aprovados em 21 de nov de 2026 54 de 54 exemplos passam O que mudou

Traduzido com IA. Verificado por pessoas em inglês. Como fazemos os livros

Traduzido do livro em inglês, edição 2026.11.3. Leia o original

Ao final deste capítulo, você será capaz de dizer se uma diferença entre duas versões do assistente vai além do ruído, usando um intervalo em uma comparação pareada. Você também poderá calcular quantas perguntas uma diferença de determinado tamanho exige antes que um teste consiga mostrá-la.

Capítulo 1 mediu o assistente uma vez e atribuiu um intervalo à sua taxa de acerto. Em seguida, comparou dois prompts com vinte itens. O intervalo sobre a diferença entre eles era de 30.0 points de largura, e o capítulo terminou com uma promessa: um capítulo posterior calcularia quantos itens uma diferença precisa para poder ser mostrada. Este capítulo cumpre essa promessa. Uma equipe que altera um prompt precisa de três respostas. A taxa mudou por um motivo que vai além do acaso do teste? A comparação conseguia mostrar alguma diferença? E quantas perguntas seriam necessárias para mostrar a diferença que lhe interessa?

Todos os números aqui vêm de um único modelo assistente, Qwen3-4B-Instruct-2507, e de um único juiz, o mesmo modelo executado com temperatura zero. Os intervalos cobrem a variação que decorre da escolha dos itens. A primeira seção mede a variação causada pela amostragem das respostas, sem intervalo. Os intervalos não cobrem os vieses do juiz, que o Capítulo 7 testa. Leia cada resultado com isso em mente.

Variação dentro de um item

Faça a mesma pergunta duas vezes e um modelo pode responder de forma diferente. As comparações deste capítulo usam uma única resposta registrada por item e prompt, então cada veredito se apoia em uma resposta só. Com uma temperatura mais alta, o modelo amostra, e o veredito de um item pode mudar de uma amostra para a seguinte. Isso importa nas comparações. Uma diferença entre dois prompts que seja menor do que a oscilação de uma amostra para a outra não é diferença nenhuma, e uma taxa lida de uma única execução esconde essa oscilação.

O conjunto de variância tem cinco amostras da resposta do assistente para cada item de desenvolvimento, extraídas com temperatura 0.7. O juiz lê cada resposta com temperatura zero. Um item muda de veredito quando seus cinco vereditos não são todos iguais. Contar essas mudanças dá uma medida de quanto os vereditos variam de amostra para amostra, antes de qualquer alteração.

flip-rate.py Python 3.12.15 · numpy 2.5.5 · pydantic 2.14.3 · typing-extensions 4.16.0 Aprovado
"""The flip rate over the dev variance set: the share of items whose judge verdict differs across their five samples. Theprinted line 'flip rate' rests on the per-item PASS counts, which are printed with it: how many items passed 0, 1, 2, 3, 4or 5 of 5 samples, and the mean pass rate. The temperature-0 baseline's pass rate over the same items is printed forcomparison. An item with an unreadable verdict is printed by id and left out, never counted as FAIL."""import lib  # first: fixes the thread counts and seeds before anything else loadsfrom lib.calibration import readable_verdictsfrom lib.judging import passedfrom lib.prompts import REF_SHA256from lib.stats import pctfrom lib.testset import load_itemsfrom lib.variance import VARIANCE_SAMPLES, item_pass_countsVARIANCE = "judge-answers-variance"BASELINE = "judge-answers-baseline"SAMPLES = len(VARIANCE_SAMPLES)items = [item.id for item in load_items(split="dev")]  # eighty dev items, sorted by idcounts = item_pass_counts(VARIANCE, items)excluded = [row for row in counts if not row.complete]kept = [row for row in counts if row.complete]for row in excluded:    samples = ", ".join(str(sample) for sample in row.unreadable)    print(f"unreadable, {row.item_id}: samples {samples} (left out, not counted as FAIL)")print(f"left out of the flip rate (unreadable verdict): {len(excluded)}")n = len(kept)print(f"variance items compared (n): {n}")print(f"flip rate: {pct(sum(1 for row in kept if row.flaky), n)}")spread = [sum(1 for row in kept if row.passes == passes) for passes in range(SAMPLES + 1)]assert sum(spread) == n  # every kept item falls in exactly one PASS countfor passes, count in enumerate(spread):    print(f"items with {passes} of {SAMPLES} PASS: {count}")print(f"mean per-item pass rate across samples: {pct(sum(row.passes for row in kept), n * SAMPLES)}")found, baseline_unreadable = readable_verdicts(BASELINE, [row.item_id for row in kept], REF_SHA256)assert not baseline_unreadable  # q-0043 is already left out above, so no kept item is unreadable under the baselinebaseline = passed(found)print(f"baseline pass rate, same items (temperature 0): {pct(int(baseline.sum()), len(baseline))}")
Saídapython flip-rate.py
unreadable, q-0043: samples 1, 4 (left out, not counted as FAIL)
left out of the flip rate (unreadable verdict): 1
variance items compared (n): 79
flip rate: 2.5% (2 of 79)
items with 0 of 5 PASS: 16
items with 1 of 5 PASS: 1
items with 2 of 5 PASS: 0
items with 3 of 5 PASS: 0
items with 4 of 5 PASS: 1
items with 5 of 5 PASS: 61
mean per-item pass rate across samples: 78.5% (310 of 395)
baseline pass rate, same items (temperature 0): 78.5% (62 of 79)

Contando por item, o código soma quantas das suas cinco amostras o juiz aprovou. Um item cujo veredito não pode ser lido fica de fora, não é contado como reprovação, e a saída indica o item que foi deixado de fora.

A maioria dos itens não muda. 61 itens são aprovados nas cinco amostras, e 16 são reprovados nas cinco. Entre os itens que oscilam, 1 é aprovado em uma amostra e 1 em quatro.

A taxa de oscilação é 2.5% (2 of 79).

A taxa média de aprovação em todas as amostras é 78.5% (310 of 395). A linha de base, uma resposta por item com temperatura zero, aprova 78.5% (62 of 79). As duas são iguais, e os dois itens que oscilam puxam em sentidos opostos. Isso vale para P1, o prompt que o conjunto de variância usa, e outro prompt pode ser menos estável.

Esse é um resultado restrito. Um conjunto com mais perguntas limítrofes oscilaria mais, e a taxa de oscilação conta itens e não tem intervalo próprio. Uma contagem tão pequena de itens que oscilam diz pouco sobre a frequência com que a próxima mudança vai oscilar.

A taxa de oscilação mede apenas a dispersão que vem da amostragem das respostas deste assistente, com os itens mantidos fixos. Uma comparação entre dois prompts também se move conforme os itens que cada prompt acerta. A última seção usa essa dispersão da amostragem como limite inferior, e apenas para uma comparação que amostra suas respostas: Quantas perguntas uma diferença exige.

Regra prática: Antes de confiar na taxa de uma única execução, execute o conjunto de variância na temperatura que você vai usar em produção, e leia a taxa de oscilação ao lado da taxa média de aprovação. A taxa de oscilação mostra o quanto a amostragem move os vereditos de um prompt. Ela só limita uma comparação quando essa comparação também amostra suas respostas.

O bootstrap sobre os itens

Última alteração na edição 2026.11.3

O Capítulo 1 mostrou um intervalo sobre uma taxa de acerto e o usou para ler um conjunto pequeno. Esta seção explica o método, porque o restante do capítulo o usa de três formas: sobre uma taxa, sobre uma diferença pareada e sobre uma diferença que precisa atingir um nível mais rigoroso.

O método é o bootstrap percentil. Os itens de um conjunto são uma amostra das perguntas que uma equipe poderia ter escrito, então outro conjunto daria uma taxa um pouco diferente. Para estimar o quanto, sorteie itens do conjunto com reposição, tantos quantos o conjunto tem, de modo que alguns itens apareçam duas vezes e outros nenhuma. Calcule a estatística para esse sorteio, repita o sorteio muitas vezes e guarde os 95% centrais dos resultados. O bootstrap não acrescenta dados. Ele reaproveita os itens que o conjunto já tem e mostra o quanto a estatística se moveria se o conjunto tivesse sido outro sorteio do mesmo tipo.

A unidade de reamostragem é o item, e essa é a regra que vale guardar. Para uma taxa, cada item contribui com o seu veredito. Para uma diferença pareada, cada item contribui com um número: o veredito do prompt B menos o veredito da linha de base, que resulta em mais um, zero ou menos um. Para o conjunto de variância, as cinco amostras de um item são mantidas juntas, porque respondem a uma mesma pergunta. Sorteá-las separadamente faria com que parecessem cinco perguntas independentes, e o intervalo sairia estreito demais. Miller (2024) faz o mesmo alerta para perguntas que vêm em grupos relacionados. Esse artigo é um pré-print e uma nota de prática, não um método revisado por pares, por isso este livro o usa pelo raciocínio e não como prova.

O livro fixa os parâmetros para que um número possa ser reproduzido. O método sorteia 2,000 reamostras com semente zero e cria um gerador aleatório novo dentro de cada chamada. Os mesmos dados produzem, portanto, o mesmo intervalo, independentemente do que foi executado antes. A semente é uma escolha, não uma propriedade dos dados. Uma semente diferente desloca um pouco os extremos, e por isso os parâmetros são registrados por escrito.

O método também depende de o conjunto ser uma amostra justa das perguntas, o que o Capítulo 1 defendeu e o que nenhum intervalo consegue verificar. Um conjunto pequeno gera um intervalo grosseiro. Os extremos de um intervalo percentil em um conjunto desse tamanho são uma primeira estimativa e devem ser lidos como aproximados.

Regra prática: reamostre itens, nunca execuções dentro de um item, e mantenha as amostras de um item juntas. Fixe a quantidade de reamostras e a semente no código, para que os mesmos dados produzam o mesmo intervalo. Quando o conjunto tiver poucos itens, chame o intervalo de grosseiro e diga isso ao lado dele.

Comparações pareadas

Última alteração na edição 2026.11.3

Dois prompts respondem às mesmas perguntas, portanto seus resultados são pareados. Uma comparação pareada subtrai, para cada item, o veredito da linha de base do veredito do prompt B, e calcula a média das diferenças sobre o conjunto. Seu intervalo vem do bootstrap sobre os itens.

O pareamento importa porque a maioria dos itens concorda. Um item que ambos os prompts acertam, ou que ambos erram, não contribui para a diferença, qualquer que seja a dificuldade da pergunta. A dispersão da comparação vem dos itens em que os dois prompts se dividem. Uma comparação não pareada toma duas taxas de acerto separadas e as coloca lado a lado. Ela carrega a variação entre perguntas em todos os itens, inclusive nos que concordam, e essa variação pode esconder uma diferença real. A versão pareada cancela a parte que os dois prompts têm em comum. O argumento a favor das diferenças pareadas em Miller (2024) diz o mesmo: a variância de uma diferença pareada cai desde que os escores dos dois modelos em cada item sejam positivamente correlacionados.

paired-prompt-b.py Python 3.12.15 · numpy 2.5.5 · pydantic 2.14.3 · typing-extensions 4.16.0 Aprovado
"""Compares prompt-b (P2) with the baseline prompt (P1) on the eighty dev items: each pass rate, the paired difference withits 95% interval, and how the items split between the two prompts. 'Better' is used only when the whole interval is abovezero (plan section 6.4); the interval here includes zero, so the reading is no difference detected."""import lib  # first: fixes the thread counts and seeds before anything else loadsfrom lib.calibration import readable_verdictsfrom lib.judging import passedfrom lib.prompts import REF_SHA256from lib.stats import bootstrap_mean, interval_points, pctfrom lib.testset import load_itemsBASELINE = "judge-answers-baseline"PROMPT_B = "judge-answers-prompt-b"items = [item.id for item in load_items(split="dev")]  # eighty dev items, sorted by idp1_found, p1_unreadable = readable_verdicts(BASELINE, items, REF_SHA256)p2_found, p2_unreadable = readable_verdicts(PROMPT_B, items, REF_SHA256)for label, unreadable in (("P1 (baseline)", p1_unreadable), ("P2 (prompt-b)", p2_unreadable)):    details = "".join(f' ({item_id}, "{first}")' for item_id, first in unreadable)    print(f"unreadable verdicts, {label}: {len(unreadable)}{details}")# An item without a readable verdict under either prompt is dropped from both sides: a paired difference needs the same items.excluded = {item_id for item_id, _ in p1_unreadable + p2_unreadable}kept = [item_id for item_id in items if item_id not in excluded]first = passed({item_id: p1_found[item_id] for item_id in kept})  # 1.0 or 0.0 per item, in id ordersecond = passed({item_id: p2_found[item_id] for item_id in kept})n = len(kept)lo, hi = bootstrap_mean(second - first)  # 95%, one comparison: the default levelprint(f"P1 (baseline) pass rate: {pct(int(first.sum()), n)}")print(f"P2 (prompt-b) pass rate: {pct(int(second.sum()), n)}")print(f"difference, P2 minus P1: {100 * float((second - first).mean()):+.1f} points")print(f"95% interval of the difference: {interval_points(lo, hi)}")print(f"paired items (n): {n}")print(f"items only P1 passes: {int(((first == 1) & (second == 0)).sum())}")print(f"items only P2 passes: {int(((first == 0) & (second == 1)).sum())}")print(f"items both pass: {int(((first == 1) & (second == 1)).sum())}")print(f"items neither passes: {int(((first == 0) & (second == 0)).sum())}")if lo > 0:    print(f"reading: P2 is better at n = {n}")elif hi < 0:    print(f"reading: P2 is worse at n = {n}")else:    print(f"reading: no difference detected at n = {n}")
Saídapython paired-prompt-b.py
unreadable verdicts, P1 (baseline): 1 (q-0043, "VERDICT: PARTIAL")
unreadable verdicts, P2 (prompt-b): 0
P1 (baseline) pass rate: 78.5% (62 of 79)
P2 (prompt-b) pass rate: 81.0% (64 of 79)
difference, P2 minus P1: +2.5 points
95% interval of the difference: [-3.8, +10.1] points
paired items (n): 79
items only P1 passes: 3
items only P2 passes: 5
items both pass: 59
items neither passes: 12
reading: no difference detected at n = 79

Aqui o prompt B é comparado à linha de base nos itens de desenvolvimento. Um item cujo veredito não pode ser lido sob nenhum dos dois prompts é deixado de fora dos dois lados, porque uma diferença pareada exige os mesmos itens dos dois lados. As linhas impressas dão cada taxa de acerto, a diferença, seu intervalo e o número de itens pareados.

A linha de base acerta 78.5% (62 of 79). O prompt B acerta 81.0% (64 of 79). A diferença, prompt B menos a linha de base, é +2.5 points, com um intervalo de 95% de [-3.8, +10.1] points.

A divisão mostra onde está a diferença. 59 itens são acertados por ambos os prompts, e 12 são errados por ambos. Só os itens que se dividem movem a diferença: 5 são acertados apenas pelo prompt B, e 3 apenas pela linha de base.

O intervalo inclui o zero, então a leitura é no difference detected at n = 79. O intervalo vai de uma queda a uma alta, e este conjunto não consegue dizer qual extremidade está mais próxima. Nenhuma diferença detectada é um resultado sobre um conjunto do seu tamanho. Não é uma afirmação de que os prompts são iguais, e o texto não deve dizer que são.

Regra prática: Compare variantes nos mesmos itens, de forma pareada, e informe a diferença com seu intervalo e n. Diga que uma variante é melhor somente quando o intervalo inteiro fica acima de zero, e pior somente quando o intervalo inteiro fica abaixo dele. Quando o intervalo inclui zero, informe que nenhuma diferença foi detectada nesse n, e diga quantos itens a diferença exigiria, como faz Quantas perguntas uma diferença exige.

Held-out, uma única vez

Última alteração na edição 2026.11.3

Os itens de desenvolvimento servem para construir. Uma equipe pode ajustar um prompt com eles, ler as falhas e mudar a versão seguinte. Os resultados de desenvolvimento não conseguem então provar que uma mudança funciona, porque a mudança foi moldada por eles. O conjunto held-out é a verificação que não foi ajustada. Uma comparação no held-out é executada uma única vez, contra regras fixadas antes da execução: as variantes, o nível e a leitura. Rode-a de novo depois de mudar de ideia, ou escolha o nível depois de ver o número, e o intervalo deixa de significar o que diz.

Esta seção executa três comparações no conjunto held-out, cada variante contra a linha de base. O prompt B é o da seção Comparações pareadas. A variante k5 recupera cinco seções em vez de três. A variante unfiltered recupera de todas as versões da documentação ao mesmo tempo, com três seções, em vez de apenas da versão pedida.

held-out-variants.py Python 3.12.15 · numpy 2.5.5 · pydantic 2.14.3 · typing-extensions 4.16.0 Aprovado
"""Compares prompt-b, k5 and unfiltered with the baseline on the held-out items, each variant once, at the level theBonferroni rule gives for three comparisons (98.33%). Each variant gets its paired difference, interval, n and a reading byplan section 6.4. Nothing was chosen with these numbers: the variants, the level and the reading rule were fixed beforethis run, and the run happens once."""import lib  # first: fixes the thread counts and seeds before anything else loadsfrom lib.calibration import readable_verdictsfrom lib.judging import passedfrom lib.prompts import REF_SHA256from lib.stats import RESAMPLES, bootstrap_mean, interval_pointsfrom lib.testset import load_itemsBASELINE = "baseline"VARIANTS = ("prompt-b", "k5", "unfiltered")M = len(VARIANTS)  # one comparison per variant, each against the baselineLEVEL = 1 - 0.05 / M  # Bonferroni: 1 - 0.05/m, which is 98.33% for m = 3 (plan section 6.3)items = [item.id for item in load_items(split="held-out")]  # sorted by idprint(f"comparisons (m): {M}")print(f"share of the 5% for each comparison, 0.05 / m: {0.05 / M:.4f}")print(f"level of each interval, 1 - 0.05 / m: {100 * LEVEL:.2f}%")print(f"resamples beyond each end of an interval: {RESAMPLES * (1 - LEVEL) / 2:.1f}")base_found, base_unreadable = readable_verdicts(f"judge-answers-{BASELINE}", items, REF_SHA256)details = "".join(f' ({item_id}, "{first}")' for item_id, first in base_unreadable)print(f"unreadable verdicts, baseline: {len(base_unreadable)}{details}")for name in VARIANTS:    found, unreadable = readable_verdicts(f"judge-answers-{name}", items, REF_SHA256)    details = "".join(f' ({item_id}, "{first}")' for item_id, first in unreadable)    print(f"unreadable verdicts, {name}: {len(unreadable)}{details}")    # An item unreadable under the baseline or this variant is dropped from both sides of this pair only.    excluded = {item_id for item_id, _ in base_unreadable + unreadable}    kept = [item_id for item_id in items if item_id not in excluded]    first = passed({item_id: base_found[item_id] for item_id in kept})    second = passed({item_id: found[item_id] for item_id in kept})    n = len(kept)    lo, hi = bootstrap_mean(second - first, level=LEVEL)    if name == "prompt-b":  # the chapter says this lower end is exactly zero, so the run must show it        assert lo == 0.0, "the prompt-b lower bound must be exactly zero"    print(f"{name} minus baseline, difference: {100 * float((second - first).mean()):+.1f} points")    print(f"{name} minus baseline, {100 * LEVEL:.2f}% interval: {interval_points(lo, hi)}")    print(f"{name} minus baseline, n: {n}")    if lo > 0:        print(f"{name} minus baseline, reading: better at n = {n}")    elif hi < 0:        print(f"{name} minus baseline, reading: worse at n = {n}")    else:        print(f"{name} minus baseline, reading: no difference detected at n = {n}")
Saídapython held-out-variants.py
comparisons (m): 3
share of the 5% for each comparison, 0.05 / m: 0.0167
level of each interval, 1 - 0.05 / m: 98.33%
resamples beyond each end of an interval: 16.7
unreadable verdicts, baseline: 0
unreadable verdicts, prompt-b: 0
prompt-b minus baseline, difference: +10.0 points
prompt-b minus baseline, 98.33% interval: [+0.0, +22.5] points
prompt-b minus baseline, n: 40
prompt-b minus baseline, reading: no difference detected at n = 40
unreadable verdicts, k5: 0
k5 minus baseline, difference: +2.5 points
k5 minus baseline, 98.33% interval: [-12.5, +18.4] points
k5 minus baseline, n: 40
k5 minus baseline, reading: no difference detected at n = 40
unreadable verdicts, unfiltered: 0
unfiltered minus baseline, difference: -10.0 points
unfiltered minus baseline, 98.33% interval: [-27.5, +8.4] points
unfiltered minus baseline, n: 40
unfiltered minus baseline, reading: no difference detected at n = 40

As três comparações compartilham um mesmo conjunto held-out, por isso cada intervalo é definido em um nível superior a 95%, e Muitas comparações explica o motivo. O nível é 98.33%. Cada variante recebe uma diferença, um intervalo, uma contagem de itens pareados e uma leitura, todos impressos.

O held-out tem 40 itens, contra 79 no desenvolvimento. Por isso seus intervalos são mais largos para a mesma diferença, e um resultado nele só pode ser tão preciso quanto a quantidade de itens permite. A divisão mantém um resultado honesto, e seu custo é ter menos itens para gastar.

A diferença do prompt B é +10.0 points, com um intervalo de [+0.0, +22.5] points. A comparação tem 40 itens pareados.

A diferença do k5 é +2.5 points, com um intervalo de [-12.5, +18.4] points. A diferença do unfiltered é -10.0 points, com um intervalo de [-27.5, +8.4] points.

O desenvolvimento deu +2.5 points para o mesmo prompt, e as duas estimativas pontuais diferem. Os 40 itens do held-out não conseguem dizer qual está mais perto da verdade. A menor diferença que eles detectam, com 98.33% de confiança e 80% de poder, é 16.2 points, de modo que ambas as estimativas pontuais ficam abaixo do que este conjunto consegue detectar. Quantas perguntas uma diferença exige faz as contas.

Pela regra, as três leituras indicam ausência de diferença detectada. Para o prompt B a leitura impressa é no difference detected at n = 40. Para o k5 é no difference detected at n = 40, e para o unfiltered no difference detected at n = 40.

O prompt B é o caso limítrofe. Seu intervalo é [+0.0, +22.5] points, e seu limite inferior é exatamente zero. A regra de leitura só diz melhor quando o intervalo inteiro fica acima de zero, e este alcança o zero sem ultrapassá-lo; portanto, pela regra, a leitura é ausência de diferença detectada. Além de cada extremidade do intervalo ficam 16.7 das 2,000 reamostragens, de modo que a decisão fica exatamente no limite. A semente foi fixada antes da execução por esse motivo. Um leitor poderia argumentar que uma estimativa pontual desse tamanho deveria contar para algo, e esta seção não faz esse argumento. A regra foi definida antes da execução, a comparação roda uma única vez, e ninguém pode olhar de novo para essas três com um nível menor ou uma leitura diferente. Se o prompt B for testado novamente, ele precisa de um novo conjunto held-out, dimensionado por Quantas perguntas uma diferença exige e fixado antes que alguém veja seus resultados, lido separadamente. Acrescentar itens aos 40 já lidos e reler o conjunto reunido seria uma segunda olhada em um resultado já visto.

Regra prática: Fixe as variantes, o nível e a regra de leitura antes de abrir o conjunto held-out, e execute cada comparação uma única vez. Um intervalo que alcança o zero é ausência de diferença detectada naquele n. Não reexecute a comparação, não reduza o nível nem mude a leitura para obter outra resposta. Acrescente itens ao held-out somente antes de eles serem pontuados.

Muitas comparações

Cada comparação é uma chance de se enganar. Um intervalo de 95% numa comparação sem diferença real ainda exclui o zero por sorte cerca de uma vez em vinte. Execute três dessas comparações, relate cada uma com 95%, e a chance de que pelo menos uma delas pareça indicar uma diferença sobe acima de cinco em cem. Quanto mais comparações um capítulo relata, mais provável é que uma delas seja um resultado de sorte.

A correção usual é a correção de Bonferroni, que divide o orçamento de erro entre as comparações. Com m comparações de uma métrica, cada intervalo é definido em 1 menos 0.05 dividido por m. Para três comparações, 0.05 dividido por 3 é 0.0167, então o nível de cada intervalo é 98.33%, o nível que a seção de dados reservados usou. O 0.05 é dividido entre as duas caudas de cada intervalo, então cada cauda recebe 0.05 dividido por duas vezes m. A aritmética vale seja qual for o ponto em comum entre as comparações. A chance de que alguma delas mostre uma diferença falsa não pode exceder a soma das chances separadas, e essa soma é 5%.

O código calcula o nível a partir de m e o imprime, para que você possa conferi-lo com a contagem. O preço é a largura. Nesse nível, cada intervalo é mais largo que um de 95%, então uma diferença precisa ser maior para que seu intervalo ultrapasse o zero. A soma das chances separadas é um limite superior para a chance de qualquer diferença falsa, então a correção é conservadora sempre que os resultados falsos das comparações se sobrepõem. Este livro usa esta correção porque sua regra é curta de enunciar e de verificar, e você pode recalculá-la a partir da contagem.

Quais comparações formam a contagem? Neste capítulo, a comparação de desenvolvimento na seção pareada está isolada, e é relatada com 95% porque é um exemplo trabalhado sobre dados de ajuste. As três comparações dos dados reservados formam uma família, e são relatadas no nível ajustado. Quem vê as duas não deve ler o intervalo de desenvolvimento como um resultado de validação, e o resultado de validação é o que o capítulo utiliza.

A contagem faz parte do desenho. Conte as comparações de uma métrica que o capítulo vai relatar antes de executar qualquer uma delas. Uma comparação acrescentada depois dos resultados é relatada separadamente da família, como exploratória, com sua própria contagem. Os intervalos da família permanecem como foram executados, pois defini-los novamente depois dos resultados mudaria a regra à qual a execução foi submetida.

Regra prática: Conte as comparações de uma métrica antes de executá-las, e defina o nível de cada intervalo em 1 menos 0.05 dividido por essa contagem. Mostre o nível ao lado de cada intervalo. Uma comparação acrescentada depois dos resultados é relatada à parte como exploratória, e os intervalos da família não são definidos novamente.

Quantas perguntas uma diferença exige

A pergunta a fazer antes de uma comparação é quantos itens ela precisa para mostrar uma diferença do tamanho que a equipe considera importante. A resposta depende de uma quantidade: o quanto as duas variantes discordam, item a item. Dois prompts que discordam em poucos itens mostram uma diferença pequena com poucos itens. A fórmula pareada torna isso concreto. Escreva z-confiança para o valor normal bicaudal no nível de confiança e z-potência para o valor no poder. Então n = (z-confiança + z-potência)² · variância(d) / δ², em que variância(d) é a variância da diferença pareada de um item e δ é a diferença a detectar. A variância é a proporção de itens em que as duas variantes discordam, menos o quadrado da diferença média entre elas. Assim, a estimativa é guiada pela discordância, não pelas próprias taxas de aprovação. Esta seção usa 95% de confiança e 80% de poder.

sample-size.py Python 3.12.15 · bm25s 0.3.16 · numpy 2.5.5 · pydantic 2.14.3 · typing-extensions 4.16.0 Aprovado
"""How many items a paired comparison needs to detect a difference of 5 and of 10 points, with 95% confidence and 80% power.The main estimate reads the paired differences that prompt-b and the baseline show on the dev items: each item's d is+1, 0 or -1 (P2 minus P1), and the items on which they disagree set the variance. The floor uses only the judge'swithin-item sampling noise over five samples; it leaves the disagreement between variants out, so it is a lower bound."""import lib  # first: fixes the thread counts and seeds before anything else loadsfrom lib import variancefrom lib.answers import chapter_itemsfrom lib.calibration import readable_verdictsfrom lib.judging import paired, passedfrom lib.prompts import REF_SHA256from lib.stats import pctfrom lib.testset import load_items# n = (z_alpha + z_beta)^2 * var_d / delta^2, rounded up (variance.items_needed). var_d = p_discordant - mean(d)^2.# Smallest difference that n items detect: (z_alpha + z_beta) * sqrt(var_d / n) (variance.smallest_difference_points).BASELINE, PROMPT_B = "judge-answers-baseline", "judge-answers-prompt-b"CHAPTER_ONE_ITEMS = 20  # the chapter 1 set, read below the way twenty-cannot-tell reads ititems = [item.id for item in load_items(split="dev")]  # eighty dev items, sorted by idp1_found, p1_unreadable = readable_verdicts(BASELINE, items, REF_SHA256)p2_found, p2_unreadable = readable_verdicts(PROMPT_B, items, REF_SHA256)kept = [item_id for item_id in items if item_id not in {i for i, _ in p1_unreadable + p2_unreadable}]first = passed({item_id: p1_found[item_id] for item_id in kept})  # 1.0 or 0.0 per itemsecond = passed({item_id: p2_found[item_id] for item_id in kept})var_d = variance.paired_difference_variance(first, second)print(f"share of discordant items, P2 and P1 disagree: {pct(int((first != second).sum()), len(kept))}")print(f"assumption, the next change disagrees with the baseline on about as many items as prompt-b did "      f"({100 * (first != second).mean():.1f}% of items)")# Floor: five samples of a 0/1 verdict with k PASS give the unbiased within-item variance k(5 - k) / (5 * 4).rows = [row for row in variance.item_pass_counts("judge-answers-variance", items) if row.complete]noise = sum(row.passes * (5 - row.passes) / 20 for row in rows) / len(rows)print(f"floor, sampling noise only: dev items with five readable verdicts (n): {len(rows)}")print(f"floor, sampling noise only: mean within-item variance of one verdict: {noise:.4f}")# Two variants judged separately: their two noises add and the item's difficulty cancels, so the floor is 2 * noise.for label, var in (("main estimate", var_d), ("floor, sampling noise only", 2 * noise)):    print(f"{label}, variance of one item's paired difference: {var:.4f}")    for delta in (5.0, 10.0):        print(f"{label}, items needed for a {delta:.0f}-point difference: {variance.items_needed(var, delta)}")    print(f"{label}, smallest difference that {CHAPTER_ONE_ITEMS} items detect, 80% power and 95% confidence: "          f"{variance.smallest_difference_points(var, CHAPTER_ONE_ITEMS):.1f} points")# The chapter 1 set, read as twenty-cannot-tell reads it: its share of discordant items and its interval width.chapter_one = paired(BASELINE, PROMPT_B, [item.id for item in chapter_items()])width_20 = variance.interval_width_points(var_d, CHAPTER_ONE_ITEMS)print(f"chapter 1 set, share of items where the two verdicts differ: "      f"{pct(int((chapter_one.first != chapter_one.second).sum()), chapter_one.n)}")print(f"chapter 1 set, 95% interval width: {100 * (chapter_one.diff_hi - chapter_one.diff_lo):.1f} points")print(f"main estimate, 95% width at {CHAPTER_ONE_ITEMS} items: {width_20:.1f} points")print(f"reading: with {CHAPTER_ONE_ITEMS} items and a change that disagrees with the baseline on "      f"{100 * (first != second).mean():.1f}% of items, as prompt-b did, the smallest difference detected with 80% power "      f"at 95% confidence is {variance.smallest_difference_points(var_d, CHAPTER_ONE_ITEMS):.1f} points")
Saídapython sample-size.py
share of discordant items, P2 and P1 disagree: 10.1% (8 of 79)
assumption, the next change disagrees with the baseline on about as many items as prompt-b did (10.1% of items)
floor, sampling noise only: dev items with five readable verdicts (n): 79
floor, sampling noise only: mean within-item variance of one verdict: 0.0051
main estimate, variance of one item's paired difference: 0.1006
main estimate, items needed for a 5-point difference: 316
main estimate, items needed for a 10-point difference: 79
main estimate, smallest difference that 20 items detect, 80% power and 95% confidence: 19.9 points
floor, sampling noise only, variance of one item's paired difference: 0.0101
floor, sampling noise only, items needed for a 5-point difference: 32
floor, sampling noise only, items needed for a 10-point difference: 8
floor, sampling noise only, smallest difference that 20 items detect, 80% power and 95% confidence: 6.3 points
chapter 1 set, share of items where the two verdicts differ: 10.0% (2 of 20)
chapter 1 set, 95% interval width: 30.0 points
main estimate, 95% width at 20 items: 27.8 points
reading: with 20 items and a change that disagrees with the baseline on 10.1% of items, as prompt-b did, the smallest difference detected with 80% power at 95% confidence is 19.9 points

Aqui o código lê a discordância entre o prompt B e a linha de base nos itens de dev. Sua suposição está impressa, e é ela que você deve verificar: a próxima mudança discordará da linha de base em cerca do mesmo número de itens em que o prompt B discordou. Aqui a proporção de itens que discordam é 10.1% (8 of 79).

sample-size-limits.py Python 3.12.15 · numpy 2.5.5 · pydantic 2.14.3 · typing-extensions 4.16.0 Aprovado
"""The arithmetic behind the five-point figure in sample-size, and the limits of its inputs: the interval on the share ofdiscordant items (a percentile bootstrap over items, as lib.stats computes every interval), the held-out level of 98.33%,and the difference that the 40 held-out items can detect. The disagreement is the dev items' paired run, as in sample-size."""import lib  # first: fixes the thread counts and seeds before anything else loadsfrom lib import variancefrom lib.calibration import readable_verdictsfrom lib.judging import passedfrom lib.prompts import REF_SHA256from lib.stats import bootstrap_mean, interval_pctfrom lib.testset import load_itemsBASELINE = "judge-answers-baseline"PROMPT_B = "judge-answers-prompt-b"ALPHA_HELD_OUT = 0.05 / 3  # two-sided alpha for each of the three held-out comparisons (Bonferroni)HELD_OUT_LEVEL = 1 - ALPHA_HELD_OUTitems = [item.id for item in load_items(split="dev")]  # eighty dev items, sorted by idp1_found, p1_unreadable = readable_verdicts(BASELINE, items, REF_SHA256)p2_found, p2_unreadable = readable_verdicts(PROMPT_B, items, REF_SHA256)kept = [item_id for item_id in items if item_id not in {i for i, _ in p1_unreadable + p2_unreadable}]first = passed({item_id: p1_found[item_id] for item_id in kept})second = passed({item_id: p2_found[item_id] for item_id in kept})discordant = (first != second).astype(float)  # 1 where the two prompts disagree on an item, else 0var_d = variance.paired_difference_variance(first, second)mean_d = float((second - first).mean())# The five-point figure, worked: n = (z_alpha + z_beta)^2 * var(d) / delta^2z2, delta2 = variance.z_sum() ** 2, 0.05 ** 2print(f"z sum squared, 95% confidence and 80% power: {z2:.2f}")print(f"var(d), variance of one item paired difference: {var_d:.4f}")print(f"delta squared, a five-point difference: {delta2:.4f}")print(f"n for five points: {z2:.2f} x {var_d:.4f} / {delta2:.4f} = {z2 * var_d / delta2:.1f}, "      f"rounded up to {variance.items_needed(var_d, 5.0)}")# The share rests on the discordant items alone, so its 95% interval is a range for the answer.share_lo, share_hi = bootstrap_mean(discordant)print(f"discordant share, 95% interval: {interval_pct(share_lo, share_hi)}")for end, share in (("low", share_lo), ("high", share_hi)):    # mean(d) stays at its observed value; only the share moves    print(f"items needed for 5 points, {end} end of the share: {variance.items_needed(share - mean_d ** 2, 5.0)}")print(f"items needed for 5 points at {100 * HELD_OUT_LEVEL:.2f}% confidence: "      f"{variance.items_needed_at(var_d, 5.0, ALPHA_HELD_OUT)}")# Only the count is read here: no held-out verdict is opened by this example.held_out_n = len(load_items(split="held-out"))print(f"held-out items (n): {held_out_n}")print(f"smallest difference {held_out_n} held-out items detect at {100 * HELD_OUT_LEVEL:.2f}% and 80% power: "      f"{variance.smallest_difference_at(var_d, held_out_n, ALPHA_HELD_OUT):.1f} points")
Saídapython sample-size-limits.py
z sum squared, 95% confidence and 80% power: 7.85
var(d), variance of one item paired difference: 0.1006
delta squared, a five-point difference: 0.0025
n for five points: 7.85 x 0.1006 / 0.0025 = 315.9, rounded up to 316
discordant share, 95% interval: [3.8%, 17.7%]
items needed for 5 points, low end of the share: 118
items needed for 5 points, high end of the share: 555
items needed for 5 points at 98.33% confidence: 422
held-out items (n): 40
smallest difference 40 held-out items detect at 98.33% and 80% power: 16.2 points

A aritmética trabalhada para uma diferença de cinco pontos aparece nesse exemplo. O quadrado da soma dos dois valores z é 7.85. A variância da diferença pareada de um item é 0.1006. A diferença de cinco pontos ao quadrado é 0.0025. Portanto n é 7.85 x 0.1006 / 0.0025 = 315.9, rounded up to 316.

Miller (2024) apresenta a fórmula pareada em uma forma mais geral, com termos para o ruído dentro de cada item. A fórmula aqui é essa forma com uma resposta por item, o que elimina os termos dentro do item. Seu exemplo trabalhado, com as entradas do artigo, chega a cerca de 969 itens. Essas entradas descrevem um experimento diferente, por isso os números do livro vêm apenas da execução impressa.

O poder funciona também no sentido inverso. Com 80% de poder, um conjunto dimensionado para uma diferença real ainda deixa de detectá-la cerca de uma vez em cada cinco. Esse é o preço de um orçamento fixo de perguntas, e uma equipe que não pode pagá-lo deve aceitar uma diferença maior como meta ou ampliar o conjunto antes da execução.

Como os itens necessários escalam com essa proporção quando a diferença média é pequena, uma mudança que discorda em duas vezes mais itens precisa de cerca de duas vezes mais perguntas. Uma equipe deve estimar a proporção a partir de uma execução pareada em dev, declará-la, e verificá-la de novo quando a mudança for maior que aquela sobre a qual foi medida.

A estimativa principal diz que uma diferença de cinco pontos exige 316 itens, e uma diferença de dez pontos exige 79. O piso usa apenas o ruído de amostragem dentro de cada item, e dá 32 e 8. Leia o piso como um limite inferior do que é necessário, não como um plano. Ele deixa de fora a discordância entre as variantes, que é real. Dois prompts mudam o que o assistente diz, não apenas o quão constante ele é ao dizer. O piso vale apenas para uma comparação que amostra uma resposta por item com temperatura 0.7, com variantes tão constantes quanto P1. Somente dois dos itens contribuem para o seu ruído, por isso ele se apoia em poucos itens. Um plano feito com base no piso fica aquém sempre que uma mudança discorda mais do que a amostragem sozinha explicaria.

A mesma estimativa responde à pergunta para o conjunto do capítulo 1. Com vinte itens, a menor diferença que o teste detecta com 80% de poder e 95% de confiança é 19.9 points, sob a discordância suposta acima.

O conjunto do capítulo 1 discordou em 10.0% (2 of 20) de seus itens.

Seu intervalo tinha 30.0 points de largura. A fórmula dá 27.8 points na mesma discordância, o que é próximo. O exemplo de vinte itens mostra esse conjunto. Com essa discordância, vinte itens normalmente deixariam de detectar uma diferença de dez pontos, e uma equipe que quer ver uma diferença de cinco pontos precisa de centenas de itens, não de dezenas.

A estimativa se apoia apenas nos itens discordantes, por isso é uma ordem de grandeza, não uma contagem. Seu intervalo de 95% para a proporção é [3.8%, 17.7%]. Dentro desse intervalo, uma diferença de cinco pontos exige 118 itens na extremidade inferior e 555 na extremidade superior. A fórmula é uma aproximação normal, enquanto a regra de leitura usa bootstrap, e as duas concordam apenas aproximadamente quando poucos itens discordam. No nível reservado (held-out) de 98.33%, as mesmas entradas exigem 422 itens para uma diferença de cinco pontos.

Em produção, o erro é escolher o tamanho do conjunto por intuição e depois ler o resultado como uma decisão. Uma equipe que quer um ganho de cinco pontos e executa algumas dezenas de itens normalmente obterá "nenhuma diferença detectada", e pode tomar isso como um veredito de que a mudança não funciona. Anote o tamanho antes da execução, com a suposição de discordância, e relate o resultado em relação a ele. A ausência de diferença detectada com um n declarado é um achado sobre aquele conjunto. Não é uma mudança fracassada.

Regra prática: Antes de uma comparação, execute uma comparação pareada em dev para estimar com que frequência as duas variantes discordam, e declare essa proporção como a suposição. Calcule os itens necessários para a diferença que lhe interessa, no nível em que a comparação será lida, e dê sua faixa a partir do intervalo dessa proporção. Se o conjunto for menor, relate que ele não consegue detectar uma diferença desse tamanho, e não leia sua ausência de diferença detectada como uma decisão contra a mudança. Use o piso apenas como limite inferior, e somente para uma comparação que amostra suas respostas.

Este capítulo, nesta edição

Edição 2026.11.3Exemplos aprovados em 21 de nov de 20265 de 5 exemplos exemplos deste capítulo passam

Traduzido do livro em inglês, edição 2026.11.3.

Citar esta seção

Formato

Cada formato cita o livro em inglês, que esta tradução acompanha.

Todos os formatos citam esta edição. Seu link abre a edição atual, em que o título de cada seção indica quando seu texto foi alterado pela última vez. As datas de acesso e de recuperação são o dia em que você abre esta página.

Nesta página

Capítulo 8 de 11: Decida se uma mudança é melhor, e de quantas perguntas você precisa

  1. Variação dentro de um item
  2. O bootstrap sobre os itens
  3. Comparações pareadas
  4. Held-out, uma única vez
  5. Muitas comparações
  6. Quantas perguntas uma diferença exige

Voltar ao topoTodos os capítulos