Meça os erros de um juiz contra as avaliações humanas e depois corrija uma taxa de aprovação
Cerca de 28 minutos min de leitura, com 6 exemplos em 7 seções.
Traduzido com IA. Verificado por pessoas em inglês. Como fazemos os livros
Traduzido do livro em inglês, edição 2026.11.3. Leia o original
Ao final deste capítulo, você será capaz de medir como os veredictos de um juiz diferem das avaliações humanas, separar essas diferenças em omissões (erros não detectados) e falsas aprovações, e corrigir uma taxa de aprovação observada considerando esses erros, com a suposição em que a correção se apoia escrita ao lado dela.
O capítulo 5 terminou com uma segunda redação da tarefa de calibração e com a regra de que a redação de um juiz é medida, não presumida. O juiz de respostas lê cada resposta em comparação com uma referência escrita e a marca como PASS ou FAIL, e a execução de referência do assistente obtém sua taxa de aprovação desse juiz. A taxa é um número sobre o juiz tanto quanto sobre o assistente, porque um juiz pode aprovar uma resposta errada ou reprovar uma certa. O capítulo 5 escreveu a rubrica e leu os veredictos. Este capítulo pergunta com que frequência esses veredictos estão errados, em que direção, e o que uma equipe faz com uma taxa depois de saber disso.
Avaliações humanas, e o que elas são
Um juiz só pode ser verificado contra rótulos produzidos de outra forma. Este livro usa avaliações humanas do HelpSteer2, um conjunto de dados público da NVIDIA. Cada linha contém um prompt, uma resposta a ele e cinco notas de atributo, de 0 a 4, dadas por pessoas. As respostas vêm de outros modelos. Este capítulo usa um atributo, a correção. O código de amostragem transforma a nota em aprovado ou reprovado: uma nota 3 ou 4 é lida como PASS, e uma nota de 0 a 2 como FAIL. Esse corte é uma escolha do livro, feita antes de qualquer juiz ser executado.
Os dados do HelpSteer2 não são do próprio livro. Suas respostas vêm de outros modelos, seus prompts são gerais, e ninguém os escreveu para o sablefile. Portanto, esses rótulos medem como o juiz se sai numa pergunta diferente daquela que o juiz de respostas responde. Essa diferença é o tema de a premissa de transferência, e o restante do capítulo volta a ela o tempo todo.
O juiz de calibração lê com uma rubrica escrita para esse único atributo. Ela pergunta se cada fato e resultado de uma resposta está correto, e instrui o juiz a desconsiderar comprimento, tom, estilo e formatação, como descreve o capítulo 5. O conjunto de teste do próprio livro poderia servir de calibração, mas o livro não tem avaliações humanas das respostas do sablefile. Por isso a calibração usa linhas públicas, e paga por isso com a premissa de transferência. O conjunto de dados não fornece ao livro um limiar de aprovação para correção. O livro define o próprio limiar, e cada taxa deste capítulo é lida em relação a ele. Um limiar diferente mudaria todas as taxas, portanto um leitor que compare este capítulo com outro estudo deve primeiro verificar onde esse estudo colocou o seu limiar.
As linhas de calibração são uma amostra da divisão de validação do conjunto de dados, sorteada com uma semente fixa. Linhas cujo texto continha caracteres fora do ASCII imprimível foram descartadas antes do sorteio. O sorteio retira cerca de 45 linhas FAIL e 45 linhas PASS de cada divisão, e mantém uma linha por prompt. A taxa-base é, portanto, definida pela amostragem, e não encontrada no conjunto de dados. A amostra é dividida em desenvolvimento e reservada. O mesmo conjunto de dados também contém pares de respostas a um mesmo prompt, com uma preferência humana entre elas. Pares cuja força de preferência é zero são deixados de fora.
A divisão decide como os números podem ser usados. O conjunto dev é onde o livro define qualquer coisa, incluindo as taxas usadas por uma correção. A reservada é lida uma única vez, neste capítulo, depois que tudo o mais está fixado, e nada aqui é escolhido com base nela. Os números da reservada foram calculados pela primeira vez na verificação de gravação, antes de este capítulo ser escrito. Eles são aqui relatados como estavam, e não recalculados para escolher nada.
Regra prática: Calibre contra rótulos produzidos para a pergunta que o juiz responde, ou diga no texto o quanto eles dela se afastam. Anote a regra que transforma uma nota no aprovado ou reprovado do juiz antes de olhar qualquer resultado. Mantenha separada a divisão em que você ajusta da que você relata uma única vez.
Concordância e kappa
A concordância é a proporção de linhas em que o juiz e o humano dão o mesmo veredito. Ela pode induzir ao erro quando um dos vereditos domina. Um juiz que aprova tudo concorda bem com uma amostra que é majoritariamente APROVADA, e a concordância, sozinha, não distingue esse juiz de um juiz cuidadoso. A correção é perguntar qual concordância os dois vereditos alcançariam por acaso, apenas a partir das suas duas taxas de APROVAÇÃO, e então retirar esse acaso. O kappa faz isso. Para dois avaliadores com aprovação ou reprovação, o kappa é a concordância observada menos a concordância por acaso, dividida por um menos a concordância por acaso. A estatística kappa, uma revisão de McHugh apresenta essa fórmula. O kappa é um quando os dois avaliadores concordam em todas as linhas.
1"""How often the reference-free correctness judge agrees with the human ratings on the HelpSteer2 sample, and Cohen's kappa2for the same counts, on dev, on held-out and on both together.34Agreement alone reads higher than the judge's skill when most rows are one verdict, so the kappa line is the one to read5against chance: the chance agreement printed beside it is what the judge would reach by guessing at its own PASS rate."""6import lib # first: fixes the thread counts and seeds before anything else loads78from lib.calibration import agreement, chance_agreement, cohens_kappa, confusion, helpsteer2_judgments9from lib.stats import pct1011for label, split in (("all", None), ("dev", "dev"), ("held-out", "held-out")):12 counts = confusion(helpsteer2_judgments(split))13 print(f"agreement, {label}: {pct(counts.tp + counts.tn, counts.n)}")14 # the chance figure is an expected rate, not a count, so it has no denominator beside it15 print(f"chance agreement, {label}: {100 * chance_agreement(counts):.1f}%")16 # kappa is printed with two decimals (plan section 6.5), not as a percentage17 print(f"kappa, {label}: {cohens_kappa(counts):.2f}")
python calibration-agreement.pyagreement, all: 70.6% (127 of 180)
chance agreement, all: 50.3%
kappa, all: 0.41
agreement, dev: 71.1% (64 of 90)
chance agreement, dev: 50.2%
kappa, dev: 0.42
agreement, held-out: 70.0% (63 of 90)
chance agreement, held-out: 50.3%
kappa, held-out: 0.40
A concordância em todas as linhas é 70.6% (127 of 180). A concordância por acaso, calculada apenas a partir das duas taxas de APROVAÇÃO, é 50.3%. O kappa é 0.41, com duas casas decimais e sem sinal de porcentagem, porque é uma estatística em sua própria escala, não uma taxa. A concordância e a concordância por acaso são ambas porcentagens, por isso podem ser comparadas diretamente. O kappa é o valor que já descontou o acaso, por isso é o que você deve ler como a concordância do juiz além do acaso.
O kappa vai de −1 a 1. Ele é 0 na concordância por acaso, e é negativo quando os dois avaliadores concordam menos vezes do que o acaso faria, como observa a revisão de McHugh.
Leia os três valores em ordem: concordância, depois o valor de acaso ao lado dela, e então o kappa. Se a concordância sobe enquanto o acaso sobe junto, o ganho pode vir da taxa de base e não do juiz.
As duas divisões são lidas da mesma forma. No dev, a concordância é 71.1% (64 of 90). O kappa no dev é 0.42. No held-out, a concordância é 70.0% (63 of 90), e o kappa é 0.40.
A taxa de base é a razão pela qual o kappa importa. Quando um veredito domina as linhas, a concordância por acaso é alta, e um juiz pode obter uma concordância elevada enquanto distingue mal os dois vereditos. Aqui, a amostra tem aproximadamente tantas linhas APROVADAS quanto REPROVADAS, de modo que a concordância por acaso fica perto da metade. A taxa de APROVAÇÃO humana no dev é 51.1% (46 of 90). Uma equipe com uma amostra desbalanceada deve esperar que a concordância por acaso fique perto da sua concordância, de modo que o kappa fique próximo de zero mesmo quando a concordância parece alta. Você deve ler o kappa primeiro.
A concordância mede a proximidade com os rótulos humanos, não se as respostas estão certas. Uma concordância alta diz que os vereditos do juiz coincidem com os das pessoas, não que as respostas do assistente estejam corretas. O kappa informa quão distante a concordância está do acaso, mas não indica em que direção o juiz erra. Isso exige as duas próximas taxas.
O capítulo 5 descreveu uma segunda redação de calibração, a rubrica B. A rubrica de calibração, daqui em diante rubrica A, diz que uma resposta que não faz afirmação falsa é "não incorreta". A rubrica B reescreve isso: ela diz "correta" onde a A diz "não incorreta", e retira os pontos sobre induzir ao erro e sobre confiança. A rubrica B foi registrada apenas no dev. O próximo exemplo põe as duas redações lado a lado nas mesmas linhas do dev.
1"""How often the second rubric's verdicts agree with the human ratings on the HelpSteer2 sample, beside the first rubric's,2on dev and on held-out, with kappa, TPR and TNR and the PASS rates of judge and humans.34The second rubric was recorded on dev only, so its held-out line says so instead of printing a rate. The paired difference5is on dev alone: each dev row's agreement under rubric B minus its agreement under rubric A, bootstrapped over rows. A6reply with no readable verdict is printed by row ID and left out; it is never counted as FAIL."""7import lib # first: fixes the thread counts and seeds before anything else loads89from dataclasses import replace1011from lib.calibration import cohens_kappa, confusion, helpsteer2_judgments, readable_verdicts12from lib.prompts import HS2B_SHA25613from lib.replay import ReplayModel14from lib.stats import bootstrap_mean, interval_points, pct1516RUBRIC_B = "judge-helpsteer2-rubric-b"171819def report(name, split, judgments):20 c = confusion(judgments)21 print(f"agreement, {name}, {split}: {pct(c.tp + c.tn, c.n)}")22 print(f"kappa, {name}, {split}: {cohens_kappa(c):.2f}")23 print(f"TPR, {name}, {split}: {pct(c.tp, c.tp + c.fn)}")24 print(f"TNR, {name}, {split}: {pct(c.tn, c.tn + c.fp)}")25 print(f"judge PASS rate, {name}, {split}: {pct(c.tp + c.fp, c.n)}")26 print(f"human PASS rate, {name}, {split}: {pct(c.tp + c.fn, c.n)}")272829def same(j):30 return int(j.judge_pass == j.human_pass)313233base = {j.id: j for j in helpsteer2_judgments()} # rubric A's verdicts and the human PASS for every row, by id34recorded = {item for item, _ in ReplayModel(RUBRIC_B, HS2B_SHA256).keys()}35verdicts_b, unreadable = readable_verdicts(RUBRIC_B, sorted(recorded & base.keys()), HS2B_SHA256)36rows_b = {i: replace(base[i], judge_pass=v == "PASS") for i, v in verdicts_b.items()}3738print(f"unreadable, rubric B: {len(unreadable)} of {len(recorded)} replies")39for item_id, _ in unreadable:40 print(f"unreadable, rubric B, row {item_id}: excluded, not counted as FAIL")41for split in ("dev", "held-out"):42 report("rubric A", split, [j for j in base.values() if j.split == split])43 b = [j for j in rows_b.values() if j.split == split]44 if b:45 report("rubric B", split, b)46 else:47 print(f"rubric B, {split}: no readable replies recorded")4849dev_ids = [i for i in verdicts_b if base[i].split == "dev"]50diffs = [same(rows_b[i]) - same(base[i]) for i in dev_ids] # the same row under both rubrics51lo, hi = bootstrap_mean(diffs) # level 0.95 for one comparison; seed SEED, 2,000 resamples52n = len(dev_ids)53print(f"paired difference, dev: {100 * sum(diffs) / n:+.1f} points, 95% interval {interval_points(lo, hi)}, n = {n}")54reading = "rubric B better" if lo > 0 else "rubric B worse" if hi < 0 else f"no difference detected at n = {n}"55caveat = ", on dev only with no held-out run" if lo > 0 or hi < 0 else "" # a dev-only difference carries its caveat56print(f"paired difference, dev, reading: {reading}{caveat}")
python rubric-b-agreement.pyunreadable, rubric B: 0 of 90 replies
agreement, rubric A, dev: 71.1% (64 of 90)
kappa, rubric A, dev: 0.42
TPR, rubric A, dev: 80.4% (37 of 46)
TNR, rubric A, dev: 61.4% (27 of 44)
judge PASS rate, rubric A, dev: 60.0% (54 of 90)
human PASS rate, rubric A, dev: 51.1% (46 of 90)
agreement, rubric B, dev: 74.4% (67 of 90)
kappa, rubric B, dev: 0.49
TPR, rubric B, dev: 84.8% (39 of 46)
TNR, rubric B, dev: 63.6% (28 of 44)
judge PASS rate, rubric B, dev: 61.1% (55 of 90)
human PASS rate, rubric B, dev: 51.1% (46 of 90)
agreement, rubric A, held-out: 70.0% (63 of 90)
kappa, rubric A, held-out: 0.40
TPR, rubric A, held-out: 82.6% (38 of 46)
TNR, rubric A, held-out: 56.8% (25 of 44)
judge PASS rate, rubric A, held-out: 63.3% (57 of 90)
human PASS rate, rubric A, held-out: 51.1% (46 of 90)
rubric B, held-out: no readable replies recorded
paired difference, dev: +3.3 points, 95% interval [-1.1, +7.8] points, n = 90
paired difference, dev, reading: no difference detected at n = 90
Nenhuma diferença apareceu no dev. A concordância sob a rubrica B é 74.4% (67 of 90). Sob a rubrica A, nas mesmas linhas, é 71.1% (64 of 90). A diferença pareada é +3.3 points, 95% interval [-1.1, +7.8] points, n = 90. Para cada linha do dev, o código atribui 1 quando uma redação concorda com os humanos e 0 quando não concorda. A diferença pareada é a pontuação da rubrica B menos a da rubrica A, calculada como média sobre as linhas do dev, e seu intervalo é obtido por bootstrap sobre essas linhas. A leitura do exemplo para esse intervalo é no difference detected at n = 90.
O intervalo inclui o zero, de modo que a estimativa do dev não mostra que a rubrica B seja melhor. A rubrica B não tem execução no held-out, então sua estimativa do dev não tem uma segunda verificação. Suas respostas ilegíveis são 0 of 90 replies, portanto nenhuma resposta foi deixada de fora.
Regra prática: Informe a concordância junto ao kappa, e leia o kappa em relação ao valor de acaso impresso ao lado dele. Nomeie a rubrica e a divisão em cada número, para que duas redações nunca sejam lidas como uma só. Considere uma redação melhor apenas quando o limite inferior do seu intervalo pareado estiver acima de zero, e apenas no held-out, ou no dev com essa ressalva junto à afirmação. Quando o intervalo cobrir o zero, diga que nenhuma diferença foi detectada com o n que você tem, e não transforme uma estimativa pontual mais alta em afirmação.
Taxas de verdadeiro positivo e verdadeiro negativo
Concordância e kappa dizem com que frequência o juiz concorda com os humanos. Eles não dizem em que sentido ele erra. As duas taxas que dizem são a taxa de verdadeiro positivo e a taxa de verdadeiro negativo. A taxa de verdadeiro positivo, TPR, é a proporção das linhas humanas com PASS que o juiz aprova. A taxa de verdadeiro negativo, TNR, é a proporção das linhas humanas com FAIL que o juiz reprova. Um juiz que aprova demais tem TPR alto e TNR baixo, porque seus erros são aprovações falsas. Um juiz que reprova demais é o oposto. A correção na próxima seção precisa das duas taxas, pois cada uma corrige um erro diferente.
1"""The judge's true positive rate and true negative rate on the HelpSteer2 sample, with the counts beside each, on dev, on2held-out and on both together.34PASS is the positive class: TPR is the share of human PASS rows the judge passes, and TNR the share of human FAIL rows it5fails. The two rates are the judge's error profile; a lenient judge has a high TPR and a low TNR."""6import lib # first: fixes the thread counts and seeds before anything else loads78from lib.calibration import confusion, helpsteer2_judgments9from lib.stats import pct1011# PASS is the positive class: the rows a human rated PASS are the positives, and TPR is taken over them.12print("positive class: PASS")13for label, split in (("all", None), ("dev", "dev"), ("held-out", "held-out")):14 counts = confusion(helpsteer2_judgments(split))15 print(f"TPR, {label}: {pct(counts.tp, counts.tp + counts.fn)}")16 print(f"TNR, {label}: {pct(counts.tn, counts.tn + counts.fp)}")
python tpr-tnr.pypositive class: PASS
TPR, all: 81.5% (75 of 92)
TNR, all: 59.1% (52 of 88)
TPR, dev: 80.4% (37 of 46)
TNR, dev: 61.4% (27 of 44)
TPR, held-out: 82.6% (38 of 46)
TNR, held-out: 56.8% (25 of 44)
Aqui PASS é a classe positiva, então a TPR é calculada sobre as linhas humanas com PASS e a TNR sobre as linhas humanas com FAIL. Cada taxa mostra suas contagens ao lado, para que você veja em quantas linhas ela se apoia.
No conjunto completo de linhas, a TPR é 81.5% (75 of 92). A TNR é 59.1% (52 of 88). O juiz aprova a maioria das respostas que os humanos aprovaram, mas também aprova uma parcela considerável das respostas que os humanos reprovaram. A mais fraca das duas taxas é a TNR, o que torna este juiz leniente.
O sentido do erro importa para quem lê uma taxa de aprovação, e depende de onde a taxa está. A correção da taxa de aprovação na próxima seção deixa a taxa inalterada no ponto de cruzamento, p* = (1 − TNR) / (2 − TPR − TNR). Abaixo de p* a correção reduz a taxa, e acima de p* a correção a eleva. Para um juiz leniente, p* fica alto, então uma taxa reportada abaixo dele parece alta demais, e uma taxa acima dele parece baixa demais. No conjunto de desenvolvimento, o ponto de cruzamento é 66.4% (TPR 80.4%, TNR 61.4%). Saber onde uma taxa está em relação a esse ponto indica para uma equipe para que lado o seu número reportado pende, antes de qualquer correção. A concordância sozinha esconderia isso. Dois juízes podem concordar com os humanos na mesma medida e ainda diferir em qual erro cometem com mais frequência, e as taxas que reportam difeririam por causa disso.
No conjunto de desenvolvimento, a TPR é 80.4% (37 of 46) e a TNR é 61.4% (27 of 44). No conjunto de teste reservado, a TPR é 82.6% (38 of 46) e a TNR é 56.8% (25 of 44). A divisão reservada fica próxima da de desenvolvimento nas duas taxas, com a TNR alguns pontos mais baixa.
Cada taxa é calculada sobre um grupo de rótulos humanos, e cada divisão tem poucas linhas, de modo que outra amostra poderia alterar as taxas. Este capítulo não apresenta intervalo para a TPR nem para a TNR. Leia as taxas como o erro do juiz nesta amostra, e não como o seu erro em geral.
Regra prática: Reporte a TPR e a TNR juntas, com suas contagens, e diga em que sentido o juiz erra. Use apenas o conjunto de desenvolvimento para obter as taxas que uma correção utiliza, e cite as duas ao lado de qualquer taxa corrigida. Reporte o conjunto de teste reservado uma única vez, depois de feitas as escolhas, e mantenha-o fora de todas as escolhas.
Corrigindo uma taxa de aprovação
A taxa de aprovação observada conta dois tipos de veredito: aprovações verdadeiras, que o juiz captou, e aprovações falsas, que ele deixou passar. A correção tenta desfazer os dois de uma vez. Dados o TPR e o TNR do juiz, ela calcula a fração verdadeira de aprovações que produziria a taxa observada. O livro escreve isso como (observado + TNR - 1) / (TPR + TNR - 1). Rogan e Gladen (1978) tratam do mesmo problema para testes de triagem, e o resumo deles afirma que ajustes desse tipo são apresentados. O livro leu apenas esse resumo, então a fórmula aqui é a declaração própria do livro sobre a correção, tal como o código a calcula, e não uma citação do artigo.
A correção tem um limite. Ela divide por TPR + TNR - 1. Um juiz cujas duas taxas ficam perto do que o acaso produziria tem um denominador próximo de zero, e então pequenos erros em qualquer uma das taxas se tornam grandes oscilações na taxa corrigida. O código do livro se recusa a corrigir quando esse denominador está abaixo de 0.1, e lança um erro em vez de imprimir uma taxa. A execução abaixo fica bem longe desse piso. Na prática, uma equipe faz quatro coisas em ordem: mede o TPR e o TNR em um conjunto de calibração separado do conjunto que será corrigido, verifica se o denominador ultrapassa o piso, aplica a correção à taxa observada sobre as respostas legíveis e escreve ao lado do resultado a suposição de transferência.
1"""The baseline's answer-judge pass rate over the test items the judge gave a readable verdict, corrected for the judge's errors2with TPR and TNR from dev only. The corrected rate is printed beside the observed rate and the two rates the correction uses.34One judge reply has no PASS or FAIL on its first line. It is left out of the rate and printed by name, never counted as a5FAIL. The TPR and TNR come from HelpSteer2, where the judge rates other models' answers without a reference. This judge reads6the answers against a written reference. The correction assumes the two error profiles transfer; nothing here tests that.7The last lines apply the same correction to the calibration set itself: the rates are measured on those same rows, so that8check shows the arithmetic, not how well the correction generalises."""9import lib # first: fixes the thread counts and seeds before anything else loads1011from lib.calibration import (12 confusion,13 corrected_pass_rate,14 crossover_pass_rate,15 helpsteer2_judgments,16 readable_verdicts,17 tnr,18 tpr,19)20from lib.judging import passed21from lib.prompts import REF_SHA25622from lib.stats import pct23from lib.testset import load_items2425items = load_items() # all 120 items of the test set, dev and held-out together26found, unreadable = readable_verdicts("judge-answers-baseline", [item.id for item in items], REF_SHA256)27details = "".join(f' ({item_id}, "{first}")' for item_id, first in unreadable)28print(f"unreadable verdicts: {len(unreadable)}{details}") # left out of the rate below, not counted as FAIL29passes = int(passed(found).sum()) # found is keyed in sorted id order30observed = passes / len(found)31print(f"observed pass rate, readable items: {pct(passes, len(found))}")3233dev = confusion(helpsteer2_judgments("dev")) # the only rows the correction's TPR and TNR may come from34print(f"TPR, dev: {pct(dev.tp, dev.tp + dev.fn)}")35print(f"TNR, dev: {pct(dev.tn, dev.tn + dev.fp)}")36# Below this observed rate the correction lowers the rate; above it, the correction raises it.37crossover = crossover_pass_rate(tpr(dev), tnr(dev))38print(f"crossover point, dev: {100 * crossover:.1f}% (TPR {100 * tpr(dev):.1f}%, TNR {100 * tnr(dev):.1f}%)")3940corrected = corrected_pass_rate(observed, tpr(dev), tnr(dev)) # refused if TPR + TNR - 1 is below 0.141print(f"corrected pass rate: {100 * corrected:.1f}%")4243# The sanity check: the same correction on the calibration set, with rates measured on those same rows. It checks the44# arithmetic, not transfer to the answers: it should return the human PASS rate, and it does by construction.45calibration = confusion(helpsteer2_judgments())46judge_rate = (calibration.tp + calibration.fp) / calibration.n47print(f"calibration set, judge PASS rate: {pct(calibration.tp + calibration.fp, calibration.n)}")48print(f"calibration set, corrected judge PASS rate: {100 * corrected_pass_rate(judge_rate, tpr(calibration), tnr(calibration)):.1f}%")49print(f"calibration set, human PASS rate: {pct(calibration.tp + calibration.fn, calibration.n)}")50calibration_crossover = crossover_pass_rate(tpr(calibration), tnr(calibration)) # the same test, on the same rows51print(f"crossover point, calibration set: {100 * calibration_crossover:.1f}% "52 f"(TPR {100 * tpr(calibration):.1f}%, TNR {100 * tnr(calibration):.1f}%)")
python corrected-pass-rate.pyunreadable verdicts: 1 (q-0043, "VERDICT: PARTIAL")
observed pass rate, readable items: 76.5% (91 of 119)
TPR, dev: 80.4% (37 of 46)
TNR, dev: 61.4% (27 of 44)
crossover point, dev: 66.4% (TPR 80.4%, TNR 61.4%)
corrected pass rate: 90.5%
calibration set, judge PASS rate: 61.7% (111 of 180)
calibration set, corrected judge PASS rate: 51.1%
calibration set, human PASS rate: 51.1% (92 of 180)
crossover point, calibration set: 68.9% (TPR 81.5%, TNR 59.1%)
A entrada são os vereditos do juiz de respostas da linha de base para os itens de teste, todos os 120, de desenvolvimento e de held-out juntos. Uma resposta não teve veredito legível, porque sua primeira linha não era PASS nem FAIL. O exemplo a imprime pelo nome e a deixa de fora da taxa, pois uma resposta que o juiz não conseguiu ler não é um FAIL. O capítulo 5 explica as duas maneiras como o código lê um veredito ilegível. A linha correspondente mostra 1 (q-0043, "VERDICT: PARTIAL"). O capítulo 1 define a taxa de aprovação sobre todos os itens do conjunto. Esta taxa é sobre os itens legíveis, então se afasta dessa definição pela única resposta deixada de fora.
A taxa de aprovação observada sobre os itens legíveis é 76.5% (91 of 119). A correção usa o TPR e o TNR do desenvolvimento, e essas são as únicas linhas que ela pode usar. Seu TPR no desenvolvimento é 80.4% (37 of 46). Seu TNR no desenvolvimento é 61.4% (27 of 44).
A taxa corrigida é 90.5%. A taxa corrigida estima a fração das respostas do sablefile que uma pessoa aprovaria, sob o ponto de corte de correção do livro. Ela não é a taxa de aprovação do juiz, que é a taxa observada acima, e não é a acurácia do assistente. A estimativa só vale se os erros do juiz nas respostas do sablefile coincidirem com os erros dele nas linhas do HelpSteer2. Essa é a suposição de transferência, e o TPR e o TNR acima vêm de um juiz sem referência avaliando respostas de outros modelos, enquanto o juiz de respostas confere as respostas do sablefile contra uma referência.
A taxa corrigida é maior que a taxa observada, e o ponto de cruzamento mostra por quê. A taxa observada fica acima do ponto de cruzamento, onde o juiz subestima a taxa. Nessa taxa, as aprovações verdadeiras que o juiz deixa de reconhecer superam as aprovações falsas que ele deixa passar, então a correção a eleva.
O resultado também fica perto do teto do código. O código limita a taxa corrigida ao intervalo de 0 a 1. O valor sem limite passa de 1 exatamente quando a taxa observada está acima do TPR, porque então o numerador é maior que o denominador. Aqui a taxa observada fica abaixo do TPR por menos de quatro pontos. Se duas das linhas PASS do desenvolvimento que o juiz aprovou tivessem sido reprovadas, o TPR cairia abaixo da taxa observada, e a taxa corrigida imprimiria 100.0%.
Regra prática: corrija uma taxa de aprovação somente com TPR e TNR medidos em um conjunto de calibração. Cite as duas taxas ao lado da taxa corrigida, recuse quando o denominador for pequeno, e diga no mesmo parágrafo o que a correção supõe. A próxima seção apresenta o intervalo e as mudanças de uma linha que devem acompanhar qualquer taxa corrigida.
Quanto uma linha move a taxa corrigida
1"""How much the corrected pass rate of corrected-pass-rate depends on its inputs. A 95% bootstrap interval resamples both the2dev calibration rows and the readable test items, with the book's fixed seed. It prints the share of resamples that reach3the 100% cap, and the corrected rate when one dev row moves TPR or TNR up or down. Only dev rows set the correction's rates."""4import lib # first: fixes the thread counts and seeds before anything else loads56from dataclasses import replace78from lib.calibration import confusion, correction_interval, corrected_pass_rate, helpsteer2_judgments, readable_verdicts, tnr, tpr9from lib.judging import passed10from lib.prompts import REF_SHA25611from lib.stats import RESAMPLES, interval_pct, pct12from lib.testset import load_items1314items = load_items() # all 120 items of the test set, as in corrected-pass-rate15found, _ = readable_verdicts("judge-answers-baseline", [item.id for item in items], REF_SHA256)16observed = int(passed(found).sum()) / len(found)1718dev_rows = helpsteer2_judgments("dev")19dev = confusion(dev_rows)20lo, hi, capped, refused = correction_interval(dev_rows, passed(found)) # resamples the dev rows and the readable items21print(f"corrected pass rate, 95% interval: {interval_pct(lo, hi)}")22print(f"resamples at the 100% cap: {pct(capped, RESAMPLES)}")23print(f"resamples refused, TPR + TNR - 1 below 0.1: {pct(refused, RESAMPLES)}")2425# One dev row moved: a human PASS row judged the other way changes TPR; a human FAIL row changes TNR.26moved = {27 "TPR one row higher": replace(dev, tp=dev.tp + 1, fn=dev.fn - 1),28 "TPR one row lower": replace(dev, tp=dev.tp - 1, fn=dev.fn + 1),29 "TNR one row higher": replace(dev, tn=dev.tn + 1, fp=dev.fp - 1),30 "TNR one row lower": replace(dev, tn=dev.tn - 1, fp=dev.fp + 1),31}32for label, counts in moved.items():33 print(f"corrected, {label}: {100 * corrected_pass_rate(observed, tpr(counts), tnr(counts)):.1f}%")
python correction-sensitivity.pycorrected pass rate, 95% interval: [62.1%, 100.0%]
resamples at the 100% cap: 29.5% (590 of 2000)
resamples refused, TPR + TNR - 1 below 0.1: 0.1% (2 of 2000)
corrected, TPR one row higher: 86.0%
corrected, TPR one row lower: 95.5%
corrected, TNR one row higher: 91.0%
corrected, TNR one row lower: 90.0%
O exemplo reamostra tanto as linhas de desenvolvimento quanto os itens legíveis, 2,000 vezes, com a semente fixa do livro, e lê a dispersão da taxa corrigida. O intervalo de 95% é [62.1%, 100.0%]. Ele é amplo, porque TPR e TNR se apoiam cada um em algumas dezenas de linhas de desenvolvimento, e seu limite superior é o próprio teto. Algumas reamostras atingem o teto. Sua proporção é 29.5% (590 of 2000). As reamostras recusadas por um denominador abaixo de 0.1 são 0.1% (2 of 2000), e o intervalo é calculado sobre as demais.
Eis os movimentos de uma linha. Se uma linha de desenvolvimento que os humanos aprovaram tivesse sido julgada PASS em vez de FAIL, o TPR seria uma linha maior, e a taxa corrigida seria 86.0%. Se uma dessas linhas tivesse sido julgada FAIL, o TPR seria uma linha menor, e a taxa corrigida seria 95.5%. Para o TNR, uma linha de desenvolvimento que os humanos reprovaram e o juiz aprovou mudaria a taxa para 91.0% se fosse julgada FAIL, e para 90.0% se fosse julgada PASS. O TPR é a taxa que você deve observar: uma linha ali move a resposta de quatro a cinco pontos, enquanto uma linha de TNR a move em cerca de meio ponto.
O intervalo cobre a amostragem das linhas de desenvolvimento e dos itens legíveis. Ele não cobre a premissa de transferência. Um juiz cujos erros diferem nas respostas do sablefile poderia mover a taxa mais do que as reamostras mostram.
Regra prática: Apresente a taxa corrigida com o intervalo bootstrap que o livro usa para suas taxas, a proporção de reamostras no teto e os movimentos de uma linha ao lado, para que o leitor veja o quanto linhas isoladas importam.
A premissa de transferência
A TPR e a TNR acima vêm de linhas em que o juiz leu respostas de outros modelos sem referência, sob a rubrica de correção, e a linha de APROVADO ali é a correção do HelpSteer2 igual ou superior a 3. O juiz de respostas lê as respostas do sablefile contra uma referência escrita, e uma APROVAÇÃO nesse caso significa que a resposta concorda com a referência, contando uma recusa correta como aprovação. Os dois juízes respondem a perguntas diferentes sobre o que significa estar certo. A premissa de transferência é que a taxa de falha do juiz sobre as aprovações humanas, e sua taxa de passagem sobre as reprovações humanas, são as mesmas nas respostas do sablefile e nas linhas do HelpSteer2. Nada neste capítulo testa essa premissa. A correção só se sustenta se as diferenças de entrada, respostas, perguntas e critério de APROVAÇÃO não alterarem o perfil de erro. O Capítulo 5 expõe a diferença entre um juiz com referência e um juiz sem referência.
As últimas linhas do mesmo exemplo aplicam a correção às linhas de calibração, com taxas tiradas dessas linhas. Nessas linhas, a taxa de APROVADO do juiz é 61.7% (111 of 180). Seu ponto de cruzamento é 68.9% (TPR 81.5%, TNR 59.1%), e a taxa do juiz fica abaixo dele, portanto a correção reduz a taxa. A taxa de APROVADO corrigida do juiz é 51.1%. A taxa de APROVADO humana é 51.1% (92 of 180).
A taxa corrigida do juiz devolve a taxa humana. Isso decorre da álgebra, porque as taxas foram medidas nessas mesmas linhas. A verificação confirma que a aritmética está certa. Ela não diz nada sobre se a correção se aplica ao sablefile, e o leitor não deve tomá-la como evidência de transferência.
A solução melhor são rótulos sobre as respostas do próprio livro. O livro não os tem, porque nenhuma pessoa avaliou as respostas do sablefile. Um leitor que tenha esses rótulos deve calibrar com eles, mantendo uma divisão separada do conjunto que está sendo corrigido, como este capítulo mantém o dev separado do held-out. Isso eliminaria a maior parte da premissa de transferência, enquanto as linhas públicas apenas pagam por ela.
Regra prática: escreva a premissa de transferência ao lado de cada taxa corrigida, no mesmo parágrafo, e nomeie a diferença entre o juiz de calibração e o juiz que a taxa descreve. Verifique a aritmética nas linhas de onde as taxas vieram, e diga que essa verificação não testa a transferência. Até que existam rótulos humanos sobre as respostas que a taxa descreve, e até que eles tenham sido conferidos contra o juiz, chame a taxa corrigida de uma estimativa que vale se a premissa valer.
Calibração por pares
Um juiz por pares lê duas respostas e escolhe a melhor, em vez de aprovar ou reprovar cada uma. O lado humano é a preferência do HelpSteer2 entre as duas respostas a um prompt. Um juiz por pares tem uma fraqueza conhecida: qual resposta está na posição A e qual na B pode decidir a escolha. O capítulo 5 explica por que o livro pergunta ao juiz sobre cada par nas duas ordens, e o capítulo 7 analisa as mudanças de ordem que a posição provoca. Esta seção pergunta como é a concordância com a preferência humana quando as duas ordens são contadas. A contagem de mudanças de ordem que ela imprime é a que o capítulo 5 imprimiu, e aparece aqui apenas para explicar a diferença.
Cada par é um prompt do HelpSteer2 com duas respostas e uma preferência humana entre elas. Os pares com empate foram descartados, de modo que todo par tem uma escolha humana. Um TIE do juiz é um erro, porque o juiz disse que as duas respostas eram iguais quando o humano escolheu uma delas. Uma única ordem dá uma taxa que depende de qual letra o juiz favoreceu, de modo que uma equipe que reporta uma só ordem reporta um número que a posição das respostas pode alterar. Contar as duas ordens elimina essa liberdade, ao custo de um número menor. Recomendamos reportar a taxa mais rigorosa para um juiz por pares, e ler as taxas de ordem única apenas como um diagnóstico da diferença entre elas.
Antes de executar o exemplo, preveja se um par que só conta quando as duas ordens escolhem a resposta do humano vai pontuar acima ou abaixo de qualquer uma das ordens tomada isoladamente. Depois confira a previsão com a saída.
1"""How often the pairwise judge's verdict agrees with the human preference on each HelpSteer2 pair, dev and held-out apart.2Three rates: the A,B order alone, the B,A order alone (both mapped back to the original responses), and both orders together,3where a pair counts only when both orders pick the human's response. A flipped pair (the same letter won both times) can4never count in the last rate, so the flipped count printed beside it is the number of misses that come from position.56Each single-order rate uses the pairs whose verdict in that order is readable; a TIE is judged and is not a pick, so it is7a miss. The interval is the 95% percentile bootstrap over pairs of the both-orders rate."""8import lib # first: fixes the thread counts and seeds before anything else loads910from lib.judging import both_orders, human_pairs11from lib.stats import bootstrap_mean, interval_pct, pct1213AB = "judge-hs2-pairs-ab"14BA = "judge-hs2-pairs-ba"1516pairs = human_pairs() # all 150 pairs, sorted by id, each with its split and the human's pick17orders = both_orders(AB, BA, list(pairs)) # both recordings read for every pair, sorted by id1819for split in ("dev", "held-out"):20 rows = [o for o in orders if pairs[o.pair_id].split == split]21 human = {o.pair_id: pairs[o.pair_id].preferred for o in rows}22 ab = [o.ab == human[o.pair_id] for o in rows if o.ab is not None]23 ba = [o.ba == human[o.pair_id] for o in rows if o.ba is not None]24 both = [o.ab == human[o.pair_id] and o.ba == human[o.pair_id] for o in rows if o.ab is not None and o.ba is not None]25 flipped = sum(1 for o in rows if o.kind == "flipped")26 print(f"agreement, A,B order, {split}: {pct(sum(ab), len(ab))}")27 print(f"agreement, B,A order, {split}: {pct(sum(ba), len(ba))}")28 print(f"agreement, both orders, {split}: {pct(sum(both), len(both))}; flipped pairs: {flipped}")29 lo, hi = bootstrap_mean([float(hit) for hit in both]) # 95% interval over pairs, the level for one comparison30 print(f"95% interval, both orders, {split}: {interval_pct(lo, hi)}")
python pairwise-agreement.pyagreement, A,B order, dev: 77.3% (58 of 75)
agreement, B,A order, dev: 73.3% (55 of 75)
agreement, both orders, dev: 65.3% (49 of 75); flipped pairs: 15
95% interval, both orders, dev: [53.3%, 76.0%]
agreement, A,B order, held-out: 74.7% (56 of 75)
agreement, B,A order, held-out: 76.0% (57 of 75)
agreement, both orders, held-out: 62.7% (47 of 75); flipped pairs: 19
95% interval, both orders, held-out: [52.0%, 73.3%]
Contada nas duas ordens, a concordância é menor do que em qualquer ordem isolada, e a diferença vem dos pares com mudança de ordem. No dev, a ordem A,B sozinha dá 77.3% (58 of 75). A ordem B,A sozinha dá 73.3% (55 of 75). Contar as duas ordens dá a taxa mais rigorosa, 65.3% (49 of 75); flipped pairs: 15.
A contagem depois do ponto e vírgula são os pares com mudança de ordem, que a saída do exemplo rotula como flipped. Um par com mudança de ordem, como o capítulo 5 define, é aquele em que o veredito seguiu a posição e não a resposta. Um par com mudança de ordem nunca conta na taxa das duas ordens, de modo que cada um deles é um erro nessa taxa.
A divisão held-out mostra o mesmo padrão. A ordem A,B dá 74.7% (56 of 75), a ordem B,A dá 76.0% (57 of 75), e as duas ordens dão 62.7% (47 of 75); flipped pairs: 19.
O intervalo sobre a taxa das duas ordens, por pares, é [53.3%, 76.0%] no dev. No teste reservado é [52.0%, 73.3%]. Esses intervalos são largos porque cada divisão tem poucos pares. A leitura que se sustenta é o padrão: um juiz que muda sua escolha conforme a posição não pode ser lido como concordando com pessoas em nenhuma ordem isolada.
Depois deste capítulo, você pode medir a concordância de um juiz além do acaso, seus erros e falsas aprovações nesta amostra, e uma taxa de aprovação corrigida com a suposição de transferência escrita ao lado. Essas medidas se apoiam em linhas públicas, não nas respostas do sablefile, e um juiz por pares contado nas duas ordens ainda perde pares para a posição. O capítulo 7 testa os limites que um juiz pode mostrar nas gravações do próprio livro, começando pela posição, e é onde o leitor aprende quando deixar de confiar em um veredito.
Regra prática: Quando um juiz compara duas respostas, execute-o nas duas ordens e reporte a concordância contada de ambas as formas, com os pares com mudança de ordem ao lado. Nunca leia uma taxa de ordem única como a concordância do juiz com pessoas. Reporte o intervalo sobre os pares, e diga que um par com mudança de ordem é um erro, porque é o custo da posição.
Este capítulo, nesta edição
Edição 2026.11.3Exemplos aprovados em 21 de nov de 20266 de 6 exemplos exemplos deste capítulo passam
Traduzido do livro em inglês, edição 2026.11.3.