Escreva uma rubrica que um juiz possa aplicar

Cerca de 22 minutos min de leitura, com 3 exemplos em 6 seções.

Edição 2026.11.3 Exemplos aprovados em 21 de nov de 2026 54 de 54 exemplos passam O que mudou

Traduzido com IA. Verificado por pessoas em inglês. Como fazemos os livros

Traduzido do livro em inglês, edição 2026.11.3. Leia o original

Ao final deste capítulo, você saberá escrever uma rubrica que um modelo juiz aplica da mesma forma a cada resposta, ler o veredito dele com um código que nunca conta nada que não possa ser lido como veredito, e dizer quando uma comparação em pares ou uma escala vale o custo.

O capítulo 4 terminou onde o código deixa de alcançar. Uma verificação consegue manter a forma de uma resposta correta e mostrar qual seção ela cita, mas não consegue ler o que a resposta afirma, então é preciso alguém que leia a afirmação contra a referência. Este capítulo constrói esse leitor, um juiz: um modelo que lê uma resposta, a compara com uma resposta de referência escrita e registra se a resposta está correta. O assistente responde perguntas sobre sablefile, uma ferramenta de linha de comando, e o capítulo 1 foi o primeiro a usar esse juiz. O juiz é o Qwen3-4B-Instruct-2507, fixado no commit a06e946 de sua conversão GGUF, o mesmo modelo que responde às perguntas, de modo que o livro não verifica um modelo com outro mais forte. As respostas do juiz foram registradas uma única vez, e todos os exemplos deste capítulo leem esses registros, de modo que os números não mudam de uma execução para outra. Uma equipe que relata uma taxa de acerto vinda de um juiz que nunca verificou está relatando um número sobre o juiz, e quem lê a página não consegue distinguir os dois sem as verificações que este capítulo descreve.

Um juiz trabalha a partir de suas instruções, e as instruções são a rubrica. Uma rubrica são dois textos. O texto de sistema declara a tarefa, as regras e a forma que a resposta deve ter. O template envolve o pedido, a referência e a resposta em marcadores, para que o juiz consiga distinguir uns dos outros. A rubrica faz parte da medição, e não é uma nota que vem antes dela, porque a redação é o que o juiz recebe. Este capítulo mostra como o livro escreve suas rubricas, como cada veredito é lido e onde uma equipe precisa fazer uma escolha.

O que se pede a um juiz

Última alteração na edição 2026.11.3

A resposta do juiz vai para o código, e o código lê a primeira linha dela como o veredito. Portanto, o formato que a rubrica pede faz parte da rubrica. Um juiz que escreve seu veredito em outro formato não deixa nada para o código ler, e a seção sobre vereditos abaixo explica o que o código faz nesse caso.

O livro tem cinco rubricas. O juiz de resposta verifica uma resposta sobre sablefile contra a resposta de referência escrita para sua pergunta. A rubrica de calibração verifica a correção sem referência, com linhas de HelpSteer2, um conjunto de dados público de avaliações humanas de respostas de outros modelos a prompts gerais, descrito no capítulo 6. Sua ficha do conjunto de dados foi lida em 20 de novembro de 2026. A rubrica B é uma segunda redação da tarefa de calibração. A rubrica pareada escolhe a melhor de duas respostas. A rubrica de fidelidade verifica se uma resposta é sustentada pelas seções que lhe foram dadas. Cada rubrica está escrita como texto e tem um hash, e o primeiro exemplo imprime o nome e o hash das cinco. Para um item que a documentação não cobre, a referência é a palavra none, e é a rubrica que informa ao juiz que uma resposta só passa quando é a frase de recusa.

rubric-text.py Python 3.12.15 · numpy 2.5.5 Aprovado
"""The five rubrics the book's judges use, each with the sha256 its recording's manifest holds, and how many lines its systemtext has. The hash is the one lib.prompts.sha256_text gives for the system text and the user template together: eachrecording's manifest was made from that pair, not from the system text alone, so the check compares the pair. The firstline of each rubric is printed to show which rubric it is; the full texts are in lib/prompts.py."""import lib  # first: fixes the thread counts and seeds before anything else loadsfrom lib.prompts import (    FAITH_SYSTEM, FAITH_TEMPLATE, HS2_SYSTEM, HS2_TEMPLATE, HS2B_SYSTEM, HS2B_TEMPLATE, PAIR_SYSTEM, PAIR_TEMPLATE,    REF_SYSTEM, REF_TEMPLATE, sha256_text,)from lib.replay import ReplayModel# (the rubric's name, the recording whose manifest holds its hash, its system text, its user template)RUBRICS = (    ("answer judge, reference-guided", "judge-answers-baseline", REF_SYSTEM, REF_TEMPLATE),    ("HelpSteer2 calibration rubric, reference-free", "judge-helpsteer2", HS2_SYSTEM, HS2_TEMPLATE),    ("HelpSteer2 rubric B, second wording", "judge-helpsteer2-rubric-b", HS2B_SYSTEM, HS2B_TEMPLATE),    ("pairwise rubric", "judge-hs2-pairs-ab", PAIR_SYSTEM, PAIR_TEMPLATE),    ("faithfulness rubric", "judge-faithfulness-baseline", FAITH_SYSTEM, FAITH_TEMPLATE),)for name, recording, system, template in RUBRICS:    digest = sha256_text(system, template)    # ReplayModel raises ValueError when the recording's manifest hash is not this one, so a match is checked, not assumed.    ReplayModel(recording, digest)    print(f"{name}: {len(system.splitlines())} lines")    print(f"  sha256 of system text and template: {digest}")    print(f"  first line: {system.splitlines()[0]}")
Saídapython rubric-text.py
answer judge, reference-guided: 10 lines
  sha256 of system text and template: 4c409dcd59d0926646c3f8f5683da5de589e1586007dcfcf79d71a6b49e7e227
  first line: You check an AI assistant's answer about the sablefile tool against the written reference answer for the question.
HelpSteer2 calibration rubric, reference-free: 20 lines
  sha256 of system text and template: 56d617ac94b9fa5c4f0b2ce1eee17b7e0ce42c7e6b6c617edcb55a7b48d472e6
  first line: You check the correctness of an AI assistant's response to a user's request.
HelpSteer2 rubric B, second wording: 17 lines
  sha256 of system text and template: 7f512725080e8e78437603f7445a0480caaa0d2a344aa51d58d5475cba2ac384
  first line: You grade whether an AI assistant's reply to a user is right.
pairwise rubric: 13 lines
  sha256 of system text and template: 24a735e79373f7fa0b8bf1210c3e516964d93164508c666b8d333b93c27de992
  first line: You compare two AI assistant responses to the same request and say which one is better.
faithfulness rubric: 15 lines
  sha256 of system text and template: a584b8d56f63c212497fa67602f2fbd2add41823ca5895ba2bad541389970555
  first line: You check whether an answer about the sablefile tool is supported by the documentation sections it was given.

A saída traz a primeira linha de cada texto de sistema e um hash desse texto junto com seu modelo. O hash cobre os dois porque o juiz recebe os dois, e uma mudança em qualquer um altera o que o juiz vê. A execução confere cada hash com a gravação feita com aquela rubrica e para com um erro se eles forem diferentes, de modo que uma gravação não pode ser reexecutada sob uma rubrica com que não foi feita. Um leitor que vê um número neste livro pode encontrar a rubrica por trás dele pelo nome e pelo hash, e pode distinguir essa rubrica de outra com uma única palavra alterada.

As marcações do modelo mostram ao juiz onde começam e terminam a requisição, a referência e a resposta. É para isso que servem. O livro não testa se elas impedem que uma resposta que cita as instruções da própria rubrica seja lida como instrução.

Regra prática: Escreva cada rubrica como um texto que uma equipe possa ler, e calcule seu hash junto com a execução que ela produz. Dê à rubrica o nome de sua primeira linha, para que o leitor saiba de qual rubrica vem um número. Altere o texto de uma rubrica apenas criando outra rubrica com sua própria gravação, e nunca editando a rubrica que produziu os números já presentes na página.

Com referência ou sem referência

Um juiz guiado por referência recebe uma resposta escrita para a pergunta e verifica a resposta do assistente contra ela. Um juiz sem referência recebe apenas o pedido e a resposta, e decide, com base no que sabe, se a resposta está certa. A referência é um ponto fixo. O juiz não precisa conhecer o sablefile, porque a referência diz o que está correto. Esse mesmo ponto fixo também é um limite: o juiz não pode estar mais certo do que a referência, e a rubrica precisa dizer como tratar uma resposta que usa outras palavras, acrescenta detalhes ou cobre apenas parte da pergunta.

A primeira regra da rubrica de respostas aceita uma resposta que afirma o que a referência afirma. A resposta pode usar outras palavras, e pode acrescentar detalhes que não contradizem a referência. Uma resposta que diz algo que a referência não sustenta está incorreta. A terceira regra trata de uma referência com várias leituras: a resposta precisa responder a todas as leituras, e uma resposta parcial está incorreta. Duas regras adicionais levam para o juiz a recusa prevista no caso. Se a referência for a palavra "none", a documentação não responde à pergunta, e a resposta só está correta quando for exatamente a frase de recusa, "A documentação não diz." E uma resposta que dá uma resposta e também diz a frase de recusa está incorreta. O capítulo 10 mede os dois tipos de erro que essa regra controla, e o juiz aplica a mesma regra a toda resposta.

A rubrica de calibração não tem referência, então precisa dizer o que conta como errado sem nada com que comparar. Ela manda o juiz julgar apenas a correção e nomeia o que ele não deve avaliar: extensão, tom, estilo e formatação. Também diz que uma resposta que não faz nenhuma afirmação falsa não está incorreta, mesmo que seja incompleta ou peça mais informações. Essa frase é uma decisão. O HelpSteer2 avalia vários atributos, e a correção é um deles. A rubrica nomeia apenas a correção, de modo que a questão é definida pela rubrica e não deixada a cargo do juiz. O capítulo 6 mede o quanto a resposta mais restrita do juiz concorda com as avaliações humanas.

Quando a referência está errada, o juiz reprova respostas corretas, e o veredito não dá nenhum sinal disso. Uma equipe lê um aumento nas reprovações como sinal de um assistente mais fraco, quando a falha está na referência. Leia uma amostra das reprovações em comparação com a referência antes de interpretar a taxa.

Regra prática: Use uma referência sempre que o conjunto tiver uma, e escreva na rubrica a regra para uma referência vazia, como faz a rubrica de respostas. Use uma rubrica sem referência apenas quando não existir referência. No texto dela, nomeie o que o juiz não deve contar contra uma resposta, como extensão, tom ou incompletude, para que a rubrica faça essa escolha e o juiz não precise fazê-la.

Aprovação ou reprovação, ou uma escala

Última alteração na edição 2026.11.3

Uma rubrica de aprovação ou reprovação dá ao juiz duas respostas. Uma escala dá ao juiz várias respostas. As avaliações humanas do HelpSteer2 estão numa escala de 0 a 4, e uma escala pode parecer trazer mais informação do que um sim ou não. O custo dela está nas fronteiras. O juiz precisa distinguir um ponto do seguinte, e a equipe precisa dizer o que cada ponto significa e depois verificar se os pontos do juiz concordam com os humanos. Uma aprovação ou reprovação pede uma decisão por resposta, e cada taxa deste livro é uma taxa dessas decisões.

A rubrica de resposta e as duas rubricas de calibração dão aprovação ou reprovação. A busca para este capítulo procurou um estudo que compare uma escala com aprovação e reprovação em rótulos humanos binários, e não encontrou nenhum. Portanto, esta escolha é um desenho do livro, não um achado de uma fonte, e você deve avaliá-la como um desenho.

A pergunta que este livro faz é se uma resposta está certa, e essa pergunta tem duas respostas. Uma resposta pode estar quase certa e mesmo assim errada em um fato ou em um comando. Uma escala daria a ela uma nota intermediária, e a equipe teria então de converter essa nota em sim ou não antes de poder ler qualquer taxa. A taxa de aprovação é a parcela dos itens que o juiz aprova, sobre todos os itens do conjunto, e uma recusa correta conta como aprovação, como explica o capítulo 10. Uma escala exigiria um resumo diferente, como uma média, e uma média esconde quais respostas ficam em cada ponto. Tome o item de recusa. Uma resposta ou recusa, ou não recusa. Uma escala permitiria que o juiz desse uma nota intermediária a uma resposta que recusa e depois acrescenta um palpite, que é a resposta que o capítulo 10 conta como erro, e a equipe teria então de decidir de que lado da escala fica a aprovação.

Regra prática: Use aprovação e reprovação quando a equipe precisar de um sim ou não sobre a correção, e informe apenas taxas dessas decisões. Use uma escala somente quando cada passo significar algo sobre o qual a equipe vá agir, e quando existirem avaliações humanas em cada passo para verificar o juiz contra elas. Diga no texto qual forma a equipe escolheu e por quê, porque essa escolha define todas as taxas que a equipe relatar. O capítulo 6 mostra como o juiz é comparado com as avaliações humanas.

Uma resposta ou duas

Um julgamento por pares mostra ao juiz duas respostas para a mesma solicitação e pergunta qual é a melhor. Ele serve a uma equipe que precisa escolher entre duas versões quando é difícil definir uma nota absoluta. A rubrica por pares dá ao juiz duas letras, A ou B, e nenhum empate. O custo é a posição. Cada resposta ocupa um lugar no prompt, primeiro ou segundo, e estudos sobre juízes relatam que a ordem pode decidir a escolha. Esses estudos medem outros juízes em configurações próprias, e este livro não adota as taxas deles como suas. O capítulo 7 os revisa e mede a inclinação neste juiz.

Um juiz por pares não tem pontos de escala para definir, e só precisa dizer qual de duas respostas é melhor, que é exatamente o que uma equipe que escolhe entre duas versões pergunta. Ainda assim, ele precisa ser verificado contra as preferências humanas, como faz o capítulo 7 com seus pares consistentes. O custo é pago na posição, e por isso esta seção julga cada par duas vezes.

O exemplo por pares usa pares de preferência humana do HelpSteer2. Cada par é julgado duas vezes: uma com a primeira resposta mostrada como A, e outra com a segunda resposta mostrada como A. Cada veredito é então mapeado de volta para a resposta que ele escolheu, para que as duas ordens possam ser comparadas. Um par é consistente quando a mesma resposta vence nas duas ordens. Ele é de ordem invertida quando a mesma letra vence nas duas ordens, o que significa que a posição decidiu o veredito; a saída do exemplo chama esses casos de flipped. Empate e ilegível são os outros dois tipos.

pairwise-both-orders.py Python 3.12.15 · numpy 2.5.5 Aprovado
"""How the pairwise judge's verdict on each HelpSteer2 preference pair depends on which response is shown as A. Each pair isjudged twice, once as ab (response_a shown as A) and once as ba (response_b shown as A), and both verdicts are mapped backto the original responses. A flipped pair picked the same letter both times, so its verdict followed the position: theflipped lines, on dev and on held-out, are the ones the point rests on.Only the pair IDs of the examples are printed; the counts are the rates the chapter quotes."""import lib  # first: fixes the thread counts and seeds before anything else loadsfrom lib.judging import KINDS, both_orders, human_pairsfrom lib.stats import pctAB = "judge-hs2-pairs-ab"BA = "judge-hs2-pairs-ba"pairs = human_pairs()  # all 150 pairs, sorted by id, each with its splitorders = both_orders(AB, BA, list(pairs))  # the two recordings, read for every pair, sorted by idfor split in ("dev", "held-out"):    in_split = [p for p in pairs if pairs[p].split == split]    for kind in KINDS:        # the rate's denominator is the split's pairs, so a kind with no pairs still prints as 0 of that count        n = sum(1 for o in orders if o.kind == kind and pairs[o.pair_id].split == split)        print(f"{kind}, {split}: {pct(n, len(in_split))}")for kind in KINDS:    picked = [o.pair_id for o in orders if o.kind == kind][:3]  # the first three in id order    print(f"examples, {kind}: {', '.join(picked) if picked else 'none'}")
Saídapython pairwise-both-orders.py
consistent, dev: 80.0% (60 of 75)
flipped, dev: 20.0% (15 of 75)
tie, dev: 0.0% (0 of 75)
unreadable, dev: 0.0% (0 of 75)
consistent, held-out: 74.7% (56 of 75)
flipped, held-out: 25.3% (19 of 75)
tie, held-out: 0.0% (0 of 75)
unreadable, held-out: 0.0% (0 of 75)
examples, consistent: hs2-pref-0001, hs2-pref-0002, hs2-pref-0005
examples, flipped: hs2-pref-0003, hs2-pref-0004, hs2-pref-0012
examples, tie: none
examples, unreadable: none

A contagem a ser mantida é a de pares de ordem invertida, não a contagem de vencedores. No split de dev, o veredito mudou com a ordem em:

20.0% (15 of 75).

Os primeiros pares de ordem invertida, em ordem de id, são hs2-pref-0003, hs2-pref-0004, hs2-pref-0012. Empates são o terceiro tipo, e no dev a contagem é zero:

0.0% (0 of 75).

O analisador lê uma linha TIE além de A e B, de modo que uma resposta que dissesse TIE seria contada como empate, e não como veredito ilegível. A rubrica por pares pede apenas A ou B, porém, e nenhuma resposta no dev dá TIE. Por isso a contagem de empates é zero.

Um par de ordem invertida é aquele em que o veredito seguiu a posição, então ele não diz nada sobre qual resposta é melhor. Um leitor que olhasse apenas uma ordem contaria esse par como vitória de uma das respostas. Qual posição vence é o assunto do capítulo 7. Este capítulo mostra apenas por que uma ordem não basta.

Regra prática: Julgue cada par nas duas ordens, mapeie cada veredito de volta para a sua resposta antes de contar, e informe a contagem de ordem invertida ao lado da contagem de vitórias. Conte um par de ordem invertida como ausência de preferência, e não deixe que ele decida uma comparação. Se a contagem de ordem invertida for alta em um conjunto, a comparação está medindo a posição, e uma amostra maior em uma única ordem não corrige isso.

Veredito primeiro

A rubrica pede o veredito na primeira linha e uma frase curta de justificativa na linha seguinte. O código lê apenas a primeira linha não vazia. A verificação é curta: uma linha precisa conter o veredito, e uma resposta que não começa com um veredito não é lida como tal. A justificativa vem depois do veredito, para que o leitor e o código possam ver a escolha antes da explicação.

parse_verdict retorna PASS ou FAIL quando a primeira linha não vazia é exatamente esse veredito, e ignora asteriscos ou crases ao redor da linha. Qualquer outra coisa não retorna nada, e isso é um veredito ilegível. Não é um FAIL. Um FAIL significa que o juiz considerou a resposta errada, e um veredito ilegível significa que o juiz não deu julgamento algum. O código tem dois leitores de vereditos, e eles tratam um veredito ilegível de forma diferente. verdicts em lib/judging.py para com um erro, então uma execução que passa por ele não pode contar a resposta como um FAIL. readable_verdicts em lib/calibration.py imprime cada resposta ilegível e a deixa de fora dos vereditos, e portanto do denominador. A maioria dos exemplos que informam uma taxa lê os vereditos por ele. Uma taxa que deixa respostas de fora imprime a contagem delas ao lado.

As respostas fixas passam pelo analisador, uma linha de saída para cada uma, que imprime o veredito, ou o rótulo refused para uma resposta sem veredito legível.

parse-verdicts.py Python 3.12.15 · numpy 2.5.5 Aprovado
"""What lib.contract.parse_verdict accepts and refuses: the verdict on a reply's first non-empty line, PASS or FAIL in capitals,after optional emphasis marks. Each fixed reply below prints one line, the verdict or 'refused'. A refusal is not a FAIL:the judge has not given a verdict, and the evaluation counts that as an error, not a failed answer."""import lib  # first: fixes the thread counts and seeds before anything else loadsfrom lib.contract import parse_verdictCASES = (    ("verdict first, PASS", "VERDICT: PASS\nReason: The answer matches the reference."),    ("verdict first, FAIL", "VERDICT: FAIL\nReason: The answer gives a different version number."),    ("emphasis around the line", "**VERDICT: FAIL**\nReason: The answer gives a different version number."),    ("backticks around the line", "`VERDICT: PASS`\nReason: The answer matches the reference."),    ("blank lines before the verdict", "\n\nVERDICT: PASS\nReason: The answer matches the reference."),    ("no space after the colon", "VERDICT:PASS\nReason: The answer matches the reference."),    ("two verdict lines, first one read", "VERDICT: FAIL\nVERDICT: PASS\nReason: Two verdicts."),    ("lower case", "VERDICT: pass\nReason: The answer matches the reference."),    ("title case", "Verdict: PASS\nReason: The answer matches the reference."),    ("PARTIAL", "VERDICT: PARTIAL\nReason: Half of the answer matches."),    ("verdict after a reason", "Reason: The answer matches the reference.\nVERDICT: PASS"),    ("full stop after the verdict", "VERDICT: PASS.\nReason: The answer matches the reference."),    ("words after the verdict", "VERDICT: PASS, mostly correct\nReason: The answer matches the reference."),    ("bullet before the verdict", "- VERDICT: PASS\nReason: The answer matches the reference."),    ("pairwise letter", "VERDICT: A\nReason: Response A is better."),    ("bare word", "PASS\nReason: The answer matches the reference."),    ("empty reply", ""),    ("blank lines only", "  \n\n   "),)for label, raw in CASES:    verdict = parse_verdict(raw)    print(f"{label}: {verdict if verdict is not None else 'refused'}")
Saídapython parse-verdicts.py
verdict first, PASS: PASS
verdict first, FAIL: FAIL
emphasis around the line: FAIL
backticks around the line: PASS
blank lines before the verdict: PASS
no space after the colon: PASS
two verdict lines, first one read: FAIL
lower case: refused
title case: refused
PARTIAL: refused
verdict after a reason: refused
full stop after the verdict: refused
words after the verdict: refused
bullet before the verdict: refused
pairwise letter: refused
bare word: refused
empty reply: refused
blank lines only: refused

As primeiras linhas da saída mostram as formas que o analisador aceita. Um veredito na primeira linha é lido, e também um com asteriscos ou crases ao redor, linhas em branco acima, ou sem espaço depois dos dois-pontos. Quando aparecem duas linhas de veredito, o analisador lê a primeira, então uma resposta que diz FAIL e depois PASS é lida como FAIL.

As linhas ilegíveis importam mais para uma rubrica. Minúsculas, maiúsculas iniciais e um veredito PARTIAL são todos ilegíveis. Também são um veredito colocado depois da justificativa, um ponto final ou palavras extras depois de PASS, um marcador antes do veredito, uma letra de comparação par a par enviada a uma rubrica de aprovação ou reprovação, um PASS sem rótulo, uma resposta vazia e uma resposta só com linhas em branco. Cada forma ilegível é uma resposta escrita em um formato que a rubrica não pediu. Um analisador que adivinhasse o que o juiz quis dizer estaria lendo a intenção do juiz, e não o seu veredito.

A frase a guardar deste exemplo é que uma resposta que o analisador não consegue ler não é uma resposta reprovada. É uma resposta sem veredito, e nenhuma taxa deste livro a transforma em PASS ou FAIL. A orientação do livro é imprimir a contagem de ilegíveis em cada divisão. Uma divisão com mais respostas ilegíveis do que a outra é uma que o juiz formata de maneira diferente, o que vale descobrir antes de ler a taxa, pois pode dizer mais sobre o juiz do que sobre o assistente.

Regra prática: Leia apenas a primeira linha não vazia. Nunca associe um veredito ilegível a PASS ou FAIL. Diga em cada taxa o que a execução faz com um veredito ilegível, se ela para ou deixa a resposta de fora, e imprima a contagem ao lado de qualquer taxa que deixe respostas de fora. Verifique o analisador nas respostas que o juiz de fato escreveu, pois uma rubrica que funciona em uma amostra ainda pode perder vereditos para um formato que ela não pediu.

Ajustando a redação no dev

Última alteração na edição 2026.11.3

A redação de uma rubrica é uma configuração, e uma equipe vai querer ajustá-la até que o juiz concorde melhor com os seus rótulos. O risco está em ajustar sobre os números que a equipe depois reporta. O livro divide os seus itens em duas partições. O dev é onde a redação é ajustada. O held-out é executado uma única vez, para cada comparação que um capítulo reporta, depois que a redação já está fixada. Uma partição held-out que foi usada para escolher a redação deixa de testá-la. Ajustar uma rubrica sobre itens held-out transforma a concordância reportada em uma medida do próprio ajuste, e então a concordância deixa de dizer algo sobre o juiz.

Antes de qualquer ajuste, a equipe escreve a regra para cada tipo de item que o conjunto contém, nas próprias palavras da rubrica: o que passa, o que falha e quanto vale uma recusa. Em seguida, lê, uma de cada vez, as respostas do dev que a rubrica erra, e muda a redação somente quando uma resposta mostrar uma lacuna que a regra não cobre. Uma alteração feita para se ajustar a uma única resposta é uma alteração na rubrica, e precisa de uma gravação própria.

A rubrica de respostas do capítulo 1 está congelada. A sua gravação guarda o hash da redação que a produziu. Mudar uma palavra muda o hash, e a reprodução recusa a gravação. Uma alteração, portanto, significa que toda a execução do juiz de respostas é gravada novamente, para cada resposta, sob a redação alterada. Este livro não ajusta essa rubrica, e um leitor que queira ajustá-la deve esperar regravar todas as suas respostas.

A rubrica B é uma segunda redação da tarefa de calibração, e é gravada no HelpSteer2. A rubrica de calibração diz que uma resposta sem afirmação falsa é "não incorreta". A rubrica B diz que tal resposta é "certa", e usa "certa" e "errada" onde a rubrica de calibração usa "correta" e "incorreta". A rubrica B também deixa de fora dois pontos da rubrica de calibração, o de que uma resposta não deve induzir ao erro e o de que a confiança não deve ser recompensada, e retira a formatação do que o juiz não deve avaliar. O seu parágrafo de instrução e o seu formulário de resposta são os seguintes. A rubrica também tem dois exemplos fictícios, que este capítulo omite. Eles fazem parte do texto que é hasheado.

You grade whether an AI assistant's reply to a user is right.

A reply is right when every fact it states is true, every calculation or result in it is correct, and any code or reasoning in it works. Mark it wrong when any of those fail, or when it answers a different question from the one asked. A reply that makes no false claim is right, even when it is short, asks a question back, or leaves something out. Do not grade style, length or tone.

Reply in this form: on the first line, write exactly VERDICT: PASS if the reply is right, or VERDICT: FAIL if it is wrong. Then, on the next line, one short sentence of reason.

O exemplo imprime o hash da rubrica B ao lado dos outros quatro, para que o leitor consiga distinguir as duas redações de calibração. Este capítulo mostra apenas o texto e o hash, e o capítulo 6 relata o quanto a rubrica B concorda com as avaliações humanas.

O capítulo tomou estas decisões:

  • O juiz lê somente a primeira linha não vazia. Qualquer outra resposta é um veredito ilegível, nunca um FAIL, e os dois caminhos de código que leem vereditos são descritos acima.
  • Toda rubrica é hasheada junto com a sua gravação, e uma rubrica alterada é uma nova rubrica com uma nova gravação.
  • Todas as taxas são de aprovação e reprovação. Não se usa uma escala, porque o livro não tem avaliações humanas em cada degrau para conferi-la.
  • Um juiz pareado é executado nas duas ordens, e os pares cujo resultado muda com a ordem são reportados ao lado das suas contagens de vencedores.

Regra prática: Escreva a redação antes de executar qualquer coisa no held-out, e ajuste-a somente no dev. Quando a redação precisar mudar, transforme-a em outra rubrica, com gravação e hash próprios. Reporte cada número com o hash da redação que o produziu, para que duas redações não sejam lidas como uma só.

Este capítulo, nesta edição

Edição 2026.11.3Exemplos aprovados em 21 de nov de 20263 de 3 exemplos exemplos deste capítulo passam

Traduzido do livro em inglês, edição 2026.11.3.

Citar esta seção

Formato

Cada formato cita o livro em inglês, que esta tradução acompanha.

Todos os formatos citam esta edição. Seu link abre a edição atual, em que o título de cada seção indica quando seu texto foi alterado pela última vez. As datas de acesso e de recuperação são o dia em que você abre esta página.

Nesta página

Capítulo 5 de 11: Escreva uma rubrica que um juiz possa aplicar

  1. O que se pede a um juiz
  2. Com referência ou sem referência
  3. Aprovação ou reprovação, ou uma escala
  4. Uma resposta ou duas
  5. Veredito primeiro
  6. Ajustando a redação no dev

Voltar ao topoTodos os capítulos