Escribe una rúbrica que un juez pueda aplicar

Unos 18 minutos de lectura, con 3 ejemplos en 6 secciones.

Edición 2026.11.3 Ejemplos verificados el 21 de nov de 2026 54 de 54 ejemplos pasan Qué ha cambiado

Traducido con IA. Verificado por personas en inglés. Cómo hacemos los libros

Traducido del libro en inglés, edición 2026.11.3. Lee el original

Al final de este capítulo podrás escribir una rúbrica que un modelo juez aplica de la misma manera a cada respuesta, leer su veredicto con código que nunca cuenta nada que no pueda leerse como veredicto, y decir cuándo una comparación por pares o una escala valen su costo.

Capítulo 4 terminó donde el código deja de alcanzar. Una comprobación puede mantener honesta la forma de una respuesta y mostrar qué sección cita, pero no puede leer lo que la respuesta afirma, así que algo tiene que leer la afirmación contra la referencia. Este capítulo construye ese lector, un juez: un modelo que lee una respuesta, la compara con una respuesta de referencia escrita y escribe si la respuesta es correcta. El asistente responde preguntas sobre sablefile, una herramienta de línea de comandos, y el capítulo 1 usó este juez por primera vez. El juez es Qwen3-4B-Instruct-2507, fijado al commit a06e946 de su conversión GGUF, el mismo modelo que responde las preguntas, de modo que el libro no verifica un modelo con uno más fuerte. Las respuestas del juez se grabaron una sola vez, y todos los ejemplos de este capítulo leen esas grabaciones, así que sus números no cambian de una ejecución a otra. Un equipo que informa una tasa de aciertos a partir de un juez que nunca verificó está informando un número sobre el juez, y quien lee la página no puede distinguir ambas cosas sin las comprobaciones que describe este capítulo.

Un juez trabaja a partir de sus instrucciones, y las instrucciones son la rúbrica. Una rúbrica consta de dos textos. El texto del sistema enuncia la tarea, las reglas y la forma que debe tener la respuesta. La plantilla envuelve la solicitud, la referencia y la respuesta en marcadores, para que el juez pueda distinguirlos. La rúbrica forma parte de la medición, no es una nota que va antes de ella, porque la redacción es lo que recibe el juez. Este capítulo muestra cómo el libro escribe sus rúbricas, cómo se lee cada veredicto y dónde un equipo tiene que tomar una decisión.

Qué se le pide al juez

Último cambio en la edición 2026.11.3

La respuesta del juez llega al código, y el código lee la primera línea como el veredicto. Por eso la forma que pide la rúbrica forma parte de la rúbrica. Un juez que escribe su veredicto con otra forma no le ha dado al código nada que leer, y la sección sobre veredictos más abajo explica qué hace el código en ese caso.

El libro tiene cinco rúbricas. El juez de respuestas comprueba una respuesta sobre sablefile frente a la respuesta de referencia escrita para su pregunta. La rúbrica de calibración comprueba la corrección sin referencia, sobre filas de HelpSteer2, un conjunto de datos público con valoraciones humanas de respuestas de otros modelos a instrucciones generales, que describe el capítulo 6. Su ficha del conjunto de datos se consultó el 20 de noviembre de 2026. La rúbrica B es una segunda redacción de la tarea de calibración. La rúbrica por pares elige la mejor de dos respuestas. La rúbrica de fidelidad comprueba si una respuesta está respaldada por las secciones que se le dieron. Cada rúbrica se escribe como texto y lleva un hash, y el primer ejemplo imprime el nombre y el hash de las cinco. Para un elemento que los documentos no cubren, la referencia es la palabra none, y es la rúbrica la que le indica al juez que una respuesta solo pasa si es la frase de rechazo.

rubric-text.py Python 3.12.15 · numpy 2.5.5 Superado
"""The five rubrics the book's judges use, each with the sha256 its recording's manifest holds, and how many lines its systemtext has. The hash is the one lib.prompts.sha256_text gives for the system text and the user template together: eachrecording's manifest was made from that pair, not from the system text alone, so the check compares the pair. The firstline of each rubric is printed to show which rubric it is; the full texts are in lib/prompts.py."""import lib  # first: fixes the thread counts and seeds before anything else loadsfrom lib.prompts import (    FAITH_SYSTEM, FAITH_TEMPLATE, HS2_SYSTEM, HS2_TEMPLATE, HS2B_SYSTEM, HS2B_TEMPLATE, PAIR_SYSTEM, PAIR_TEMPLATE,    REF_SYSTEM, REF_TEMPLATE, sha256_text,)from lib.replay import ReplayModel# (the rubric's name, the recording whose manifest holds its hash, its system text, its user template)RUBRICS = (    ("answer judge, reference-guided", "judge-answers-baseline", REF_SYSTEM, REF_TEMPLATE),    ("HelpSteer2 calibration rubric, reference-free", "judge-helpsteer2", HS2_SYSTEM, HS2_TEMPLATE),    ("HelpSteer2 rubric B, second wording", "judge-helpsteer2-rubric-b", HS2B_SYSTEM, HS2B_TEMPLATE),    ("pairwise rubric", "judge-hs2-pairs-ab", PAIR_SYSTEM, PAIR_TEMPLATE),    ("faithfulness rubric", "judge-faithfulness-baseline", FAITH_SYSTEM, FAITH_TEMPLATE),)for name, recording, system, template in RUBRICS:    digest = sha256_text(system, template)    # ReplayModel raises ValueError when the recording's manifest hash is not this one, so a match is checked, not assumed.    ReplayModel(recording, digest)    print(f"{name}: {len(system.splitlines())} lines")    print(f"  sha256 of system text and template: {digest}")    print(f"  first line: {system.splitlines()[0]}")
Salidapython rubric-text.py
answer judge, reference-guided: 10 lines
  sha256 of system text and template: 4c409dcd59d0926646c3f8f5683da5de589e1586007dcfcf79d71a6b49e7e227
  first line: You check an AI assistant's answer about the sablefile tool against the written reference answer for the question.
HelpSteer2 calibration rubric, reference-free: 20 lines
  sha256 of system text and template: 56d617ac94b9fa5c4f0b2ce1eee17b7e0ce42c7e6b6c617edcb55a7b48d472e6
  first line: You check the correctness of an AI assistant's response to a user's request.
HelpSteer2 rubric B, second wording: 17 lines
  sha256 of system text and template: 7f512725080e8e78437603f7445a0480caaa0d2a344aa51d58d5475cba2ac384
  first line: You grade whether an AI assistant's reply to a user is right.
pairwise rubric: 13 lines
  sha256 of system text and template: 24a735e79373f7fa0b8bf1210c3e516964d93164508c666b8d333b93c27de992
  first line: You compare two AI assistant responses to the same request and say which one is better.
faithfulness rubric: 15 lines
  sha256 of system text and template: a584b8d56f63c212497fa67602f2fbd2add41823ca5895ba2bad541389970555
  first line: You check whether an answer about the sablefile tool is supported by the documentation sections it was given.

La salida muestra la primera línea de cada texto de sistema y un hash de ese texto junto con su plantilla. El hash cubre ambos porque al juez se le dan ambos, y un cambio en cualquiera de los dos cambia lo que ve el juez. La ejecución vuelve a comparar cada hash con la grabación hecha con esa rúbrica, y se detiene con un error si no coinciden, de modo que una grabación no puede reproducirse con una rúbrica distinta de aquella con la que se hizo. Un lector que vea un número en este libro puede encontrar la rúbrica detrás de él por su nombre y por su hash, y puede distinguir esa rúbrica de otra con una sola palabra cambiada.

Los marcadores de la plantilla le indican al juez dónde empiezan y terminan la petición, la referencia y la respuesta. Para eso sirven. El libro no comprueba si impiden que una respuesta que cita las propias instrucciones de la rúbrica sea leída como instrucciones.

Regla práctica: Escribe cada rúbrica como un texto que un equipo pueda leer, y calcula su hash junto con la ejecución que produce. Nómbrala por su primera línea, para que el lector sepa de qué rúbrica sale un número. Cambia el texto de una rúbrica solo creando otra rúbrica con su propia grabación, y nunca editando la rúbrica que produjo los números que ya aparecen en la página.

Con referencia o sin referencia

Un juez con referencia recibe una respuesta escrita a la pregunta y comprueba la respuesta del asistente contra ella. Un juez sin referencia recibe solo la solicitud y la respuesta, y decide a partir de lo que sabe si la respuesta es correcta. Una referencia es un punto fijo. El juez no necesita conocer sablefile, porque la referencia indica qué es correcto. Ese mismo punto fijo también es un límite: el juez no puede acertar más que la referencia, y la rúbrica debe indicar cómo tratar una respuesta que use otras palabras, añada detalles o cubra solo parte de la pregunta.

La primera regla de la rúbrica de respuestas acepta una respuesta que afirma lo que afirma la referencia. La respuesta puede usar otras palabras, y puede añadir detalles que no contradigan la referencia. Una respuesta que dice algo que la referencia no respalda es incorrecta. La tercera regla cubre una referencia con varias lecturas: la respuesta debe responder a cada una de ellas, y una respuesta parcial es incorrecta. Otras dos reglas trasladan al juez el caso de la negativa. Si la referencia es la palabra «none», la documentación no responde a la pregunta, y la respuesta es correcta solo cuando es exactamente la frase de negativa, «The docs don't say.». Y una respuesta que da una respuesta y también dice la frase de negativa es incorrecta. El capítulo 10 mide los dos tipos de error que controla esta regla, y el juez aplica la misma regla a cada respuesta.

La rúbrica de calibración no usa referencia, así que debe indicar qué cuenta como error sin nada con que comparar. Le dice al juez que evalúe solo la corrección, y nombra lo que el juez no debe calificar: la longitud, el tono, el estilo y el formato. También dice que una respuesta que no hace ninguna afirmación falsa no es incorrecta, aunque sea incompleta o pida más información. Esa frase es una decisión. HelpSteer2 valora varios atributos, y la corrección es uno de ellos. La rúbrica nombra solo la corrección, de modo que la cuestión queda fijada en la rúbrica y no se deja al juez. El capítulo 6 mide cuánto coincide el criterio más estrecho del juez con las valoraciones humanas.

Cuando la referencia es errónea, el juez da por fallidas respuestas correctas, y el veredicto no da ninguna señal de ello. Un equipo que ve subir el número de suspensos lo lee como un asistente más débil cuando el fallo está en la referencia. Revisa una muestra de los suspensos contra la referencia antes de leer la tasa.

Regla práctica: Usa una referencia siempre que el conjunto la tenga, y escribe en la rúbrica la regla para una referencia vacía, como hace la rúbrica de respuestas. Usa una rúbrica sin referencia solo cuando no exista ninguna. En su texto, nombra lo que el juez no debe contar en contra de una respuesta, como la longitud, el tono o la incompletitud, de modo que la rúbrica tome esa decisión y el juez no la tome.

Aprobado o reprobado, o una escala

Último cambio en la edición 2026.11.3

Una rúbrica de aprobado o reprobado le da al juez dos respuestas posibles. Una escala le da varias. Las calificaciones humanas de HelpSteer2 están en una escala de 0 a 4, y una escala puede parecer más información que un sí o un no. Su costo está en los límites. El juez tiene que distinguir un punto del siguiente, y el equipo tiene que decir qué significa cada punto y luego comprobar que los puntos del juez coinciden con los humanos. Aprobado o reprobado exige una decisión por respuesta, y cada tasa de este libro es una tasa de decisiones de ese tipo.

La rúbrica de respuesta y ambas rúbricas de calibración dan aprobado o reprobado. La búsqueda para este capítulo buscó un estudio que compare una escala con aprobado y reprobado sobre etiquetas humanas binarias, y no encontró ninguno. Por eso esta elección es un diseño del libro, no un hallazgo de una fuente, y el lector debe valorarla como tal.

La pregunta que plantea este libro es si una respuesta es correcta, y esa pregunta tiene dos respuestas. Una respuesta puede estar casi bien y aun así fallar en un dato o en un comando. Una escala le daría una calificación intermedia, y el equipo tendría entonces que convertir esa calificación en un sí o un no antes de poder leer cualquier tasa. La tasa de aprobados es la proporción de elementos que el juez aprueba, sobre todos los elementos del conjunto, y un rechazo correcto cuenta como aprobado, como explica el capítulo 10. Una escala exigiría otro resumen, como una media, y una media oculta qué respuestas caen en qué punto. Toma el elemento de rechazo. Una respuesta se niega a responder o no se niega. Una escala permitiría que el juez diera una calificación intermedia a una respuesta que rechaza y luego añade una conjetura, que es la respuesta que el capítulo 10 cuenta como error, y el equipo tendría entonces que decidir qué lado de la escala cuenta como aprobado.

Regla práctica: Usa aprobado y reprobado cuando el equipo necesite un sí o un no sobre la corrección, e informa solo tasas de esas decisiones. Usa una escala solo cuando cada paso signifique algo que el equipo vaya a aplicar, y cuando existan calificaciones humanas en cada paso con las que comparar al juez. Indica en el texto qué forma eligió el equipo y por qué, porque esa elección determina cada tasa que el equipo reporte. El capítulo 6 muestra cómo se compara el juez con las calificaciones humanas.

Una respuesta o dos

Un juicio por pares muestra al juez dos respuestas a la misma petición y le pregunta cuál es mejor. Conviene a un equipo que debe elegir entre dos versiones cuando resulta difícil fijar una calificación absoluta. La rúbrica por pares da al juez dos letras, A o B, y ningún empate. Su coste es la posición. Cada respuesta ocupa un lugar en el prompt, primero o segundo, y los estudios sobre jueces informan de que el orden puede decidir la elección. Esos estudios miden otros jueces en sus propias configuraciones, y este libro no toma sus tasas como propias. El capítulo 7 los repasa y mide la inclinación en este juez.

Un juez por pares no tiene puntos de escala que definir, y solo tiene que decir cuál de dos respuestas es mejor, que es exactamente lo que pregunta un equipo que elige entre dos versiones. Aun así, debe contrastarse con las preferencias humanas, como hace el capítulo 7 con sus pares consistentes. El coste se paga en la posición, por eso esta sección juzga cada par dos veces.

El ejemplo por pares usa pares de preferencias humanas de HelpSteer2. Cada par se juzga dos veces: una con la primera respuesta mostrada como A, y otra con la segunda respuesta mostrada como A. Cada veredicto se asigna después a la respuesta que eligió, de modo que pueden compararse los dos órdenes. Un par es consistente cuando la misma respuesta gana en ambos órdenes. Es de orden cambiado cuando la misma letra gana en ambos órdenes, lo que significa que la posición decidió el veredicto; la salida del ejemplo los llama flipped. Empate e ilegible son los otros dos tipos.

pairwise-both-orders.py Python 3.12.15 · numpy 2.5.5 Superado
"""How the pairwise judge's verdict on each HelpSteer2 preference pair depends on which response is shown as A. Each pair isjudged twice, once as ab (response_a shown as A) and once as ba (response_b shown as A), and both verdicts are mapped backto the original responses. A flipped pair picked the same letter both times, so its verdict followed the position: theflipped lines, on dev and on held-out, are the ones the point rests on.Only the pair IDs of the examples are printed; the counts are the rates the chapter quotes."""import lib  # first: fixes the thread counts and seeds before anything else loadsfrom lib.judging import KINDS, both_orders, human_pairsfrom lib.stats import pctAB = "judge-hs2-pairs-ab"BA = "judge-hs2-pairs-ba"pairs = human_pairs()  # all 150 pairs, sorted by id, each with its splitorders = both_orders(AB, BA, list(pairs))  # the two recordings, read for every pair, sorted by idfor split in ("dev", "held-out"):    in_split = [p for p in pairs if pairs[p].split == split]    for kind in KINDS:        # the rate's denominator is the split's pairs, so a kind with no pairs still prints as 0 of that count        n = sum(1 for o in orders if o.kind == kind and pairs[o.pair_id].split == split)        print(f"{kind}, {split}: {pct(n, len(in_split))}")for kind in KINDS:    picked = [o.pair_id for o in orders if o.kind == kind][:3]  # the first three in id order    print(f"examples, {kind}: {', '.join(picked) if picked else 'none'}")
Salidapython pairwise-both-orders.py
consistent, dev: 80.0% (60 of 75)
flipped, dev: 20.0% (15 of 75)
tie, dev: 0.0% (0 of 75)
unreadable, dev: 0.0% (0 of 75)
consistent, held-out: 74.7% (56 of 75)
flipped, held-out: 25.3% (19 of 75)
tie, held-out: 0.0% (0 of 75)
unreadable, held-out: 0.0% (0 of 75)
examples, consistent: hs2-pref-0001, hs2-pref-0002, hs2-pref-0005
examples, flipped: hs2-pref-0003, hs2-pref-0004, hs2-pref-0012
examples, tie: none
examples, unreadable: none

El recuento que debes conservar es el de pares de orden cambiado, no el de victorias. En la división dev, el veredicto cambió con el orden en:

20.0% (15 of 75).

Los primeros pares de orden cambiado, en orden de id, son hs2-pref-0003, hs2-pref-0004, hs2-pref-0012. Los empates son el tercer tipo, y en dev el recuento es cero:

0.0% (0 of 75).

El analizador lee una línea TIE además de A y B, así que una respuesta que dijera TIE contaría como empate, no como veredicto ilegible. Sin embargo, la rúbrica por pares solo pide A o B, y ninguna respuesta de dev da TIE. Por eso el recuento de empates es cero.

Un par de orden cambiado es aquel en que el veredicto siguió a la posición, así que no dice nada sobre cuál respuesta es mejor. Un lector que mirara solo un orden contaría ese par como victoria de una respuesta. Qué posición gana es el tema del capítulo 7. Este capítulo muestra solo por qué no basta con un orden.

Regla práctica: juzga cada par en ambos órdenes, asigna cada veredicto a su respuesta antes de contar e informa del recuento de pares de orden cambiado junto al de victorias. Cuenta un par de orden cambiado como ausencia de preferencia, y no dejes que decida una comparación. Si el recuento de orden cambiado es alto en un conjunto, la comparación está midiendo la posición, y una muestra mayor en un solo orden no lo corrige.

Veredicto primero

La rúbrica pide el veredicto en la primera línea y una oración corta de razón en la siguiente. El código lee solo la primera línea no vacía. La comprobación es breve: una línea debe contener el veredicto, y una respuesta que no empiece con un veredicto no se lee como tal. La razón va después del veredicto, para que el lector y el código vean la elección antes de la explicación.

parse_verdict devuelve PASS o FAIL cuando la primera línea no vacía es exactamente ese veredicto, e ignora los asteriscos o las comillas invertidas alrededor de la línea. Cualquier otra cosa devuelve nada, y eso es un veredicto ilegible. No es un FAIL. Un FAIL significa que el juez consideró incorrecta la respuesta, y un veredicto ilegible significa que el juez no emitió ningún juicio. El código tiene dos lectores de veredictos, y tratan un veredicto ilegible de forma distinta. verdicts en lib/judging.py se detiene con un error, así que una ejecución que pasa por ahí no puede contar la respuesta como un FAIL. readable_verdicts en lib/calibration.py imprime cada respuesta ilegible y la deja fuera de los veredictos, y por tanto fuera del denominador. La mayoría de los ejemplos que informan una tasa pasan por ahí. Una tasa que deja respuestas fuera imprime junto a ella el número de esas respuestas.

Las respuestas fijas pasan por el analizador, una línea de salida por cada una, que imprime el veredicto, o la etiqueta refused para una respuesta sin veredicto legible.

parse-verdicts.py Python 3.12.15 · numpy 2.5.5 Superado
"""What lib.contract.parse_verdict accepts and refuses: the verdict on a reply's first non-empty line, PASS or FAIL in capitals,after optional emphasis marks. Each fixed reply below prints one line, the verdict or 'refused'. A refusal is not a FAIL:the judge has not given a verdict, and the evaluation counts that as an error, not a failed answer."""import lib  # first: fixes the thread counts and seeds before anything else loadsfrom lib.contract import parse_verdictCASES = (    ("verdict first, PASS", "VERDICT: PASS\nReason: The answer matches the reference."),    ("verdict first, FAIL", "VERDICT: FAIL\nReason: The answer gives a different version number."),    ("emphasis around the line", "**VERDICT: FAIL**\nReason: The answer gives a different version number."),    ("backticks around the line", "`VERDICT: PASS`\nReason: The answer matches the reference."),    ("blank lines before the verdict", "\n\nVERDICT: PASS\nReason: The answer matches the reference."),    ("no space after the colon", "VERDICT:PASS\nReason: The answer matches the reference."),    ("two verdict lines, first one read", "VERDICT: FAIL\nVERDICT: PASS\nReason: Two verdicts."),    ("lower case", "VERDICT: pass\nReason: The answer matches the reference."),    ("title case", "Verdict: PASS\nReason: The answer matches the reference."),    ("PARTIAL", "VERDICT: PARTIAL\nReason: Half of the answer matches."),    ("verdict after a reason", "Reason: The answer matches the reference.\nVERDICT: PASS"),    ("full stop after the verdict", "VERDICT: PASS.\nReason: The answer matches the reference."),    ("words after the verdict", "VERDICT: PASS, mostly correct\nReason: The answer matches the reference."),    ("bullet before the verdict", "- VERDICT: PASS\nReason: The answer matches the reference."),    ("pairwise letter", "VERDICT: A\nReason: Response A is better."),    ("bare word", "PASS\nReason: The answer matches the reference."),    ("empty reply", ""),    ("blank lines only", "  \n\n   "),)for label, raw in CASES:    verdict = parse_verdict(raw)    print(f"{label}: {verdict if verdict is not None else 'refused'}")
Salidapython parse-verdicts.py
verdict first, PASS: PASS
verdict first, FAIL: FAIL
emphasis around the line: FAIL
backticks around the line: PASS
blank lines before the verdict: PASS
no space after the colon: PASS
two verdict lines, first one read: FAIL
lower case: refused
title case: refused
PARTIAL: refused
verdict after a reason: refused
full stop after the verdict: refused
words after the verdict: refused
bullet before the verdict: refused
pairwise letter: refused
bare word: refused
empty reply: refused
blank lines only: refused

Las primeras líneas de la salida muestran las formas que acepta el analizador. Se lee un veredicto en la primera línea, y también uno con asteriscos o comillas invertidas alrededor, líneas en blanco por encima, o sin espacio después de los dos puntos. Cuando aparecen dos líneas de veredicto, el analizador lee la primera, de modo que una respuesta que dice FAIL y después PASS se lee como FAIL.

Las líneas ilegibles importan sobre todo en una rúbrica. Las minúsculas, la capitalización de título y un veredicto PARTIAL son ilegibles. También lo son un veredicto colocado después de la razón, un punto o palabras extra después de PASS, una viñeta delante del veredicto, una letra de comparación por parejas enviada a una rúbrica de PASS o FAIL, un PASS suelto sin etiqueta, una respuesta vacía y una respuesta de líneas en blanco. Cada forma ilegible es una respuesta escrita con una forma que la rúbrica no pidió. Un analizador que adivinara lo que quiso decir el juez estaría leyendo la intención del juez, no su veredicto.

La frase que conviene retener de este ejemplo es que una respuesta que el analizador no puede leer no es una respuesta fallida. Es una respuesta sin veredicto, y ninguna tasa de este libro la convierte en un PASS o un FAIL. El consejo del libro es imprimir el recuento de ilegibles en cada división. Una división con más respuestas ilegibles que otra es una que el juez formatea de manera distinta, y conviene averiguarlo antes de leer la tasa, pues puede decir más sobre el juez que sobre el asistente.

Regla práctica: Lee solo la primera línea no vacía. Nunca asignes un veredicto ilegible a PASS o FAIL. Di en cada tasa qué hace la ejecución con un veredicto ilegible, si se detiene o deja la respuesta fuera, e imprime el recuento junto a cualquier tasa que deje respuestas fuera. Comprueba el analizador con las respuestas que el juez escribió de verdad, pues una rúbrica que funciona con una muestra puede seguir perdiendo veredictos ante un formato que no pidió.

Ajustar la redacción en dev

Último cambio en la edición 2026.11.3

La redacción de una rúbrica es un parámetro, y un equipo querrá ajustarla hasta que el juez concuerde mejor con sus etiquetas. El riesgo está en ajustarla con los números que el equipo luego reporta. El libro divide sus ítems en dos particiones. Dev es donde se ajusta la redacción. La partición held-out se ejecuta una sola vez, para cada comparación que reporta un capítulo, después de fijar la redacción. Una partición held-out que se ha usado para elegir la redacción ya no pone a prueba esa redacción. Ajustar una rúbrica con ítems held-out convierte el acuerdo reportado en una medida del ajuste, y entonces ese acuerdo no dice nada sobre el juez.

Antes de cualquier ajuste, el equipo escribe la regla para cada tipo de ítem que contiene el conjunto, con las palabras propias de la rúbrica: qué pasa, qué falla y qué vale una negativa. Luego lee, uno a uno, las respuestas de dev que la rúbrica clasifica mal, y cambia la redacción solo cuando una respuesta muestra un vacío que la regla no cubre. Un cambio hecho para ajustarse a una sola respuesta es un cambio de la rúbrica, y necesita una grabación propia.

La rúbrica de respuestas del capítulo 1 está congelada. Su grabación guarda el hash de la redacción que la produjo. Cambiar una sola palabra cambia el hash, y la reproducción rechaza la grabación. Un cambio implica, por tanto, volver a grabar la ejecución completa del juez de respuestas, para cada respuesta, con la redacción modificada. Este libro no ajusta esa rúbrica, y un lector que quiera ajustarla debe esperar tener que volver a grabar todas sus respuestas.

Rúbrica B es una segunda redacción de la tarea de calibración, y está grabada sobre HelpSteer2. La rúbrica de calibración dice que una respuesta sin afirmaciones falsas es "no incorrecta". La rúbrica B dice que tal respuesta es "acertada", y usa "acertada" y "errónea" donde la rúbrica de calibración usa "correcta" e "incorrecta". La rúbrica B además omite dos puntos de la rúbrica de calibración: que una respuesta no debe inducir a error, y que la confianza no debe premiarse. Y elimina el formato de las cosas que el juez no debe calificar. Su párrafo de instrucciones y su formulario de respuesta dicen lo siguiente. La rúbrica tiene también dos ejemplos inventados, que este capítulo omite. Forman parte del texto que se hashea.

You grade whether an AI assistant's reply to a user is right.

A reply is right when every fact it states is true, every calculation or result in it is correct, and any code or reasoning in it works. Mark it wrong when any of those fail, or when it answers a different question from the one asked. A reply that makes no false claim is right, even when it is short, asks a question back, or leaves something out. Do not grade style, length or tone.

Reply in this form: on the first line, write exactly VERDICT: PASS if the reply is right, or VERDICT: FAIL if it is wrong. Then, on the next line, one short sentence of reason.

El ejemplo imprime el hash de la rúbrica B junto a los otros cuatro, de modo que un lector pueda distinguir las dos redacciones de calibración. Este capítulo muestra solo el texto y el hash, y el capítulo 6 informa de cuánto concuerda la rúbrica B con las calificaciones humanas.

El capítulo tomó estas decisiones:

  • El juez lee solo la primera línea no vacía. Cualquier otra respuesta es un veredicto ilegible, nunca un FAIL, y los dos caminos de código que leen veredictos se describen arriba.
  • Cada rúbrica se hashea junto con su grabación, y una rúbrica modificada es una rúbrica nueva con una grabación nueva.
  • Cada tasa es de aprobado y suspenso. No se usa una escala, porque el libro no tiene calificaciones humanas en cada paso con las que contrastar una.
  • Un juez por pares se ejecuta en ambos órdenes, y sus pares con el orden cambiado se reportan junto a los recuentos de ganadores.

Regla práctica: Escribe la redacción antes de ejecutar nada sobre held-out, y ajústala solo en dev. Cuando la redacción tenga que cambiar, conviértela en otra rúbrica con su propia grabación y su propio hash. Reporta cada número con el hash de la redacción que lo produjo, para que dos redacciones no se lean como una sola.

Este capítulo, en esta edición

Edición 2026.11.3Ejemplos verificados el 21 de nov de 2026Superan la prueba 3 de 3 ejemplos ejemplos de este capítulo

Traducido del libro en inglés, edición 2026.11.3.

Cita esta sección

Formato

Cada formato cita el libro en inglés, que esta traducción sigue.

Cada formato nombra esta edición. Su enlace abre la edición actual, donde el encabezado de cada sección indica cuándo cambió su texto por última vez. Las fechas de acceso y de recuperación son el día en que lo abres.

En esta página

Capítulo 5 de 11: Escribe una rúbrica que un juez pueda aplicar

  1. Qué se le pide al juez
  2. Con referencia o sin referencia
  3. Aprobado o reprobado, o una escala
  4. Una respuesta o dos
  5. Veredicto primero
  6. Ajustar la redacción en dev

Volver arribaTodos los capítulos