Mide los errores de un juez frente a las valoraciones humanas y, después, corrige una tasa de aciertos
Unos 24 minutos de lectura, con 6 ejemplos en 7 secciones.
Traducido con IA. Verificado por personas en inglés. Cómo hacemos los libros
Traducido del libro en inglés, edición 2026.11.3. Lee el original
Al final de este capítulo podrás medir en qué se diferencian los veredictos de un juez de las valoraciones humanas, separar esas diferencias en omisiones (respuestas correctas que el juez suspende) y falsos aprobados, y corregir una tasa de aciertos observada para tenerlos en cuenta, con el supuesto en el que se apoya la corrección escrito junto a ella.
El capítulo 5 terminó con una segunda redacción de la tarea de calibración, y con la regla de que la redacción de un juez se mide, no se supone. El juez de respuestas lee cada respuesta frente a una referencia escrita y la marca como PASS o FAIL, y la ejecución de referencia del asistente obtiene su tasa de aciertos de ese juez. La tasa es un número sobre el juez tanto como sobre el asistente, porque un juez puede aprobar una respuesta incorrecta o suspender una correcta. El capítulo 5 redactó la rúbrica y leyó los veredictos. Este capítulo se pregunta con qué frecuencia esos veredictos son erróneos, en qué dirección, y qué hace un equipo con una tasa una vez que lo sabe.
Calificaciones humanas, y qué son
Un juez solo puede verificarse contra etiquetas que se hicieron de otra manera. Este libro usa calificaciones humanas de HelpSteer2, un conjunto de datos público de NVIDIA. Cada fila contiene un prompt, una respuesta a él y cinco puntuaciones de atributos de 0 a 4, dadas por personas. Las respuestas provienen de otros modelos. Este capítulo usa un solo atributo, la corrección. El código de muestreo convierte la puntuación en aprobado o suspenso: una puntuación de 3 o 4 se lee como PASS, y una de 0 a 2 como FAIL. Ese corte es una decisión del libro, tomada antes de ejecutar cualquier juez.
HelpSteer2 no son datos propios del libro. Sus respuestas provienen de otros modelos, sus prompts son generales y nadie los escribió para sablefile. Por eso estas etiquetas miden cómo se desempeña el juez en una pregunta distinta de la que responde el juez de respuestas. Esa brecha es el tema de el supuesto de transferencia, y el resto del capítulo vuelve una y otra vez sobre ella.
El juez de calibración lee con una rúbrica escrita para ese único atributo. Pregunta si cada hecho y resultado de una respuesta es correcto, y le indica al juez que deje de lado la longitud, el tono, el estilo y el formato, como describe el capítulo 5. El conjunto de prueba propio del libro podría servir como calibración, pero el libro no tiene calificaciones humanas de las respuestas de sablefile. Por eso la calibración usa filas públicas, y lo paga con el supuesto de transferencia. El conjunto de datos no le entrega al libro una línea de aprobación para la corrección. El libro fija esa línea por su cuenta, y cada tasa de este capítulo se lee frente a ella. Una línea distinta movería todas las tasas, así que un lector que compare este capítulo con otro estudio debería revisar primero dónde trazó ese estudio su línea.
Las filas de calibración son una muestra de la partición de validación del conjunto de datos, extraída con una semilla fija. Las filas cuyo texto contenía caracteres fuera del ASCII imprimible se descartaron antes del muestreo. El muestreo toma unas 45 filas FAIL y 45 PASS de cada partición, y conserva una fila por prompt. La tasa base queda, por tanto, determinada por el muestreo y no se encuentra en el conjunto de datos. La muestra se divide en desarrollo y conjunto reservado. El mismo conjunto de datos también contiene pares de respuestas a un mismo prompt, con una preferencia humana entre ellas. Se excluyen los pares cuya intensidad de preferencia es cero.
La división decide cómo pueden usarse los números. El desarrollo es donde el libro fija cualquier cosa, incluidas las tasas que usa una corrección. El conjunto reservado se lee una sola vez, en este capítulo, cuando todo lo demás ya está fijado, y nada aquí se elige con él. Las cifras del conjunto reservado se calcularon por primera vez en la comprobación de grabación, antes de escribir este capítulo. Aquí se reportan tal como estaban, sin recalcularlas para elegir nada.
Regla práctica: Calibra contra etiquetas hechas para la pregunta que responde el juez, o di en el texto a qué distancia están de ella. Anota la regla que convierte una puntuación en el aprobado o suspenso del juez antes de mirar cualquier resultado. Mantén apartada la división con la que ajustas de la que reportas una sola vez.
Acuerdo y kappa
El acuerdo es la proporción de filas en las que el juez y la persona dan el mismo veredicto. Puede engañar cuando un veredicto domina. Un juez que aprueba todo coincide bien con una muestra que es mayormente APROBADO, y el acuerdo por sí solo no permite distinguir a ese juez de uno cuidadoso. La solución es preguntar qué acuerdo alcanzarían los dos veredictos por azar, solo a partir de sus dos tasas de APROBADO, y luego descontar ese azar. Kappa hace eso. Para dos evaluadores con aprobado o reprobado, kappa es el acuerdo observado menos el acuerdo por azar, dividido entre uno menos el acuerdo por azar. The kappa statistic, a review by McHugh presenta esa fórmula. Kappa vale uno cuando los dos evaluadores coinciden en todas las filas.
1"""How often the reference-free correctness judge agrees with the human ratings on the HelpSteer2 sample, and Cohen's kappa2for the same counts, on dev, on held-out and on both together.34Agreement alone reads higher than the judge's skill when most rows are one verdict, so the kappa line is the one to read5against chance: the chance agreement printed beside it is what the judge would reach by guessing at its own PASS rate."""6import lib # first: fixes the thread counts and seeds before anything else loads78from lib.calibration import agreement, chance_agreement, cohens_kappa, confusion, helpsteer2_judgments9from lib.stats import pct1011for label, split in (("all", None), ("dev", "dev"), ("held-out", "held-out")):12 counts = confusion(helpsteer2_judgments(split))13 print(f"agreement, {label}: {pct(counts.tp + counts.tn, counts.n)}")14 # the chance figure is an expected rate, not a count, so it has no denominator beside it15 print(f"chance agreement, {label}: {100 * chance_agreement(counts):.1f}%")16 # kappa is printed with two decimals (plan section 6.5), not as a percentage17 print(f"kappa, {label}: {cohens_kappa(counts):.2f}")
python calibration-agreement.pyagreement, all: 70.6% (127 of 180)
chance agreement, all: 50.3%
kappa, all: 0.41
agreement, dev: 71.1% (64 of 90)
chance agreement, dev: 50.2%
kappa, dev: 0.42
agreement, held-out: 70.0% (63 of 90)
chance agreement, held-out: 50.3%
kappa, held-out: 0.40
El acuerdo en todas las filas es 70.6% (127 of 180). El acuerdo por azar, a partir solo de las dos tasas de APROBADO, es 50.3%. Kappa es 0.41, con dos decimales y sin signo de porcentaje, porque es un estadístico en su propia escala, no una tasa. El acuerdo y el acuerdo por azar son ambos porcentajes, así que pueden compararse directamente. Kappa es la cifra que ya tiene descontado el azar, por eso es la que debes leer como el acuerdo del juez más allá del azar.
Kappa va de −1 a 1. Vale 0 en el acuerdo por azar, y es negativo cuando los dos evaluadores coinciden menos de lo que daría el azar, como señala la revisión de McHugh.
Lee las tres cifras en orden: primero el acuerdo, luego la cifra de azar junto a él, y después kappa. Si el acuerdo sube mientras el azar sube con él, la mejora puede provenir de la tasa base y no del juez.
Las dos particiones se leen de la misma forma. En dev, el acuerdo es 71.1% (64 of 90). Kappa en dev es 0.42. En held-out, el acuerdo es 70.0% (63 of 90) y kappa es 0.40.
La tasa base es la razón por la que importa kappa. Cuando un veredicto domina las filas, el acuerdo por azar es alto, y un juez puede obtener un acuerdo alto distinguiendo mal entre los dos veredictos. Aquí la muestra tiene aproximadamente tantas filas APROBADO como REPROBADO, así que el acuerdo por azar ronda la mitad. La tasa humana de APROBADO en dev es 51.1% (46 of 90). Un equipo con una muestra desequilibrada debe esperar que el acuerdo por azar se acerque a su acuerdo, así que kappa queda cerca de cero aunque el acuerdo parezca alto. Debe leer primero kappa. (sujeto: el equipo) Por eso, ese equipo debe leer primero kappa.
El acuerdo mide la cercanía a las etiquetas humanas, no si las respuestas son correctas. Un acuerdo alto indica que los veredictos del juez coinciden con los de las personas, no que las respuestas del asistente sean correctas. Kappa te dice cuánto se aleja el acuerdo del azar, pero no en qué dirección se equivoca el juez. Para eso se necesitan las dos tasas siguientes.
El capítulo 5 describió una segunda redacción de calibración, la rúbrica B. La rúbrica de calibración, de aquí en adelante rúbrica A, dice que una respuesta que no hace ninguna afirmación falsa es "no incorrecta". La rúbrica B la reformula: dice "correcta" donde A dice "no incorrecta", y omite los puntos sobre engañar y sobre la confianza. La rúbrica B se registró solo en dev. El siguiente ejemplo pone las dos redacciones una al lado de la otra, sobre las mismas filas de dev.
1"""How often the second rubric's verdicts agree with the human ratings on the HelpSteer2 sample, beside the first rubric's,2on dev and on held-out, with kappa, TPR and TNR and the PASS rates of judge and humans.34The second rubric was recorded on dev only, so its held-out line says so instead of printing a rate. The paired difference5is on dev alone: each dev row's agreement under rubric B minus its agreement under rubric A, bootstrapped over rows. A6reply with no readable verdict is printed by row ID and left out; it is never counted as FAIL."""7import lib # first: fixes the thread counts and seeds before anything else loads89from dataclasses import replace1011from lib.calibration import cohens_kappa, confusion, helpsteer2_judgments, readable_verdicts12from lib.prompts import HS2B_SHA25613from lib.replay import ReplayModel14from lib.stats import bootstrap_mean, interval_points, pct1516RUBRIC_B = "judge-helpsteer2-rubric-b"171819def report(name, split, judgments):20 c = confusion(judgments)21 print(f"agreement, {name}, {split}: {pct(c.tp + c.tn, c.n)}")22 print(f"kappa, {name}, {split}: {cohens_kappa(c):.2f}")23 print(f"TPR, {name}, {split}: {pct(c.tp, c.tp + c.fn)}")24 print(f"TNR, {name}, {split}: {pct(c.tn, c.tn + c.fp)}")25 print(f"judge PASS rate, {name}, {split}: {pct(c.tp + c.fp, c.n)}")26 print(f"human PASS rate, {name}, {split}: {pct(c.tp + c.fn, c.n)}")272829def same(j):30 return int(j.judge_pass == j.human_pass)313233base = {j.id: j for j in helpsteer2_judgments()} # rubric A's verdicts and the human PASS for every row, by id34recorded = {item for item, _ in ReplayModel(RUBRIC_B, HS2B_SHA256).keys()}35verdicts_b, unreadable = readable_verdicts(RUBRIC_B, sorted(recorded & base.keys()), HS2B_SHA256)36rows_b = {i: replace(base[i], judge_pass=v == "PASS") for i, v in verdicts_b.items()}3738print(f"unreadable, rubric B: {len(unreadable)} of {len(recorded)} replies")39for item_id, _ in unreadable:40 print(f"unreadable, rubric B, row {item_id}: excluded, not counted as FAIL")41for split in ("dev", "held-out"):42 report("rubric A", split, [j for j in base.values() if j.split == split])43 b = [j for j in rows_b.values() if j.split == split]44 if b:45 report("rubric B", split, b)46 else:47 print(f"rubric B, {split}: no readable replies recorded")4849dev_ids = [i for i in verdicts_b if base[i].split == "dev"]50diffs = [same(rows_b[i]) - same(base[i]) for i in dev_ids] # the same row under both rubrics51lo, hi = bootstrap_mean(diffs) # level 0.95 for one comparison; seed SEED, 2,000 resamples52n = len(dev_ids)53print(f"paired difference, dev: {100 * sum(diffs) / n:+.1f} points, 95% interval {interval_points(lo, hi)}, n = {n}")54reading = "rubric B better" if lo > 0 else "rubric B worse" if hi < 0 else f"no difference detected at n = {n}"55caveat = ", on dev only with no held-out run" if lo > 0 or hi < 0 else "" # a dev-only difference carries its caveat56print(f"paired difference, dev, reading: {reading}{caveat}")
python rubric-b-agreement.pyunreadable, rubric B: 0 of 90 replies
agreement, rubric A, dev: 71.1% (64 of 90)
kappa, rubric A, dev: 0.42
TPR, rubric A, dev: 80.4% (37 of 46)
TNR, rubric A, dev: 61.4% (27 of 44)
judge PASS rate, rubric A, dev: 60.0% (54 of 90)
human PASS rate, rubric A, dev: 51.1% (46 of 90)
agreement, rubric B, dev: 74.4% (67 of 90)
kappa, rubric B, dev: 0.49
TPR, rubric B, dev: 84.8% (39 of 46)
TNR, rubric B, dev: 63.6% (28 of 44)
judge PASS rate, rubric B, dev: 61.1% (55 of 90)
human PASS rate, rubric B, dev: 51.1% (46 of 90)
agreement, rubric A, held-out: 70.0% (63 of 90)
kappa, rubric A, held-out: 0.40
TPR, rubric A, held-out: 82.6% (38 of 46)
TNR, rubric A, held-out: 56.8% (25 of 44)
judge PASS rate, rubric A, held-out: 63.3% (57 of 90)
human PASS rate, rubric A, held-out: 51.1% (46 of 90)
rubric B, held-out: no readable replies recorded
paired difference, dev: +3.3 points, 95% interval [-1.1, +7.8] points, n = 90
paired difference, dev, reading: no difference detected at n = 90
No se observa diferencia en dev. El acuerdo con la rúbrica B es 74.4% (67 of 90). Con la rúbrica A, en las mismas filas, es 71.1% (64 of 90). La diferencia pareada es +3.3 points, 95% interval [-1.1, +7.8] points, n = 90. Para cada fila de dev, el código asigna 1 cuando una redacción coincide con las personas y 0 cuando no. La diferencia pareada es la puntuación de la rúbrica B menos la de la rúbrica A, promediada sobre las filas de dev, y su intervalo se obtiene por bootstrap sobre esas filas. La lectura del ejemplo sobre ese intervalo es no difference detected at n = 90.
El intervalo incluye el cero, así que la estimación en dev no demuestra que la rúbrica B sea mejor. La rúbrica B no tiene una ejecución en held-out, así que su estimación en dev no tiene una segunda comprobación. Sus respuestas ilegibles son 0 of 90 replies, así que no se dejó fuera ninguna respuesta.
Regla práctica: Informa el acuerdo junto a kappa, y lee kappa frente a la cifra de azar impresa a su lado. Indica la rúbrica y la partición con cada número, para que dos redacciones nunca se lean como una sola. Declara que una redacción es mejor solo cuando el límite inferior de su intervalo pareado está por encima de cero, y solo en held-out, o en dev con esa advertencia junto a la afirmación. Cuando el intervalo abarca el cero, di que no se detectó diferencia con el n que tienes, y no conviertas una estimación puntual más alta en una afirmación.
Tasas de verdaderos positivos y verdaderos negativos
El acuerdo y el kappa indican con qué frecuencia el juez coincide con las personas evaluadoras, pero no indican en qué dirección se equivoca. Las dos tasas que sí lo indican son la tasa de verdaderos positivos y la tasa de verdaderos negativos. La tasa de verdaderos positivos, TPR, es la proporción de filas de PASS humanas que el juez aprueba. La tasa de verdaderos negativos, TNR, es la proporción de filas de FAIL humanas que el juez suspende. Un juez que aprueba demasiado tiene una TPR alta y una TNR baja, porque sus errores son aprobados falsos. Un juez que suspende demasiado presenta el caso contrario. La corrección de la siguiente sección necesita ambas tasas, ya que cada una corrige un error distinto.
1"""The judge's true positive rate and true negative rate on the HelpSteer2 sample, with the counts beside each, on dev, on2held-out and on both together.34PASS is the positive class: TPR is the share of human PASS rows the judge passes, and TNR the share of human FAIL rows it5fails. The two rates are the judge's error profile; a lenient judge has a high TPR and a low TNR."""6import lib # first: fixes the thread counts and seeds before anything else loads78from lib.calibration import confusion, helpsteer2_judgments9from lib.stats import pct1011# PASS is the positive class: the rows a human rated PASS are the positives, and TPR is taken over them.12print("positive class: PASS")13for label, split in (("all", None), ("dev", "dev"), ("held-out", "held-out")):14 counts = confusion(helpsteer2_judgments(split))15 print(f"TPR, {label}: {pct(counts.tp, counts.tp + counts.fn)}")16 print(f"TNR, {label}: {pct(counts.tn, counts.tn + counts.fp)}")
python tpr-tnr.pypositive class: PASS
TPR, all: 81.5% (75 of 92)
TNR, all: 59.1% (52 of 88)
TPR, dev: 80.4% (37 of 46)
TNR, dev: 61.4% (27 of 44)
TPR, held-out: 82.6% (38 of 46)
TNR, held-out: 56.8% (25 of 44)
Aquí PASS es la clase positiva, así que la TPR se calcula sobre las filas de PASS humanas y la TNR sobre las filas de FAIL humanas. Cada tasa muestra sus recuentos junto a ella, para que puedas ver en cuántas filas se basa.
En todas las filas, la TPR es 81.5% (75 of 92). La TNR es 59.1% (52 of 88). El juez aprueba la mayoría de las respuestas que las personas aprobaron, pero también aprueba una parte considerable de las respuestas que las personas suspendieron. La más débil de las dos tasas es la TNR, lo que hace que este juez sea indulgente.
La dirección importa para quien lea una tasa de aprobados, y depende de dónde se sitúe la tasa. La corrección de la tasa de aprobados de la siguiente sección deja una tasa sin cambios en el punto de cruce, p* = (1 − TNR) / (2 − TPR − TNR). Por debajo de p* la corrección baja la tasa, y por encima de p* la sube. Para un juez indulgente, p* queda alto, así que una tasa reportada por debajo de él parece demasiado alta y una tasa por encima parece demasiado baja. En dev, el punto de cruce es 66.4% (TPR 80.4%, TNR 61.4%). Saber dónde se sitúa una tasa frente a ese punto indica a un equipo hacia qué lado se inclina su cifra reportada, antes de aplicar cualquier corrección. El acuerdo por sí solo ocultaría esto. Dos jueces pueden coincidir con las personas en el mismo grado y, aun así, diferir en qué error cometen con más frecuencia, y las tasas que reporten variarían en consecuencia.
En dev, la TPR es 80.4% (37 of 46) y la TNR es 61.4% (27 of 44). En held-out, la TPR es 82.6% (38 of 46) y la TNR es 56.8% (25 of 44). La división held-out queda cerca de dev en ambas tasas, con una TNR algunos puntos más baja.
Cada tasa se calcula sobre un grupo de etiquetas humanas, y cada división tiene tan pocas filas que otra muestra podría mover las tasas. Este capítulo no muestra ningún intervalo para la TPR ni para la TNR. Lee las tasas como el error del juez en esta muestra, no como su error en general.
Regla práctica: Reporta la TPR y la TNR juntas, con sus recuentos, e indica en qué dirección se equivoca el juez. Toma las tasas que usa una corrección solo de dev, y cita ambas junto a cualquier tasa corregida. Reporta held-out una sola vez, después de tomar las decisiones, y mantenlo fuera de cada decisión.
Corrección de una tasa de aprobación
La tasa de aprobación observada cuenta dos tipos de veredicto: los aprobados verdaderos que el juez detectó, y los aprobados falsos que dejó pasar. La corrección intenta deshacer ambos a la vez. Dados el TPR y el TNR del juez, despeja la proporción verdadera de aprobados que produciría la tasa observada. El libro lo escribe como (observada + TNR - 1) / (TPR + TNR - 1). Rogan y Gladen (1978) abordan el mismo problema para pruebas de cribado, y su resumen dice que se dan ajustes de este tipo. El libro solo ha leído ese resumen, así que la fórmula aquí es la declaración propia del libro sobre la corrección, tal como la calcula su código, y no una cita del artículo.
La corrección tiene un límite. Divide entre TPR + TNR - 1. Un juez cuyas dos tasas están cerca de lo que daría el azar tiene un denominador cercano a cero, y entonces pequeños errores en cualquiera de las dos tasas se convierten en grandes oscilaciones de la tasa corregida. El código del libro se niega a corregir cuando ese denominador es menor que 0.1, y lanza un error en lugar de imprimir una tasa. La ejecución de abajo se mantiene bien lejos de ese mínimo. En la práctica, un equipo hace cuatro cosas en orden: mide el TPR y el TNR en un conjunto de calibración separado del conjunto que va a corregir, comprueba que el denominador supera el mínimo, aplica la corrección a la tasa observada sobre las respuestas legibles y escribe junto al resultado el supuesto de transferencia.
1"""The baseline's answer-judge pass rate over the test items the judge gave a readable verdict, corrected for the judge's errors2with TPR and TNR from dev only. The corrected rate is printed beside the observed rate and the two rates the correction uses.34One judge reply has no PASS or FAIL on its first line. It is left out of the rate and printed by name, never counted as a5FAIL. The TPR and TNR come from HelpSteer2, where the judge rates other models' answers without a reference. This judge reads6the answers against a written reference. The correction assumes the two error profiles transfer; nothing here tests that.7The last lines apply the same correction to the calibration set itself: the rates are measured on those same rows, so that8check shows the arithmetic, not how well the correction generalises."""9import lib # first: fixes the thread counts and seeds before anything else loads1011from lib.calibration import (12 confusion,13 corrected_pass_rate,14 crossover_pass_rate,15 helpsteer2_judgments,16 readable_verdicts,17 tnr,18 tpr,19)20from lib.judging import passed21from lib.prompts import REF_SHA25622from lib.stats import pct23from lib.testset import load_items2425items = load_items() # all 120 items of the test set, dev and held-out together26found, unreadable = readable_verdicts("judge-answers-baseline", [item.id for item in items], REF_SHA256)27details = "".join(f' ({item_id}, "{first}")' for item_id, first in unreadable)28print(f"unreadable verdicts: {len(unreadable)}{details}") # left out of the rate below, not counted as FAIL29passes = int(passed(found).sum()) # found is keyed in sorted id order30observed = passes / len(found)31print(f"observed pass rate, readable items: {pct(passes, len(found))}")3233dev = confusion(helpsteer2_judgments("dev")) # the only rows the correction's TPR and TNR may come from34print(f"TPR, dev: {pct(dev.tp, dev.tp + dev.fn)}")35print(f"TNR, dev: {pct(dev.tn, dev.tn + dev.fp)}")36# Below this observed rate the correction lowers the rate; above it, the correction raises it.37crossover = crossover_pass_rate(tpr(dev), tnr(dev))38print(f"crossover point, dev: {100 * crossover:.1f}% (TPR {100 * tpr(dev):.1f}%, TNR {100 * tnr(dev):.1f}%)")3940corrected = corrected_pass_rate(observed, tpr(dev), tnr(dev)) # refused if TPR + TNR - 1 is below 0.141print(f"corrected pass rate: {100 * corrected:.1f}%")4243# The sanity check: the same correction on the calibration set, with rates measured on those same rows. It checks the44# arithmetic, not transfer to the answers: it should return the human PASS rate, and it does by construction.45calibration = confusion(helpsteer2_judgments())46judge_rate = (calibration.tp + calibration.fp) / calibration.n47print(f"calibration set, judge PASS rate: {pct(calibration.tp + calibration.fp, calibration.n)}")48print(f"calibration set, corrected judge PASS rate: {100 * corrected_pass_rate(judge_rate, tpr(calibration), tnr(calibration)):.1f}%")49print(f"calibration set, human PASS rate: {pct(calibration.tp + calibration.fn, calibration.n)}")50calibration_crossover = crossover_pass_rate(tpr(calibration), tnr(calibration)) # the same test, on the same rows51print(f"crossover point, calibration set: {100 * calibration_crossover:.1f}% "52 f"(TPR {100 * tpr(calibration):.1f}%, TNR {100 * tnr(calibration):.1f}%)")
python corrected-pass-rate.pyunreadable verdicts: 1 (q-0043, "VERDICT: PARTIAL")
observed pass rate, readable items: 76.5% (91 of 119)
TPR, dev: 80.4% (37 of 46)
TNR, dev: 61.4% (27 of 44)
crossover point, dev: 66.4% (TPR 80.4%, TNR 61.4%)
corrected pass rate: 90.5%
calibration set, judge PASS rate: 61.7% (111 of 180)
calibration set, corrected judge PASS rate: 51.1%
calibration set, human PASS rate: 51.1% (92 of 180)
crossover point, calibration set: 68.9% (TPR 81.5%, TNR 59.1%)
La entrada son los veredictos del juez de respuestas sobre los elementos de prueba, los 120, de desarrollo y de reserva juntas. Una respuesta no tuvo veredicto legible, porque su primera línea no era PASS ni FAIL. El ejemplo la imprime por nombre y la deja fuera de la tasa, ya que una respuesta que el juez no pudo leer no es un FAIL. El capítulo 5 explica las dos formas en que el código lee un veredicto ilegible. La línea correspondiente dice 1 (q-0043, "VERDICT: PARTIAL"). El capítulo 1 define la tasa de aprobación sobre todos los elementos del conjunto. Esta tasa es sobre los elementos legibles, así que se aparta de esa definición en la respuesta que queda fuera.
La tasa de aprobación observada sobre los elementos legibles es 76.5% (91 of 119). La corrección usa el TPR y el TNR de desarrollo, y esas son las únicas filas que puede usar. Su TPR en desarrollo es 80.4% (37 of 46). Su TNR en desarrollo es 61.4% (27 of 44).
La tasa corregida es 90.5%. La tasa corregida estima la proporción de respuestas de sablefile que una persona aprobaría, según el criterio de corrección del libro. No es la tasa de aprobación del juez, que es la tasa observada de arriba, ni la precisión del asistente. La estimación solo se sostiene si los errores del juez sobre las respuestas de sablefile coinciden con sus errores sobre las filas de HelpSteer2. Ese es el supuesto de transferencia, y el TPR y el TNR de arriba provienen de un juez sin referencia que califica respuestas de otros modelos, mientras que el juez de respuestas compara las respuestas de sablefile con una referencia.
La tasa corregida es mayor que la observada, y el punto de cruce muestra por qué. La tasa observada está por encima del punto de cruce, donde el juez subestima la tasa. A esa tasa, los aprobados verdaderos que el juez no detecta superan a sus aprobados falsos, así que la corrección la eleva.
El resultado también está cerca del techo del código. El código recorta la tasa corregida al intervalo de 0 a 1. El valor sin recortar supera 1 exactamente cuando la tasa observada está por encima del TPR, porque entonces el numerador es mayor que el denominador. Aquí la tasa observada queda por debajo del TPR en menos de cuatro puntos. Si dos de las filas PASS de desarrollo que el juez aprobó se hubieran calificado como FAIL, el TPR habría bajado por debajo de la tasa observada, y la tasa corregida habría impreso 100.0 %.
Regla práctica: Corrige una tasa de aprobación solo con el TPR y el TNR medidos en un conjunto de calibración. Indica ambos junto a la tasa corregida, rechaza cuando el denominador sea pequeño y di en el mismo párrafo qué supone la corrección. La siguiente sección presenta el intervalo y los cambios de una sola fila que deben acompañar a cualquier tasa corregida.
Cuánto mueve una fila la tasa corregida
1"""How much the corrected pass rate of corrected-pass-rate depends on its inputs. A 95% bootstrap interval resamples both the2dev calibration rows and the readable test items, with the book's fixed seed. It prints the share of resamples that reach3the 100% cap, and the corrected rate when one dev row moves TPR or TNR up or down. Only dev rows set the correction's rates."""4import lib # first: fixes the thread counts and seeds before anything else loads56from dataclasses import replace78from lib.calibration import confusion, correction_interval, corrected_pass_rate, helpsteer2_judgments, readable_verdicts, tnr, tpr9from lib.judging import passed10from lib.prompts import REF_SHA25611from lib.stats import RESAMPLES, interval_pct, pct12from lib.testset import load_items1314items = load_items() # all 120 items of the test set, as in corrected-pass-rate15found, _ = readable_verdicts("judge-answers-baseline", [item.id for item in items], REF_SHA256)16observed = int(passed(found).sum()) / len(found)1718dev_rows = helpsteer2_judgments("dev")19dev = confusion(dev_rows)20lo, hi, capped, refused = correction_interval(dev_rows, passed(found)) # resamples the dev rows and the readable items21print(f"corrected pass rate, 95% interval: {interval_pct(lo, hi)}")22print(f"resamples at the 100% cap: {pct(capped, RESAMPLES)}")23print(f"resamples refused, TPR + TNR - 1 below 0.1: {pct(refused, RESAMPLES)}")2425# One dev row moved: a human PASS row judged the other way changes TPR; a human FAIL row changes TNR.26moved = {27 "TPR one row higher": replace(dev, tp=dev.tp + 1, fn=dev.fn - 1),28 "TPR one row lower": replace(dev, tp=dev.tp - 1, fn=dev.fn + 1),29 "TNR one row higher": replace(dev, tn=dev.tn + 1, fp=dev.fp - 1),30 "TNR one row lower": replace(dev, tn=dev.tn - 1, fp=dev.fp + 1),31}32for label, counts in moved.items():33 print(f"corrected, {label}: {100 * corrected_pass_rate(observed, tpr(counts), tnr(counts)):.1f}%")
python correction-sensitivity.pycorrected pass rate, 95% interval: [62.1%, 100.0%]
resamples at the 100% cap: 29.5% (590 of 2000)
resamples refused, TPR + TNR - 1 below 0.1: 0.1% (2 of 2000)
corrected, TPR one row higher: 86.0%
corrected, TPR one row lower: 95.5%
corrected, TNR one row higher: 91.0%
corrected, TNR one row lower: 90.0%
El ejemplo vuelve a muestrear tanto las filas de desarrollo como los elementos legibles, 2,000 veces, con la semilla fija del libro, y lee la dispersión de la tasa corregida. El intervalo del 95% es [62.1%, 100.0%]. Es amplio, porque TPR y TNR descansan cada uno en unas pocas decenas de filas de desarrollo, y su extremo superior es el propio límite. Algunas remuestras alcanzan el límite. Su proporción es 29.5% (590 of 2000). Las remuestras rechazadas por un denominador inferior a 0.1 son 0.1% (2 of 2000), y el intervalo se calcula sobre las restantes.
Estos son los movimientos de una fila. Si una fila de desarrollo que los humanos aprobaron hubiera sido juzgada PASS en lugar de FAIL, TPR sería una fila más alto, y la tasa corregida sería 86.0%. Si una fila así hubiera sido juzgada FAIL, TPR bajaría una fila, y la tasa corregida sería 95.5%. En cuanto a TNR, una fila de desarrollo que los humanos suspendieron y el juez aprobó cambiaría la tasa a 91.0% si se juzgara FAIL, y a 90.0% si se juzgara PASS. TPR es la tasa que conviene vigilar: una fila allí mueve la respuesta entre cuatro y cinco puntos, mientras que una fila de TNR la mueve alrededor de medio punto.
El intervalo cubre el muestreo de las filas de desarrollo y de los elementos legibles. No cubre el supuesto de transferencia. Un juez cuyos errores difieran en las respuestas de sablefile podría mover la tasa más de lo que muestran las remuestras.
Regla práctica: Da la tasa corregida con el intervalo bootstrap que el libro usa para sus tasas, la proporción de remuestras en el límite y los movimientos de una fila junto a ella, para que el lector vea cuánto importan las filas individuales.
El supuesto de transferencia
La TPR y la TNR de arriba provienen de filas en las que el juez leyó respuestas de otros modelos sin referencia, bajo la rúbrica de corrección, y la línea de APROBADO allí es una puntuación de corrección de HelpSteer2 de 3 o más. El juez de respuestas lee las respuestas de sablefile frente a una referencia escrita, y un APROBADO allí significa que la respuesta concuerda con la referencia, contando una negativa correcta como aprobada. Los dos jueces responden preguntas distintas sobre qué significa que algo sea correcto. El supuesto de transferencia es que la tasa de fallos del juez sobre los aprobados humanos, y su tasa de aprobación indebida sobre los suspensos humanos, son las mismas en las respuestas de sablefile que en las filas de HelpSteer2. Nada en este capítulo lo comprueba. La corrección solo se sostiene si las diferencias en la entrada, las respuestas, las preguntas y el criterio de APROBADO dejan intacto el perfil de error. El capítulo 5 expone la diferencia entre un juez con referencia y uno sin ella.
Las últimas líneas del mismo ejemplo aplican la corrección a las filas de calibración, con tasas tomadas de esas filas. En esas filas, la tasa de APROBADO del juez es 61.7% (111 of 180). Su punto de cruce es 68.9% (TPR 81.5%, TNR 59.1%), y la tasa del juez queda por debajo de él, de modo que la corrección baja la tasa. La tasa de APROBADO del juez corregida es 51.1%. La tasa de APROBADO humana es 51.1% (92 of 180).
La tasa corregida del juez devuelve la tasa humana. Eso se sigue del álgebra, porque las tasas se midieron en esas mismas filas. La comprobación confirma que la aritmética es correcta. No dice nada sobre si la corrección se aplica a sablefile, y no debes tomarla como evidencia de la transferencia.
La mejor solución son etiquetas sobre las propias respuestas del libro. El libro no las tiene, porque ninguna persona ha valorado las respuestas de sablefile. Un lector que disponga de tales etiquetas debe calibrar con ellas, manteniendo una partición aparte del conjunto que se corrige, como este capítulo mantiene el conjunto dev separado del conjunto held-out. Así se eliminaría la mayor parte del supuesto de transferencia, mientras que las filas públicas solo lo asumen a cambio de poder usarse.
Regla práctica: escribe el supuesto de transferencia junto a cada tasa corregida, en el mismo párrafo, y nombra la diferencia entre el juez de calibración y el juez al que describe la tasa. Comprueba la aritmética sobre las filas de las que proceden las tasas, y di que tal comprobación no pone a prueba la transferencia. Mientras no existan etiquetas humanas sobre las respuestas que describe la tasa, y estas no hayan sido contrastadas con el juez, llama a la tasa corregida una estimación que se sostiene si el supuesto se cumple.
Calibración por pares
Un juez por pares lee dos respuestas y elige la mejor, en lugar de aprobar o suspender cada una. El lado humano es la preferencia de HelpSteer2 entre las dos respuestas a un prompt. Un juez por pares tiene una debilidad conocida: qué respuesta ocupa la posición A y cuál la B puede decidir la elección. El capítulo 5 explica por qué el libro pregunta al juez sobre cada par en ambos órdenes, y el capítulo 7 analiza los cambios de orden que provoca la posición. Esta sección pregunta cómo se ve la concordancia con la preferencia humana cuando se cuentan ambos órdenes. El recuento de cambios de orden que imprime es el que imprimió el capítulo 5, y aquí se muestra solo para explicar la diferencia.
Cada par es un prompt de HelpSteer2 con dos respuestas y una preferencia humana entre ellas. Se descartaron los pares con empate, de modo que cada par tiene una elección humana. Un TIE del juez es un fallo, porque el juez dijo que las dos respuestas eran iguales cuando el humano eligió una. Un solo orden da una tasa que depende de qué letra favoreció el juez, así que un equipo que informa de un solo orden informa de un número que la posición de las respuestas puede mover. Contar ambos órdenes elimina esa libertad a costa de una cifra más baja. Recomendamos informar la tasa más estricta para un juez por pares, y leer las tasas de un solo orden solo como un diagnóstico de la diferencia entre ellas.
Antes de ejecutar el ejemplo, predice si la tasa que cuenta un par solo cuando ambos órdenes eligen la respuesta del humano quedará por encima o por debajo de la de cada orden por separado. Luego comprueba tu conjetura con la salida.
1"""How often the pairwise judge's verdict agrees with the human preference on each HelpSteer2 pair, dev and held-out apart.2Three rates: the A,B order alone, the B,A order alone (both mapped back to the original responses), and both orders together,3where a pair counts only when both orders pick the human's response. A flipped pair (the same letter won both times) can4never count in the last rate, so the flipped count printed beside it is the number of misses that come from position.56Each single-order rate uses the pairs whose verdict in that order is readable; a TIE is judged and is not a pick, so it is7a miss. The interval is the 95% percentile bootstrap over pairs of the both-orders rate."""8import lib # first: fixes the thread counts and seeds before anything else loads910from lib.judging import both_orders, human_pairs11from lib.stats import bootstrap_mean, interval_pct, pct1213AB = "judge-hs2-pairs-ab"14BA = "judge-hs2-pairs-ba"1516pairs = human_pairs() # all 150 pairs, sorted by id, each with its split and the human's pick17orders = both_orders(AB, BA, list(pairs)) # both recordings read for every pair, sorted by id1819for split in ("dev", "held-out"):20 rows = [o for o in orders if pairs[o.pair_id].split == split]21 human = {o.pair_id: pairs[o.pair_id].preferred for o in rows}22 ab = [o.ab == human[o.pair_id] for o in rows if o.ab is not None]23 ba = [o.ba == human[o.pair_id] for o in rows if o.ba is not None]24 both = [o.ab == human[o.pair_id] and o.ba == human[o.pair_id] for o in rows if o.ab is not None and o.ba is not None]25 flipped = sum(1 for o in rows if o.kind == "flipped")26 print(f"agreement, A,B order, {split}: {pct(sum(ab), len(ab))}")27 print(f"agreement, B,A order, {split}: {pct(sum(ba), len(ba))}")28 print(f"agreement, both orders, {split}: {pct(sum(both), len(both))}; flipped pairs: {flipped}")29 lo, hi = bootstrap_mean([float(hit) for hit in both]) # 95% interval over pairs, the level for one comparison30 print(f"95% interval, both orders, {split}: {interval_pct(lo, hi)}")
python pairwise-agreement.pyagreement, A,B order, dev: 77.3% (58 of 75)
agreement, B,A order, dev: 73.3% (55 of 75)
agreement, both orders, dev: 65.3% (49 of 75); flipped pairs: 15
95% interval, both orders, dev: [53.3%, 76.0%]
agreement, A,B order, held-out: 74.7% (56 of 75)
agreement, B,A order, held-out: 76.0% (57 of 75)
agreement, both orders, held-out: 62.7% (47 of 75); flipped pairs: 19
95% interval, both orders, held-out: [52.0%, 73.3%]
Contada en ambos órdenes, la concordancia es menor que en cualquiera de los órdenes por separado, y la diferencia procede de los pares con cambio de orden. En dev, el orden A,B por sí solo da 77.3% (58 of 75). El orden B,A por sí solo da 73.3% (55 of 75). Contar ambos órdenes da la tasa más estricta, 65.3% (49 of 75); flipped pairs: 15.
El recuento que aparece tras el punto y coma son los pares con cambio de orden, que la salida del ejemplo etiqueta como flipped. Un par con cambio de orden, tal como lo define el capítulo 5, es aquel en el que el veredicto siguió a la posición y no a la respuesta. Un par con cambio de orden nunca puede contar en la tasa de ambos órdenes, así que cada uno es un fallo allí.
La partición held-out muestra el mismo patrón. El orden A,B da 74.7% (56 of 75), el orden B,A da 76.0% (57 of 75), y ambos órdenes dan 62.7% (47 of 75); flipped pairs: 19.
El intervalo de la tasa de ambos órdenes, sobre pares, es [53.3%, 76.0%] en dev. En held-out es [52.0%, 73.3%]. Estos intervalos son amplios porque cada partición tiene pocos pares. La lectura que se sostiene es el patrón: un juez que cambia su elección según la posición no puede leerse como de acuerdo con las personas en ningún orden concreto.
Tras este capítulo, puedes medir la concordancia de un juez más allá del azar, sus fallos y falsos aprobados en esta muestra, y una tasa de aprobación corregida con su supuesto de transferencia escrito al lado. Esas medidas se basan en filas públicas, no en las respuestas de sablefile, y un juez por pares contado en ambos órdenes sigue perdiendo pares por la posición. El capítulo 7 pone a prueba los límites que un juez puede mostrar en las grabaciones propias del libro, empezando por la posición, y es donde el lector aprende cuándo dejar de fiarse de un veredicto.
Regla práctica: Cuando un juez compara dos respuestas, ejecútalo en ambos órdenes e informa la concordancia contada de las dos formas, con los pares de cambio de orden al lado. Nunca leas una tasa de un solo orden como la concordancia del juez con las personas. Informa el intervalo sobre pares, y di que un par con cambio de orden es un fallo, porque es el coste de la posición.
Este capítulo, en esta edición
Edición 2026.11.3Ejemplos verificados el 21 de nov de 2026Superan la prueba 6 de 6 ejemplos ejemplos de este capítulo
Traducido del libro en inglés, edición 2026.11.3.