Encuentra dónde deja de ser fiable el veredicto de un juez

Unos 19 minutos de lectura, con 3 ejemplos en 4 secciones.

Edición 2026.11.3 Ejemplos verificados el 21 de nov de 2026 54 de 54 ejemplos pasan Qué ha cambiado

Traducido con IA. Verificado por personas en inglés. Cómo hacemos los libros

Traducido del libro en inglés, edición 2026.11.3. Lee el original

Al final de este capítulo podrás someter a un juez a dos sesgos que los datos de este libro pueden mostrar: el de posición y el de longitud. Sabrás decir qué muestra cada prueba y qué deja abierto, y podrás escribir las condiciones en las que dejas de confiar en uno de sus veredictos.

El Capítulo 6 midió los errores del juez frente a valoraciones humanas, y terminó preguntando qué hace un juez por pares cuando sus dos respuestas intercambian su lugar. Este capítulo pregunta qué más puede mover un veredicto en las respuestas de sablefile que el juez evalúa. El juez lee una respuesta a una pregunta de prueba, la compara con la respuesta de referencia e imprime PASS o FAIL, tal como lo plantea el Capítulo 5. Su tasa de aciertos es el número que un equipo reportaría, y ese número solo merece reportarse si el veredicto depende de la respuesta. Un veredicto que cambia cuando dos respuestas intercambian su lugar, o una tasa de aciertos que sube con la longitud de una respuesta que no dice más, mide algo distinto de la respuesta. Una tasa construida sobre un veredicto así puede parecer progreso sin serlo.

Dos advertencias valen para todo el capítulo, así que se dicen una sola vez, aquí. El juez es Qwen3-4B-Instruct-2507, y cada tasa de este capítulo se mide con ese modelo. Las cifras publicadas que el capítulo cita proceden de otros jueces, y muestran lo que puede ocurrirle a un juez, no lo que hace este. La segunda advertencia es el tamaño. Los pares con valoración humana y los elementos de desarrollo son conjuntos pequeños, así que cada tasa viene acompañada de su recuento, y cada comparación, de su intervalo.

El capítulo aborda tres límites en orden. El primero es la posición: si un veredicto por pares depende de qué respuesta se muestra primero. El segundo es la longitud: si la tasa de aciertos sube con la longitud de la respuesta. El tercero es la autopreferencia: si el juez favorece las respuestas escritas por su propio modelo. El libro puede probar los dos primeros con sus propias grabaciones, porque las grabaciones contienen lo que las pruebas necesitan: cada par con valoración humana juzgado en ambos órdenes, y cada respuesta con una longitud que puede contarse. No puede probar el tercero, y la sección dedicada a él explica por qué. La última sección convierte los tres límites en reglas que el lector puede aplicar, cada una vinculada a un recuento.

Posición

Pregunta al juez cuál de dos respuestas es mejor, y su respuesta puede depender de cuál de las dos leyó primero. Un equipo que lee un solo orden no vería esa dependencia, y su informe llevaría el orden junto con las respuestas.

La prueba es simple de enunciar. Juzga cada par dos veces, una con las respuestas en un orden y otra con el orden intercambiado. Un veredicto que sigue a la respuesta que prefiere es consistente. Un veredicto que sigue a la posición cambia cuando cambia el orden, lo que significa que la elección del juez depende de dónde estaba una respuesta además de lo que esta dice. Un juez puede inclinarse hacia la primera respuesta que lee o hacia la segunda. La prueba muestra esa inclinación solo a medida que cambia el orden. No puede decir qué la causa, y no necesita hacerlo, porque un veredicto que cambia con el orden es uno que un lector no debería usar tal cual. El capítulo 5 establece los dos órdenes y los veredictos, y el capítulo 6 contrasta las elecciones del juez con las valoraciones humanas.

Cada par valorado por humanos se juzga en ambos órdenes, y cada par cae en uno de cuatro tipos: consistente, con cambio de orden, empate o ilegible. El resultado del ejemplo llama volteados a los pares con cambio de orden. Un par ilegible tiene un veredicto ausente en alguno de los dos órdenes. Para los pares con cambio de orden, la pregunta es qué posición ganó en ambos órdenes.

position-flips.py Python 3.12.15 · numpy 2.5.5 Superado
"""How the pairwise judge's verdict follows the position it was shown in, on the HelpSteer2 pairs. Each pair is judged in bothorders and sorted as consistent, flipped, tie or unreadable. The flipped pairs are split by the position that won both orders,and the consistent pairs are checked against the human preference."""import lib  # first: fixes the thread counts and seeds before anything else loadsfrom lib.bias import flip_directionfrom lib.judging import both_orders, human_pairsfrom lib.stats import bootstrap_mean, interval_pct, pctAB = "judge-hs2-pairs-ab"BA = "judge-hs2-pairs-ba"SPLITS = ("dev", "held-out")pairs = human_pairs()  # all 150 pairs, sorted by id, each with its split and the human's preferred responseorders = both_orders(AB, BA, list(pairs))  # every pair judged in both orders, sorted by idfor split in SPLITS:    in_split = [o for o in orders if pairs[o.pair_id].split == split]    for kind in ("consistent", "flipped", "tie", "unreadable"):        # the denominator is the split's pairs, so the counts add up to the split's size        print(f"{kind}, {split}: {sum(1 for o in in_split if o.kind == kind)} of {len(in_split)} pairs")for split in SPLITS:    flipped = [o for o in orders if o.kind == "flipped" and pairs[o.pair_id].split == split]    # the letter A's position won both times when flip_direction says 'first'; B's when it says 'second'    first = sum(1 for o in flipped if flip_direction(o) == "first")    print(f"flipped, first position won both orders, {split}: {pct(first, len(flipped))}")# both splits pooled, one 0 or 1 per flipped pair: 1.0 when the first position won both ordersflipped_all = [1.0 if flip_direction(o) == "first" else 0.0 for o in orders if o.kind == "flipped"]print(f"flipped, first position won both orders, both splits: {pct(int(sum(flipped_all)), len(flipped_all))}")lo, hi = bootstrap_mean(flipped_all)  # percentile bootstrap over the flipped pairs, as every interval in the bookprint(f"first-position share interval, both splits: {interval_pct(lo, hi)}")for split in SPLITS:    consistent = [o for o in orders if o.kind == "consistent" and pairs[o.pair_id].split == split]    # in a consistent pair the two orders agree, so ab is the original response the judge picked    agree = sum(1 for o in consistent if o.ab == pairs[o.pair_id].preferred)    print(f"consistent pairs agreeing with the human, {split}: {pct(agree, len(consistent))}")
Salidapython position-flips.py
consistent, dev: 60 of 75 pairs
flipped, dev: 15 of 75 pairs
tie, dev: 0 of 75 pairs
unreadable, dev: 0 of 75 pairs
consistent, held-out: 56 of 75 pairs
flipped, held-out: 19 of 75 pairs
tie, held-out: 0 of 75 pairs
unreadable, held-out: 0 of 75 pairs
flipped, first position won both orders, dev: 20.0% (3 of 15)
flipped, first position won both orders, held-out: 26.3% (5 of 19)
flipped, first position won both orders, both splits: 23.5% (8 of 34)
first-position share interval, both splits: [8.8%, 38.2%]
consistent pairs agreeing with the human, dev: 81.7% (49 of 60)
consistent pairs agreeing with the human, held-out: 83.9% (47 of 56)

La mayoría de los veredictos se mantienen en los dos órdenes. En dev, 60 of 75 pairs fueron consistentes y 15 of 75 pairs cambiaron con el orden. En held-out, 56 of 75 pairs fueron consistentes y 19 of 75 pairs cambiaron con el orden.

Un empate cuenta como veredicto legible, así que permanece en el denominador de la tasa de cambio de orden. Aquí los empates llegaron a 0 of 75 pairs en dev, y los veredictos ilegibles a 0 of 75 pairs, de modo que cada par de dev dio un veredicto en ambos órdenes.

Sumando ambas particiones, la tasa de cambio de orden es 22.7% (34 of 150). Su denominador son los pares leídos en ambos órdenes, así que un par con un veredicto ilegible en cualquiera de los dos órdenes queda fuera.

Los cambios de orden se inclinan hacia la segunda posición, y el recuento agregado es el que conviene leer, porque los recuentos por partición son pequeños. Sumando ambas particiones, la proporción de la primera posición en los cambios de orden es 23.5% (8 of 34). Su intervalo es [8.8%, 38.2%], y el intervalo queda por completo por debajo de la mitad. Así, el recuento agregado separa la inclinación de un reparto equitativo, para estos pares. La proporción agregada descansa en pocos cambios de orden, de modo que unos pocos que se movieran en cualquier sentido la desplazarían varios puntos. En dev por sí solo la proporción es 20.0% (3 of 15), y en held-out es 26.3% (5 of 19).

Otros estudios han encontrado la inclinación en otros jueces, y las inclinaciones no apuntaron todas en la misma dirección. Wang y colaboradores (2023), un preprint, informaron de que GPT-4 favorecía la primera posición y ChatGPT la segunda, en una configuración con modelos distintos. Zheng y colaboradores (2023), en la pista Datasets and Benchmarks de NeurIPS 2023, informaron de que GPT-4, con un prompt por defecto, dio el mismo veredicto en ambos órdenes en el 65.0 % de las comparaciones. Son configuraciones publicadas para otros jueces. Te indican qué medir, pero no dicen qué esperar de un juez de 4B.

Los pares consistentes son aquellos cuyo veredicto puede leerse como una elección, así que el ejemplo los contrasta con la preferencia humana. En dev, el juez coincidió con el humano en los pares consistentes a esta tasa:

81.7% (49 of 60).

En held-out, la tasa fue:

83.9% (47 of 56).

Los pares con cambio de orden no reciben esa comprobación, porque un veredicto que cambia con el orden no dice qué respuesta eligió el juez. Un equipo que informa solo de la concordancia en los pares consistentes ha medido la parte menos disputada del conjunto. La parte con cambio de orden es donde la elección del juez es dudosa, y necesita su propio recuento.

La inclinación tiene una consecuencia práctica para la forma en que un equipo ejecuta sus comparaciones. Supón que un equipo siempre muestra su respuesta candidata en la segunda posición y nunca intercambia. Si el juez se inclina hacia la segunda posición, el candidato recibe un impulso que nada tiene que ver con su respuesta. Un equipo que siempre pone al candidato primero comete el error contrario. Intercambiar el orden en cada par e informar de los cambios de orden elimina la inclinación de la comparación, en lugar de esperar que no esté presente.

Regla práctica: Juzga cada comparación por pares en ambos órdenes antes de leer su veredicto, e informa de la tasa de cambio de orden junto a los recuentos de veredictos. Cuenta un par con cambio de orden como ausencia de veredicto para cualquiera de las dos respuestas, no como victoria de la que fue primera o segunda. Cuando los cambios de orden se inclinen en un sentido, di cuál, cuántos y con qué intervalo, y no des por supuesto que otro juez se inclina igual.

Longitud

Último cambio en la edición 2026.11.3

La longitud plantea una pregunta distinta. La posición se refiere a qué respuesta ve primero el juez; la longitud se refiere a la respuesta en sí. La pregunta es si el juez da una puntuación más alta a una respuesta más larga solo por ser más larga. Los estudios publicados describen ese sesgo, así que una prueba en este libro debe buscarlo, y un resultado limpio requeriría una prueba que pudiera haber mostrado el sesgo.

Zheng y colaboradores (2023) informaron de que todos los modelos que probaron pueden ser propensos al sesgo de verbosidad, y de que GPT-4 se defiende de él mucho mejor que los demás. En un ataque, se añadió una lista repetitiva a 23 respuestas. La tasa de fallos fue de 91.3 % para dos de los modelos y de 8.7 % para GPT-4. Esas cifras proceden de otros jueces y de un ataque distinto. Son una razón para medir aquí la longitud, y no dicen nada sobre el tamaño del efecto en este libro.

La prueba es más sencilla que el ataque. Toma las respuestas del conjunto de desarrollo que el asistente base contestó, las ordena en tres bandas según el número de palabras e imprime la tasa de aprobados del juez para cada banda. Los límites que definen las bandas están fijados en el ejemplo. Otros límites producirían otras bandas, y el panorama podría cambiar con ellos.

length-and-verdicts.py Python 3.12.15 · numpy 2.5.5 · pydantic 2.14.3 · typing-extensions 4.16.0 Superado
"""The reference-guided judge's PASS rate by the length of the assistant's reply, on the dev items the baseline answered. Thereply lengths are in words, in three bands with the edges printed below. Each band's rate is printed with its count. Declinedreplies and unreadable verdicts are left out, and each is printed with its count."""import lib  # first: fixes the thread counts and seeds before anything else loadsfrom lib.bias import LENGTH_EDGES, band_outcomes, read_verdicts, reply_lengthsfrom lib.stats import pctfrom lib.testset import load_itemsASSISTANT = "assistant-baseline"  # the reply the judge read, and the one whose length is measuredJUDGE = "judge-answers-baseline"dev = [item.id for item in load_items(split="dev")]  # 80 dev items, sorted by idlengths = reply_lengths(ASSISTANT, dev)  # the answered items only: declined replies are left out hereverdicts = read_verdicts(JUDGE, dev)  # None where the judge's first line is not a verdictprint(f"band edges, in words: {LENGTH_EDGES[0]} and {LENGTH_EDGES[1]}")print(f"declined, left out: {len(dev) - len(lengths)} of {len(dev)} dev items")unreadable = [item_id for item_id in lengths if verdicts[item_id] is None]print(f"unreadable verdict, left out: {', '.join(unreadable) if unreadable else 'none'}")for band, outcomes in band_outcomes(lengths, verdicts):    print(f"{band}: {pct(int(outcomes.sum()), outcomes.size)}")
Salidapython length-and-verdicts.py
band edges, in words: 15 and 30
declined, left out: 23 of 80 dev items
unreadable verdict, left out: q-0043
under 15 words: 94.1% (16 of 17)
15 to 29 words: 83.3% (15 of 18)
30 words or more: 85.7% (18 of 21)

Los límites caen en 15 and 30 palabras. Las respuestas rechazadas se dejan fuera de las bandas, lo cual es 23 of 80 dev items. La primera línea del juez se lee como su veredicto. Cuando esa línea no es un veredicto, el veredicto es ilegible, y el ejemplo imprime ese elemento y lo deja fuera de las bandas. Nunca se cuenta como FAIL. Aquí el veredicto ilegible está en q-0043.

Las bandas se construyen solo con respuestas contestadas, así que sus denominadores son más pequeños que el conjunto. La comparación con el segundo modelo de la última sección usa un conjunto distinto de elementos, que cuenta cada elemento de desarrollo que el juez leyó para ambos asistentes y cuenta una negativa correcta como aprobado según la rúbrica de respuesta de capítulo 5. Los dos conjuntos no son iguales, y sus tasas no deben ponerse una junto a otra.

Las tasas no aumentan con la longitud. La banda intermedia aprobó con menos frecuencia, y la banda más larga aprobó más veces que la intermedia, aunque menos que la más corta. Un lector que trazara una recta por las tres bandas obtendría una pendiente, y estas bandas no respaldan esa recta.

La banda más corta aprobó 94.1% (16 of 17).

La banda intermedia aprobó 83.3% (15 of 18).

La banda más larga aprobó 85.7% (18 of 21).

La comparación que informa el libro es la banda más larga menos la más corta. Su orden viene fijado por la longitud, así que se establece antes de leer las tasas. La banda con la tasa más alta menos la banda con la tasa más baja se elegiría después de ver las tasas, y nunca podría ser inferior a cero. La diferencia es -8.4 points, interval [-28.6, +8.1] points.

El método es percentile bootstrap over items, each band resampled alone, 2000 resamples, 95% level. Las dos bandas contienen elementos distintos, así que cada una se remuestrea por separado, y los recuentos de las bandas son los que aparecen en sus tasas de arriba. Los recuentos de las bandas son pequeños, así que el intervalo es amplio. El intervalo incluye el cero, por lo que el resultado es no se detectó diferencia entre la banda más larga y la más corta.

«No se detectó diferencia» no significa que la longitud sea inofensiva. Indica que bandas de este tamaño no pueden separar una diferencia de cero. No pueden detectar un sesgo de unos pocos puntos, porque una sola respuesta mueve la tasa de una banda varios puntos. El bootstrap sobre elementos que describe intervalos y tamaño de muestra es el mismo remuestreo. Las dos bandas aquí se remuestrean por separado, un intervalo para dos grupos distintos, que ese capítulo no construye.

Una respuesta más larga tampoco es siempre una respuesta rellena. Una respuesta que cubre más de la pregunta puede aprobar con más frecuencia por esa razón, y una tasa que crece con la longitud no demostraría, por sí sola, relleno. Distinguir ambos casos requiere respuestas en las que la longitud y el contenido se separen, como una respuesta completa y la misma respuesta con relleno añadido. Las bandas aquí no pueden separarlos, porque las respuestas de cada banda difieren en algo más que su longitud.

Regla práctica: No atribuyas un efecto de longitud, ni su ausencia, a partir de unas pocas bandas. Compara la banda más larga con la más corta, con el intervalo de la diferencia y el recuento de cada banda. Cuando el intervalo incluya el cero, di "no se detectó diferencia" con esos recuentos, y detente ahí. Si la longitud podría importar para tu producto, construye una prueba en la que la longitud cambie y el contenido se mantenga, y mídela.

La autopreferencia, que este libro no puede probar

La sección sobre la longitud preguntaba si el juez premia una respuesta por su tamaño. Esta sección pregunta si la premia por quién la escribió. El libro no puede responder a eso, y su propia configuración muestra por qué.

Panickssery y colaboradores (2024), un preprint, definen la autopreferencia como la tendencia de los evaluadores basados en LLM a puntuar sus propios resúmenes por encima de los resúmenes de otros modelos, mientras que los anotadores humanos califican ambos conjuntos como de igual calidad. Los autores llaman a su resultado causal «evidencia inicial», y reconocen que la correlación no prueba por sí sola la afirmación causal. La pregunta vale la pena para cualquier juez, y la respuesta debe medirse sobre ese mismo juez.

Una prueba necesitaría respuestas de igual calidad, según las califican personas, que hayan producido el propio modelo del juez y otro modelo, o que se les atribuyan a ambos. El mismo juez leería entonces las mismas respuestas bajo cada atribución, y las dos tasas de aprobación solo diferirían por efecto del autor. El diseño es claro en sus líneas generales, pero las grabaciones del libro no lo llevan a cabo.

El libro tiene un juez que lee a dos autores. El asistente de referencia y el juez son el mismo modelo, Qwen3-4B-Instruct-2507. El único otro conjunto de respuestas proviene de Qwen3-0.6B, un modelo más pequeño, que el mismo juez leyó. El libro no tiene calificaciones humanas de esas respuestas con calidad equiparada, y este juez es la única medida de su calidad, así que la comparación no puede mantener fija la calidad mientras cambia el autor.

Sobre los mismos elementos de desarrollo, la referencia aprobó 78.5% (62 of 79). El segundo modelo aprobó 40.5% (32 of 79). La diferencia es -38.0 points, interval [-48.1, -26.6] points, n = 79.

Dicho llanamente, las respuestas del segundo modelo aprueban con mucha menos frecuencia. Una calidad menor produciría esa brecha, y también la produciría un favoritismo hacia el modelo propio del juez. Los datos del libro no permiten distinguir entre ambas causas, porque la única medida de la calidad es este juez. Así, la brecha es una diferencia entre dos asistentes tal como este juez los lee. No es un resultado de autopreferencia ni una ausencia limpia de ella.

Un informe que describa al juez como justo con su propio modelo tiene que decir que la prueba no se hizo sobre las grabaciones de este libro. El silencio sobre ese punto se lee como un resultado limpio, y aquí no lo es. La afirmación que un equipo sí puede hacer es más estrecha: las grabaciones muestran una brecha entre dos asistentes, y no muestran nada sobre el favoritismo del juez hacia su propio modelo.

Regla práctica: Cuando el juez y el asistente son el mismo modelo, informa de ello junto a la tasa de aprobación, y no presentes la autopreferencia como evaluada. No uses al juez para comparar el modelo del propio juez con otro, a menos que se cumpla la verificación anterior: respuestas de calidad equiparada, producidas o atribuidas a ambos modelos, leídas por el mismo juez. El capítulo 6 establece las calificaciones humanas que una verificación así necesita.

Dónde dejar de confiar en un veredicto

Los límites solo son útiles como reglas que un lector pueda aplicar, y cada regla necesita un recuento con el que comprobarla. Un lector que revisa solo la tabla conoce los límites, pero no las razones que los justifican, y las secciones anteriores explican la razón de cada línea. La tabla de límites las muestra como líneas etiquetadas, agrupadas: la tasa de cambios de orden; la diferencia de longitud, con su método; los veredictos ilegibles; el recuento de grabaciones del mismo modelo; y la comparación con un segundo modelo. La tasa de cambios de orden excluye los pares ilegibles en cualquiera de los dos órdenes, mientras que el ejemplo de posición anterior cuenta todos los pares en su partición. Lee la tabla de arriba abajo, porque cada línea responde a una pregunta y ninguna responde a otra.

verdict-limits.py Python 3.12.15 · numpy 2.5.5 · pydantic 2.14.3 · typing-extensions 4.16.0 Superado
"""The judge's limits as one table, one labelled line per limit, each computed as in position-flips and length-and-verdicts.The length line compares the longest band with the shortest, fixed in advance by length order: each band holds differentitems, so each is resampled on its own. The unreadable count is over every answer-judge recording on every item."""import lib  # first: fixes the thread counts and seeds before anything else loadsfrom lib.bias import band_outcomes, paired_passes, read_verdicts, reply_lengths, same_model_count, unreadable_countfrom lib.judging import both_orders, human_pairsfrom lib.stats import RESAMPLES, bootstrap_difference, bootstrap_mean, interval_points, pctfrom lib.testset import load_itemsJUDGE = "judge-answers-baseline"ANSWER_JUDGES = tuple(f"judge-answers-{variant}" for variant in ("baseline", "k5", "prompt-b", "second-model", "unfiltered"))items = [item.id for item in load_items()]dev = [item.id for item in load_items(split="dev")]# Order-change rate: flipped pairs over the pairs read in both orders. A tie is a readable verdict; an unreadable pair is left out.pairs = human_pairs()read_both = [o for o in both_orders("judge-hs2-pairs-ab", "judge-hs2-pairs-ba", list(pairs)) if o.kind != "unreadable"]print(f"order-change rate: {pct(sum(1 for o in read_both if o.kind == 'flipped'), len(read_both))}")# Length gap: the longest band's PASS rate minus the shortest band's, fixed by length order, on the dev items.shortest, _, longest = band_outcomes(reply_lengths("assistant-baseline", dev), read_verdicts(JUDGE, dev))lo, hi = bootstrap_difference(shortest[1], longest[1])print(f"length gap, longest band minus shortest band: {100 * (longest[1].mean() - shortest[1].mean()):+.1f} points, "      f"interval {interval_points(lo, hi)}")print(f"length gap method: percentile bootstrap over items, each band resampled alone, {RESAMPLES} resamples, 95% level")print(f"shortest band, {shortest[0]}: {pct(int(shortest[1].sum()), shortest[1].size)}")print(f"longest band, {longest[0]}: {pct(int(longest[1].sum()), longest[1].size)}")unreadable, total = unreadable_count(ANSWER_JUDGES, items)print(f"unreadable verdicts, five answer-judge recordings: {unreadable} of {total}")print(f"items per answer-judge recording: {len(items)}")worst = max((unreadable_count([name], items) for name in ANSWER_JUDGES), key=lambda found: found[0])print(f"most unreadable in one recording: {worst[0]} of {worst[1]}")same, judged = same_model_count(ANSWER_JUDGES)print("self-preference test on these recordings: not possible")print(f"same-model recordings: {same} of {judged}")# Second model beside the baseline, on the dev items both judged: a None verdict in either leaves the item out.both, base_pass, second_pass = paired_passes(JUDGE, "judge-answers-second-model", dev)print(f"baseline PASS rate, same dev items: {pct(int(base_pass.sum()), len(both))}")print(f"second-model PASS rate, same dev items: {pct(int(second_pass.sum()), len(both))}")diff_lo, diff_hi = bootstrap_mean(second_pass - base_pass)print(f"second-model minus baseline, same dev items: {100 * (second_pass - base_pass).mean():+.1f} points, "      f"interval {interval_points(diff_lo, diff_hi)}, n = {len(both)}")
Salidapython verdict-limits.py
order-change rate: 22.7% (34 of 150)
length gap, longest band minus shortest band: -8.4 points, interval [-28.6, +8.1] points
length gap method: percentile bootstrap over items, each band resampled alone, 2000 resamples, 95% level
shortest band, under 15 words: 94.1% (16 of 17)
longest band, 30 words or more: 85.7% (18 of 21)
unreadable verdicts, five answer-judge recordings: 2 of 600
items per answer-judge recording: 120
most unreadable in one recording: 1 of 120
self-preference test on these recordings: not possible
same-model recordings: 4 of 5
baseline PASS rate, same dev items: 78.5% (62 of 79)
second-model PASS rate, same dev items: 40.5% (32 of 79)
second-model minus baseline, same dev items: -38.0 points, interval [-48.1, -26.6] points, n = 79

Compara cada tasa con su propio denominador. Las líneas no comparten uno, y una tasa con un denominador pequeño se mueve mucho por un solo elemento. La tabla no dice nada sobre si el juez coincide con las personas en general. Eso es trabajo del Capítulo 6, y un juez puede superar todas las líneas de aquí y aun así discrepar de las valoraciones humanas en los pares que importan. Los límites son las condiciones que debe cumplir un veredicto antes de que valga la pena hacer una calibración, no un sustituto de ella.

Las reglas siguientes siguen esas líneas, y cada una se apoya en una de ellas.

  • Cambios de orden. No leas un veredicto por pares como un resultado cuando cambia según el orden. Cuenta los cambios de orden en ambas particiones e imprime la tasa de cambios de orden junto a los recuentos de veredictos.
  • Veredictos ilegibles. Imprímelos, déjalos fuera y nunca los cuentes como FAIL. La tabla cuenta 2 of 600 veredictos en cinco grabaciones de juez de respuestas: las variantes base, k5, prompt-b, second-model y unfiltered, cada una leída sobre 120 elementos. La mayor pérdida en una sola grabación fue de 1 of 120. Esto es una regla práctica, no un umbral medido: cuando más de 1 de cada 100 veredictos de una grabación es ilegible, corrige el prompt antes de leer una tasa de esa grabación.
  • Longitud. No afirmes un efecto de longitud a partir de unas pocas franjas, ni su ausencia. La línea de longitud compara la franja más larga con la más corta, con su intervalo. Cuando el intervalo incluye el cero, di «no se detectó diferencia» con los recuentos, y detente ahí.
  • Mismo modelo. Cuando el juez y el asistente son el mismo modelo, la tasa debe llevar ese hecho junto a ella. Aquí 4 of 5 grabaciones juzgadas son de ese tipo. El libro no puede probar el autosesgo en esas grabaciones, así que no uses el juez para comparar su propio modelo con otro, como expone la sección de autosesgo.
  • Calidad equiparada. Una diferencia entre las tasas de aprobación de dos asistentes es una diferencia entre asistentes, no un sesgo del juez. La línea del segundo modelo es el ejemplo, y es la razón por la que la sección de autosesgo no da resultado en ningún sentido.
  • Transferencia. La calibración en la que se apoya una tasa se midió en otras filas, así que solo úsala hasta donde lo permita la suposición de transferencia.

Un veredicto que cumple una condición de parada no se descarta. Un par con orden cambiado o un veredicto ilegible pasa a ser ningún veredicto para ese elemento. Se imprime, se cuenta y se deja fuera de la tasa en la que habría entrado, como ocurre con los veredictos ilegibles, y la tasa informa entonces cuántos elementos dejó fuera. Una grabación de mismo modelo no es una condición de parada. Se informa junto a la tasa.

En producción, los límites se manifiestan como una tasa que cambia por la razón equivocada. Supón que un equipo modifica el prompt del asistente y la tasa de aprobación sube. Antes de atribuir la subida al prompt, la tabla de límites plantea tres preguntas. ¿Cambiaron los veredictos con el orden, o quedaron sin leer? ¿Se alargaron las respuestas, y separa el intervalo de la línea de longitud la diferencia del cero? ¿Es el juez el modelo que escribió las respuestas? Un sí a las dos primeras significa que la subida necesita su propia comprobación antes de informarla. Un sí a la tercera significa que la subida se informa con ese hecho junto a ella.

Regla práctica: Deja de confiar en un veredicto, y dilo en el informe, cuando cambie con el orden o cuando no pueda leerse. Cuando el juez es el modelo cuyas respuestas califica, informa de ello junto a la tasa, y no uses el juez para comparar su propio modelo con otro, como expone la sección de autosesgo. Antes de publicar una tasa de aprobación, contrasta el juez con valoraciones humanas, como hace el Capítulo 6, e imprime la tasa de cambios de orden, el recuento de ilegibles y el hecho de mismo modelo junto a la tasa. Una tasa de aprobación describe las respuestas solo en la medida en que el juez coincide con las personas, así que la tasa siempre debe ir acompañada de su calibración.

Este capítulo, en esta edición

Edición 2026.11.3Ejemplos verificados el 21 de nov de 2026Superan la prueba 3 de 3 ejemplos ejemplos de este capítulo

Traducido del libro en inglés, edición 2026.11.3.

Cita esta sección

Formato

Cada formato cita el libro en inglés, que esta traducción sigue.

Cada formato nombra esta edición. Su enlace abre la edición actual, donde el encabezado de cada sección indica cuándo cambió su texto por última vez. Las fechas de acceso y de recuperación son el día en que lo abres.

En esta página

Capítulo 7 de 11: Encuentra dónde deja de ser fiable el veredicto de un juez

  1. Posición
  2. Longitud
  3. La autopreferencia, que este libro no puede probar
  4. Dónde dejar de confiar en un veredicto

Volver arribaTodos los capítulos