판정자의 판정이 더는 믿을 만하지 않게 되는 지점 찾기
읽는 데 약 26분분 걸린다, 4절에 3개 예제이(가) 있음.
AI로 번역함. 영어 원문을 사람이 검증함. 우리가 책을 만드는 방식
영어판 2026.11.3판을 번역한 것이다. 원문 읽기
이 장을 마치면 이 책의 데이터로 확인할 수 있는 두 가지 편향, 곧 위치 편향과 길이 편향을 판정자에게 시험해 볼 수 있다. 각 시험이 무엇을 보여 주고 무엇을 열어 두는지 설명할 수 있으며, 판정자의 판정 하나를 더는 신뢰하지 않게 되는 조건도 글로 적을 수 있다.
6장은 사람의 평가를 기준으로 판정자의 오류를 측정했고, 쌍별 판정자가 두 응답의 자리를 바꾸면 어떻게 행동하는가라는 물음을 던지며 끝났다. 이 장은 판정자가 채점하는 sablefile 응답에서 판정을 움직일 수 있는 다른 요인이 무엇인지 묻는다. 판정자는 시험 질문에 대한 응답을 읽고 기준 답안과 견주어 PASS 또는 FAIL을 출력하며, 이 과정은 5장에서 구성한 그대로다. 판정자의 통과율은 팀이 보고하게 될 수치이고, 이 수치가 보고할 가치를 가지려면 판정이 응답에 달려 있어야 한다. 두 답의 자리가 바뀌면 달라지는 판정이나, 내용은 더하지 않으면서 길어지기만 해도 올라가는 통과율은 답이 아닌 다른 무언가를 재고 있다. 그런 판정 위에 세운 통과율은 실제로는 나아진 것이 없는데도 진전처럼 보일 수 있다.
이 장 전체에 적용되는 주의 사항이 두 가지 있으므로 여기서 한 번만 밝혀 둔다. 첫째, 판정자는 Qwen3-4B-Instruct-2507이며 이 장의 모든 비율은 이 모델에서 측정한 것이다. 이 장이 인용하는 공개된 수치는 다른 판정자에서 나온 것으로, 판정자에게 어떤 일이 일어날 수 있는지를 보여 줄 뿐 이 판정자가 실제로 어떻게 행동하는지를 보여 주지는 않는다. 둘째는 규모다. 사람이 평가한 쌍과 개발용 항목은 작은 집합이므로, 모든 비율에는 그 개수를 함께 적고 모든 비교에는 구간을 함께 적는다.
이 장은 세 가지 한계를 차례로 다룬다. 첫째는 위치로, 쌍별 판정이 어느 답이 먼저 제시되었는지에 좌우되는가를 본다. 둘째는 길이로, 통과율이 응답의 길이와 함께 오르는가를 본다. 셋째는 자기 선호로, 판정자가 자신과 같은 모델이 쓴 답을 더 좋게 보는가를 본다. 이 책은 앞의 둘을 자체 기록으로 시험할 수 있는데, 기록에 시험에 필요한 것이 들어 있기 때문이다. 사람이 평가한 모든 쌍을 두 순서로 모두 판정한 기록이 있고, 길이를 셀 수 있는 모든 응답이 있다. 셋째는 시험할 수 없으며, 그 이유는 해당 절에서 설명한다. 마지막 절에서는 세 한계를 독자가 적용할 수 있는 규칙으로 바꾸고, 각 규칙을 개수에 묶어 둔다.
위치
판정자에게 두 응답 중 어느 쪽이 더 나은지 물으면, 그 답은 어느 응답을 먼저 읽었는지에 따라 달라질 수 있다. 한 가지 순서로만 읽는 팀은 이런 의존성을 알아채지 못하며, 그 팀의 보고서에는 답과 함께 순서의 영향이 그대로 실릴 것이다.
검사 방법은 간단하다. 각 쌍을 두 번 판정한다. 한 번은 응답을 한 순서로, 한 번은 순서를 바꾸어 판정한다. 선호하는 응답을 따라가는 판정은 일관적이다. 위치를 따라가는 판정은 순서가 바뀌면 달라지는데, 이는 판정자의 선택이 응답의 내용뿐 아니라 응답이 놓인 자리에도 좌우된다는 뜻이다. 판정자는 처음 읽는 응답 쪽으로 기울 수도, 두 번째로 읽는 응답 쪽으로 기울 수도 있다. 이 검사는 순서가 바뀔 때만 그 쏠림을 보여 준다. 쏠림의 원인은 말해 주지 못하지만 그럴 필요도 없다. 순서가 바뀌면 달라지는 판정은 독자가 그대로 써서는 안 되는 판정이기 때문이다. 5장에서 두 가지 순서와 판정을 구성하고, 6장에서 판정자의 선택을 사람의 평가와 대조한다.
사람이 평가한 각 쌍은 두 순서로 모두 판정하며, 각 쌍은 일관, 순서 변경, 동점, 판독 불가의 네 종류 중 하나로 분류된다. 예제의 출력에서는 순서 변경 쌍을 flipped라고 부른다. 판독 불가 쌍은 어느 한쪽 순서에서 판정이 없는 쌍이다. 순서 변경 쌍에서는 어느 위치가 두 순서 모두에서 이겼는지가 문제가 된다.
1"""How the pairwise judge's verdict follows the position it was shown in, on the HelpSteer2 pairs. Each pair is judged in both2orders and sorted as consistent, flipped, tie or unreadable. The flipped pairs are split by the position that won both orders,3and the consistent pairs are checked against the human preference."""4import lib # first: fixes the thread counts and seeds before anything else loads56from lib.bias import flip_direction7from lib.judging import both_orders, human_pairs8from lib.stats import bootstrap_mean, interval_pct, pct910AB = "judge-hs2-pairs-ab"11BA = "judge-hs2-pairs-ba"12SPLITS = ("dev", "held-out")1314pairs = human_pairs() # all 150 pairs, sorted by id, each with its split and the human's preferred response15orders = both_orders(AB, BA, list(pairs)) # every pair judged in both orders, sorted by id1617for split in SPLITS:18 in_split = [o for o in orders if pairs[o.pair_id].split == split]19 for kind in ("consistent", "flipped", "tie", "unreadable"):20 # the denominator is the split's pairs, so the counts add up to the split's size21 print(f"{kind}, {split}: {sum(1 for o in in_split if o.kind == kind)} of {len(in_split)} pairs")2223for split in SPLITS:24 flipped = [o for o in orders if o.kind == "flipped" and pairs[o.pair_id].split == split]25 # the letter A's position won both times when flip_direction says 'first'; B's when it says 'second'26 first = sum(1 for o in flipped if flip_direction(o) == "first")27 print(f"flipped, first position won both orders, {split}: {pct(first, len(flipped))}")2829# both splits pooled, one 0 or 1 per flipped pair: 1.0 when the first position won both orders30flipped_all = [1.0 if flip_direction(o) == "first" else 0.0 for o in orders if o.kind == "flipped"]31print(f"flipped, first position won both orders, both splits: {pct(int(sum(flipped_all)), len(flipped_all))}")32lo, hi = bootstrap_mean(flipped_all) # percentile bootstrap over the flipped pairs, as every interval in the book33print(f"first-position share interval, both splits: {interval_pct(lo, hi)}")3435for split in SPLITS:36 consistent = [o for o in orders if o.kind == "consistent" and pairs[o.pair_id].split == split]37 # in a consistent pair the two orders agree, so ab is the original response the judge picked38 agree = sum(1 for o in consistent if o.ab == pairs[o.pair_id].preferred)39 print(f"consistent pairs agreeing with the human, {split}: {pct(agree, len(consistent))}")
python position-flips.pyconsistent, dev: 60 of 75 pairs
flipped, dev: 15 of 75 pairs
tie, dev: 0 of 75 pairs
unreadable, dev: 0 of 75 pairs
consistent, held-out: 56 of 75 pairs
flipped, held-out: 19 of 75 pairs
tie, held-out: 0 of 75 pairs
unreadable, held-out: 0 of 75 pairs
flipped, first position won both orders, dev: 20.0% (3 of 15)
flipped, first position won both orders, held-out: 26.3% (5 of 19)
flipped, first position won both orders, both splits: 23.5% (8 of 34)
first-position share interval, both splits: [8.8%, 38.2%]
consistent pairs agreeing with the human, dev: 81.7% (49 of 60)
consistent pairs agreeing with the human, held-out: 83.9% (47 of 56)
대부분의 판정은 두 순서에서 유지된다. dev에서는 60 of 75 pairs개가 일관적이었고 15 of 75 pairs개가 순서에 따라 바뀌었다. held-out에서는 56 of 75 pairs개가 일관적이었고 19 of 75 pairs개가 순서에 따라 바뀌었다.
동점은 판독 가능한 판정으로 치므로 순서 변경률의 분모에 남는다. 여기서 동점은 dev에서 0 of 75 pairs개였고 판독 불가는 0 of 75 pairs개였으므로, 모든 dev 쌍이 두 순서 모두에서 판정을 내놓았다.
두 분할을 합친 순서 변경률은 22.7% (34 of 150)이다. 분모는 두 순서로 모두 읽은 쌍이므로, 어느 한쪽 순서에서 판독 불가인 쌍은 제외된다.
순서 변경은 두 번째 위치 쪽으로 기운다. 분할별 개수가 적으므로 읽어야 할 것은 합산한 개수다. 두 분할을 합치면 순서 변경 중 첫 번째 위치의 몫은 23.5% (8 of 34)이다. 그 구간은 [8.8%, 38.2%]이며, 구간 전체가 2분의 1보다 아래에 있다. 따라서 이 쌍들에 대해서는 합산한 개수가 쏠림과 균등한 분할을 구별해 준다. 합산한 몫은 적은 수의 순서 변경에 기대고 있으므로, 몇 개만 어느 쪽으로 움직여도 몫이 몇 퍼센트포인트 달라진다. dev만 보면 그 몫은 20.0% (3 of 15)이고, held-out에서는 26.3% (5 of 19)이다.
다른 연구들도 다른 판정자에게서 이런 쏠림을 발견했는데, 쏠림의 방향이 모두 같지는 않았다. 프리프린트인 Wang 외(2023)는 GPT-4는 첫 번째 위치를, ChatGPT는 두 번째 위치를 선호했다고 보고했다. 설정은 서로 다른 모델을 쓴 것이었다. NeurIPS 2023 Datasets and Benchmarks 트랙에 실린 Zheng 외(2023)는 기본 프롬프트를 쓴 GPT-4가 비교의 65.0%에서 두 순서에서 같은 판정을 내린 경우가 비교의 65.0%였다고 보고했다. 이들은 다른 판정자에 대해 공개된 설정이다. 무엇을 측정해야 하는지는 알려 주지만, 4B 판정자에게서 무엇을 기대해야 하는지는 말해 주지 않는다.
일관적인 쌍은 판정을 하나의 선택으로 읽을 수 있는 쌍이므로, 예제는 이 쌍들을 사람의 선호와 대조한다. dev에서 일관적인 쌍에 대해 판정자가 사람과 일치한 비율은 다음과 같았다.
81.7% (49 of 60).
held-out에서의 비율은 다음과 같았다.
83.9% (47 of 56).
순서 변경 쌍에는 이런 대조를 할 수 없다. 순서가 바뀐 판정은 판정자가 어느 응답을 골랐는지 말해 주지 않기 때문이다. 일관적인 쌍에서의 일치만 보고하는 팀은 집합에서 다툼이 덜한 부분만 측정한 것이다. 판정자의 선택이 의심스러운 부분은 순서 변경 쪽이며, 그 부분에는 별도의 집계가 필요하다.
이 쏠림은 팀이 비교를 운영하는 방식에 실제적인 결과를 낳는다. 어떤 팀이 후보 응답을 항상 두 번째 자리에 보여 주고 한 번도 순서를 바꾸지 않는다고 하자. 판정자가 두 번째 자리 쪽으로 기울면 후보는 답의 질과 무관한 이점을 얻는다. 후보를 항상 첫 번째에 놓는 팀은 반대 방향의 오류를 얻는다. 모든 쌍에서 순서를 바꾸고 그 순서 변경을 보고하면, 쏠림이 없기를 바라는 대신 쏠림을 비교에서 제거할 수 있다.
작업 규칙: 모든 쌍별 비교는 판정을 읽기 전에 두 순서로 모두 판정하고, 판정 개수 옆에 순서 변경률을 함께 보고한다. 순서가 바뀐 쌍은 어느 응답에 대해서도 판정이 없는 것으로 세며, 먼저 놓였거나 나중에 놓인 응답의 승리로 세지 않는다. 순서 변경이 한쪽으로 기울면 어느 쪽으로, 몇 개가, 어떤 구간으로 기우는지 밝히고, 다른 판정자도 같은 쪽으로 기울 것이라고 가정하지 않는다.
이 부분은 아직 번역되지 않았으므로 영어로 표시된다.
Length
Length asks a different question. Position is about which reply the judge sees first; length is about the reply itself. The question is whether the judge gives a longer reply a higher score for being longer. Published studies describe that bias, so a test in this book has to look for it, and a clean result would need a test that could have shown the bias.
Zheng and colleagues (2023) reported that all the models they tested may be prone to verbosity bias, and that GPT-4 defends against it much better than the others. In one attack, a repetitive list was added to 23 answers. The failure rate was 91.3% for two of the models and 8.7% for GPT-4. Those figures come from other judges and a different attack. They are a reason to measure length here, and they say nothing about the size of the effect in this book.
The test is simpler than the attack. It takes the dev replies that the baseline assistant answered, sorts them into three bands by word count, and prints the judge's pass rate for each band. The edges that set the bands are fixed in the example. Other edges would make other bands, and the picture could change with them.
1"""The reference-guided judge's PASS rate by the length of the assistant's reply, on the dev items the baseline answered. The2reply lengths are in words, in three bands with the edges printed below. Each band's rate is printed with its count. Declined3replies and unreadable verdicts are left out, and each is printed with its count."""4import lib # first: fixes the thread counts and seeds before anything else loads56from lib.bias import LENGTH_EDGES, band_outcomes, read_verdicts, reply_lengths7from lib.stats import pct8from lib.testset import load_items910ASSISTANT = "assistant-baseline" # the reply the judge read, and the one whose length is measured11JUDGE = "judge-answers-baseline"1213dev = [item.id for item in load_items(split="dev")] # 80 dev items, sorted by id14lengths = reply_lengths(ASSISTANT, dev) # the answered items only: declined replies are left out here15verdicts = read_verdicts(JUDGE, dev) # None where the judge's first line is not a verdict1617print(f"band edges, in words: {LENGTH_EDGES[0]} and {LENGTH_EDGES[1]}")18print(f"declined, left out: {len(dev) - len(lengths)} of {len(dev)} dev items")19unreadable = [item_id for item_id in lengths if verdicts[item_id] is None]20print(f"unreadable verdict, left out: {', '.join(unreadable) if unreadable else 'none'}")2122for band, outcomes in band_outcomes(lengths, verdicts):23 print(f"{band}: {pct(int(outcomes.sum()), outcomes.size)}")
python length-and-verdicts.pyband edges, in words: 15 and 30
declined, left out: 23 of 80 dev items
unreadable verdict, left out: q-0043
under 15 words: 94.1% (16 of 17)
15 to 29 words: 83.3% (15 of 18)
30 words or more: 85.7% (18 of 21)
The edges fall at 15 and 30 words. Declined replies are left out of the bands, which is 23 of 80 dev items. The judge's first line is read as its verdict. When that line is not a verdict, the verdict is unreadable, and the example prints such an item and leaves it out of the bands. It is never counted as FAIL. Here the unreadable verdict is on q-0043.
The bands are built from answered replies only, so their denominators are smaller than the set. The second-model comparison in the last section uses a different set of items, counting every dev item the judge read for both assistants and counting a correct decline as a pass under the answer rubric in Chapter 5. The two sets are not the same, and their rates should not be set side by side.
The rates do not climb with length. The middle band passed least often, and the longest band passed more often than the middle one, though less often than the shortest. A reader who fits one straight line through three bands would get a slope, and these bands do not support that line.
The shortest band passed 94.1% (16 of 17).
The middle band passed 83.3% (15 of 18).
The longest band passed 85.7% (18 of 21).
The comparison the book reports is the longest band minus the shortest. Its order is fixed by length, so it is set before anyone reads the rates. The highest-rate band minus the lowest-rate band would be chosen after the rates are seen, and it could never fall below zero. The gap is -8.4 points, interval [-28.6, +8.1] points.
The method is percentile bootstrap over items, each band resampled alone, 2000 resamples, 95% level. The two bands hold different items, so each is resampled on its own, and the bands' counts are the ones in their rates above. The band counts are small, so the interval is wide. The interval includes zero, so the result is no difference detected between the longest and the shortest band.
No difference detected does not mean that length is harmless. It says that bands of this size cannot separate a gap from zero. They cannot pick out a few points of bias, because one reply moves a band's rate by several points. The bootstrap over items that intervals and sample size describes is the same resampling. The two bands here are resampled on their own, an interval for two separate groups, which that chapter does not build.
A longer reply is also not always a padded one. A reply that covers more of the question may pass more often for that reason, and a rate that climbs with length would not, by itself, show padding. Telling the two apart needs replies in which length and content come apart, such as a complete answer and the same answer with filler added. The bands here cannot separate them, because the replies in each band differ in more than their length.
Working rule: Don't name a length effect, or its absence, from a few bands. Compare the longest band with the shortest, with the gap's interval and each band's count. When the interval includes zero, say "no difference detected" with those counts, and stop there. If length could matter to your product, build a test in which length changes and the content stays the same, and measure that.
자기 선호, 이 책이 검증할 수 없는 것
길이 절에서는 판정자가 답변의 분량에 보상을 주는지 물었다. 이 절에서는 판정자가 답변을 누가 썼는지에 따라 보상을 주는지 묻는다. 이 책은 이 물음에 답할 수 없으며, 책 자체의 구성이 그 이유를 보여 준다.
Panickssery 등(2024)은 프리프린트에서 자기 선호를, LLM 평가자가 자신이 쓴 요약을 다른 모델이 쓴 요약보다 높게 채점하는 경향으로 정의한다. 반면 사람 평가자는 두 요약 집합의 품질을 동등하게 평가한다. 저자들은 자신들의 인과 결과를 초기 증거라고 부르며, 상관관계만으로는 인과 주장이 증명되지 않는다고 말한다. 이 물음은 어떤 판정자에게든 던져 볼 만하며, 그 답은 해당 판정자를 대상으로 측정해야 한다.
검증에는 품질이 동등한 답변이 필요하다. 이때 품질은 사람 평가자가 매긴 기준으로 같아야 하고, 답변은 판정자 자신의 모델과 다른 모델이 각각 만들었거나 각각의 것으로 표기된 것이어야 한다. 그다음 같은 판정자가 같은 답변을 각 표기 아래에서 읽게 하면, 두 통과율은 작성자에 의해서만 달라질 것이다. 설계의 윤곽은 분명하지만, 이 책의 기록은 이를 수행하지 않는다.
이 책에는 두 작성자를 읽는 판정자가 하나 있다. 기준선 어시스턴트와 판정자는 같은 모델인 Qwen3-4B-Instruct-2507이다. 다른 답변 집합은 하나뿐이며, 더 작은 모델인 Qwen3-0.6B가 만든 것이고 같은 판정자가 이를 읽었다. 이 답변들에 대해 품질을 맞춘 사람 평가는 책에 없고, 품질을 재는 척도도 이 판정자뿐이므로, 작성자를 바꾸면서 품질을 고정하는 비교는 불가능하다.
같은 개발 항목에서 기준선의 통과율은 78.5% (62 of 79)였다. 두 번째 모델의 통과율은 40.5% (32 of 79)였다. 차이는 -38.0 points, interval [-48.1, -26.6] points, n = 79이다.
그대로 읽으면 두 번째 모델의 답변은 훨씬 덜 자주 통과한다. 낮은 품질도 이런 차이를 낳을 수 있고, 판정자가 자기 모델을 편애하는 것도 그럴 수 있다. 품질을 재는 유일한 척도가 이 판정자이므로 책의 데이터로는 둘을 구별할 수 없다. 따라서 이 차이는 이 판정자가 읽은 두 어시스턴트 사이의 차이일 뿐이다. 자기 선호가 있다는 결과도 아니고, 없다는 깨끗한 결과도 아니다.
판정자가 자기 모델에 공정하다고 서술하는 보고서는, 그 검증이 이 책의 기록으로는 수행되지 않았다는 점을 밝혀야 한다. 이 점에 침묵하면 깨끗한 결과로 읽히는데, 여기서는 그렇지 않다. 팀이 내세울 수 있는 주장은 더 좁다. 기록은 두 어시스턴트 사이의 차이를 보여 줄 뿐, 판정자가 자기 모델을 편애하는지에 대해서는 아무것도 보여 주지 않는다.
작업 규칙: 판정자와 어시스턴트가 같은 모델이면 그 사실을 통과율 옆에 함께 보고하고, 자기 선호를 검증한 것처럼 보고하지 않는다. 앞에서 말한 점검, 곧 품질을 맞춘 답변을 두 모델이 만들었거나 두 모델의 것으로 표기하고 같은 판정자가 읽게 하는 점검이 갖춰지지 않았다면, 판정자를 써서 자기 모델과 다른 모델을 비교하지 않는다. 그런 점검에 필요한 사람 평가는 6장에서 마련한다.
평결을 더 이상 신뢰하지 말아야 할 지점
한계는 독자가 적용할 수 있는 규칙일 때에만 쓸모가 있으며, 각 규칙에는 대조해 볼 수 있는 개수가 필요하다. 표만 확인하는 독자는 한계는 얻지만 그 이유는 얻지 못한다. 그 이유는 앞의 여러 절이 줄마다 설명한다. 한계 표는 이를 이름표가 붙은 줄로 묶어 출력한다. 묶음은 순서 변경 비율, 방법을 함께 적은 길이 격차, 읽을 수 없는 평결, 동일 모델 개수, 두 번째 모델과의 비교 순이다. 순서 변경 비율은 어느 한쪽 순서에서라도 읽을 수 없는 쌍을 제외하는 반면, 앞의 위치 예제는 분할에 속한 모든 쌍을 센다. 표는 위에서부터 읽어야 한다. 각 줄은 하나의 질문에 답하며, 어느 줄도 다른 줄의 질문에는 답하지 않기 때문이다.
1"""The judge's limits as one table, one labelled line per limit, each computed as in position-flips and length-and-verdicts.2The length line compares the longest band with the shortest, fixed in advance by length order: each band holds different3items, so each is resampled on its own. The unreadable count is over every answer-judge recording on every item."""4import lib # first: fixes the thread counts and seeds before anything else loads56from lib.bias import band_outcomes, paired_passes, read_verdicts, reply_lengths, same_model_count, unreadable_count7from lib.judging import both_orders, human_pairs8from lib.stats import RESAMPLES, bootstrap_difference, bootstrap_mean, interval_points, pct9from lib.testset import load_items1011JUDGE = "judge-answers-baseline"12ANSWER_JUDGES = tuple(f"judge-answers-{variant}" for variant in ("baseline", "k5", "prompt-b", "second-model", "unfiltered"))13items = [item.id for item in load_items()]14dev = [item.id for item in load_items(split="dev")]1516# Order-change rate: flipped pairs over the pairs read in both orders. A tie is a readable verdict; an unreadable pair is left out.17pairs = human_pairs()18read_both = [o for o in both_orders("judge-hs2-pairs-ab", "judge-hs2-pairs-ba", list(pairs)) if o.kind != "unreadable"]19print(f"order-change rate: {pct(sum(1 for o in read_both if o.kind == 'flipped'), len(read_both))}")2021# Length gap: the longest band's PASS rate minus the shortest band's, fixed by length order, on the dev items.22shortest, _, longest = band_outcomes(reply_lengths("assistant-baseline", dev), read_verdicts(JUDGE, dev))23lo, hi = bootstrap_difference(shortest[1], longest[1])24print(f"length gap, longest band minus shortest band: {100 * (longest[1].mean() - shortest[1].mean()):+.1f} points, "25 f"interval {interval_points(lo, hi)}")26print(f"length gap method: percentile bootstrap over items, each band resampled alone, {RESAMPLES} resamples, 95% level")27print(f"shortest band, {shortest[0]}: {pct(int(shortest[1].sum()), shortest[1].size)}")28print(f"longest band, {longest[0]}: {pct(int(longest[1].sum()), longest[1].size)}")2930unreadable, total = unreadable_count(ANSWER_JUDGES, items)31print(f"unreadable verdicts, five answer-judge recordings: {unreadable} of {total}")32print(f"items per answer-judge recording: {len(items)}")33worst = max((unreadable_count([name], items) for name in ANSWER_JUDGES), key=lambda found: found[0])34print(f"most unreadable in one recording: {worst[0]} of {worst[1]}")3536same, judged = same_model_count(ANSWER_JUDGES)37print("self-preference test on these recordings: not possible")38print(f"same-model recordings: {same} of {judged}")3940# Second model beside the baseline, on the dev items both judged: a None verdict in either leaves the item out.41both, base_pass, second_pass = paired_passes(JUDGE, "judge-answers-second-model", dev)42print(f"baseline PASS rate, same dev items: {pct(int(base_pass.sum()), len(both))}")43print(f"second-model PASS rate, same dev items: {pct(int(second_pass.sum()), len(both))}")44diff_lo, diff_hi = bootstrap_mean(second_pass - base_pass)45print(f"second-model minus baseline, same dev items: {100 * (second_pass - base_pass).mean():+.1f} points, "46 f"interval {interval_points(diff_lo, diff_hi)}, n = {len(both)}")
python verdict-limits.pyorder-change rate: 22.7% (34 of 150)
length gap, longest band minus shortest band: -8.4 points, interval [-28.6, +8.1] points
length gap method: percentile bootstrap over items, each band resampled alone, 2000 resamples, 95% level
shortest band, under 15 words: 94.1% (16 of 17)
longest band, 30 words or more: 85.7% (18 of 21)
unreadable verdicts, five answer-judge recordings: 2 of 600
items per answer-judge recording: 120
most unreadable in one recording: 1 of 120
self-preference test on these recordings: not possible
same-model recordings: 4 of 5
baseline PASS rate, same dev items: 78.5% (62 of 79)
second-model PASS rate, same dev items: 40.5% (32 of 79)
second-model minus baseline, same dev items: -38.0 points, interval [-48.1, -26.6] points, n = 79
각 비율은 그 비율 자신의 분모에 비추어 읽어야 한다. 줄들은 하나의 분모를 공유하지 않으며, 분모가 작은 비율은 항목 하나만 달라져도 크게 움직인다. 이 표는 판정자가 일반적으로 사람과 일치하는지에 대해서는 아무것도 말하지 않는다. 그것은 6장의 일이며, 판정자는 여기 있는 모든 줄을 통과하고도 중요한 쌍에서는 사람의 평가와 어긋날 수 있다. 이 한계들은 보정을 해 볼 가치가 있으려면 평결이 갖추어야 할 조건이지, 보정을 대신하는 것이 아니다.
아래의 규칙은 그 줄들을 따르며, 각 규칙은 그중 한 줄에 근거한다.
- 순서 변경. 순서에 따라 바뀌는 쌍별 평결은 결과로 읽지 않는다. 두 분할 전체에서 순서 변경을 세고, 평결 개수 옆에 순서 변경 비율을 함께 출력한다.
- 읽을 수 없는 평결. 이를 출력하되 비율에서는 제외하고, FAIL로 세지 않는다. 표는 다섯 개의 답변 판정 기록에서 읽을 수 없는 평결을 2 of 600개로 센다. 기준선, k5, prompt-b, 두 번째 모델, 필터 없음 변형이며, 각 기록은 120개 항목에서 읽었다. 한 기록에서 가장 많이 잃은 수는 1 of 120개였다. 이는 측정된 기준값이 아니라 경험칙이다. 한 기록의 평결 중 100개에 1개보다 많이 읽을 수 없다면, 그 기록에서 비율을 읽기 전에 프롬프트를 고친다.
- 길이. 몇 개의 구간만으로 길이 효과가 있다고 말하지 말고, 없다고도 말하지 않는다. 길이 줄은 가장 긴 구간과 가장 짧은 구간을 구간 추정치와 함께 비교한다. 그 구간이 0을 포함하면 개수와 함께 "차이가 검출되지 않았다"고만 쓰고 거기서 멈춘다.
- 동일 모델. 판정자와 어시스턴트가 같은 모델이면, 비율 옆에 그 사실을 함께 적어야 한다. 여기서는 판정된 기록 4 of 5개가 그런 경우이다. 이 책은 그 기록들에서 자기 선호를 검증할 수 없으므로, 자기 선호 절이 설명하듯 판정자를 써서 자기 모델을 다른 모델과 비교하지 않는다.
- 품질 일치. 두 어시스턴트의 통과율 사이의 격차는 어시스턴트 사이의 차이이지 판정자의 편향이 아니다. 두 번째 모델 줄이 그 예이며, 자기 선호 절이 어느 쪽 결과도 내놓지 않는 이유이기도 하다.
- 이전. 비율이 의존하는 보정은 다른 행에서 측정된 것이므로, 이전 가정이 허용하는 범위까지만 적용한다.
중단 조건에 해당하는 평결을 버리는 것은 아니다. 순서가 바뀐 쌍이나 읽을 수 없는 평결은 그 항목에 대해 평결이 없는 것이 된다. 읽을 수 없는 평결과 마찬가지로 출력하고 세며, 들어갔을 비율에서는 제외하고, 비율은 몇 개의 항목을 제외했는지 함께 보고한다. 동일 모델 기록은 중단 조건이 아니다. 비율 옆에 함께 보고한다.
실제 운영에서 한계는 엉뚱한 이유로 움직이는 비율로 나타난다. 어떤 팀이 어시스턴트의 프롬프트를 바꾸었고 통과율이 올랐다고 하자. 팀이 프롬프트의 공으로 돌리기 전에, 한계 표는 세 가지를 묻는다. 평결이 순서에 따라 바뀌었거나 읽히지 않은 것은 없는가? 응답이 길어졌는가, 그리고 길이 줄의 구간은 격차를 0과 구별해 주는가? 판정자는 그 응답을 쓴 모델인가? 앞의 두 질문 중 어느 하나라도 그렇다고 답하면, 그 상승은 보고하기 전에 별도의 검증이 필요하다. 세 번째에 그렇다고 답하면, 그 상승은 그 사실을 옆에 적어 보고한다.
작업 규칙: 평결이 순서에 따라 바뀌거나 읽을 수 없을 때에는 그 평결을 더 이상 신뢰하지 말고, 보고서에 그렇게 밝힌다. 판정자가 자신이 답을 채점하는 바로 그 모델이면 이를 비율 옆에 보고하고, 자기 선호 절이 설명하듯 판정자를 써서 자기 모델을 다른 모델과 비교하지 않는다. 통과율을 공표하기 전에는 6장에서처럼 판정자를 사람의 평가와 대조해 확인하고, 순서 변경 비율, 읽을 수 없는 평결의 수, 동일 모델 사실을 비율 옆에 출력한다. 통과율은 판정자가 사람과 일치하는 만큼만 답을 설명하므로, 비율은 언제나 그 보정과 함께 다녀야 한다.
이 판의 이 장
2026.11.3판예제 통과 2026년 11월 21이 장에서 3개 예제개 중 3개가 통과한다
영어판 2026.11.3판을 번역한 것이다.