Cover of Evaluating LLM Applications, edition 2026.11.3, code 4V0Y-VKTV Evaluating LLM Applications 4V0Y-VKTV 3 editions since Nov 2026 Rolling Edition 2026.11.3

LLM 애플리케이션 평가

2026.11.3판 예제 통과 2026년 11월 21 54개 예제 중 54개 통과 변경 사항

AI로 번역함. 영어 원문을 사람이 검증함. 우리가 책을 만드는 방식

영어판 2026.11.3판을 번역한 것이다. 원문 읽기

LLM 애플리케이션이 제대로 동작하는지, 그리고 변경이 실제로 성능을 개선했는지 판단하는 방법을 다룬다. 작은 커맨드라인 도구의 문서 어시스턴트를 예로 들어, 테스트 세트, 검사, 신뢰할 수 있는 판정기, 그리고 견고한 통계를 설명한다.

대상 독자 모델을 기반으로 한 기능(어시스턴트, 질의응답 서비스, 추출 단계)을 이미 출시했거나 곧 출시할 엔지니어를 위한 책이다. 독자는 Python을 쓰고 프롬프트, 임베딩, 테스트를 알지만, 평균 이상의 통계는 알지 못한다.

읽기 시작
판 이력2026년 11월 이후 3판모든 판과 각 판에서 바뀐 내용
2026.11.12026.11.3
2026.11.3 · 2026년 11월 21문장 수정,새 콘텐츠27절 변경됨

목차

11장, 읽는 데 약 6시간 7분, 54개 예제 포함.

  1. 1어시스턴트를 바꾸기 전에 먼저 측정하라

    이 장을 마치면 고정된 질문 집합으로 문서 안내 어시스턴트를 측정하고, 그 결과를 구간과 함께 읽으며, 질문 스무 개로는 두 프롬프트의 차이를 가려내기에 부족한 경우가 언제인지 말할 수 있다.

  2. 2답변을 읽고 무엇을 측정할지 찾는다

    이 장을 마치면 어시스턴트가 내놓은 답변 묶음을 읽고, 각 답변의 문제를 실패 유형으로 분류하고, 그 실패 가운데 어떤 것을 검사가 잡아낼 수 있는지 말할 수 있다.

  3. 3신뢰할 수 있는 테스트 세트를 만들고 공개 벤치마크를 읽는 법

    이 장을 마치면 점수가 의미를 갖는 테스트 세트를 만들고, 그 스키마와 커버리지를 코드로 점검하며, 공개 벤치마크 점수가 여러분의 어시스턴트에 대해 무엇을 알려 주고 무엇을 알려 주지 못하는지 설명할 수 있다. 또한 객관식 점수가 항상 같은 방식으로 답하는 습관과 구별되지 않을 수 있다는 점도 보게 된다.

  4. 4발견한 실패에 대한 검사를 코드로 작성하기

    이 장을 마치면 모든 응답에 비용 없이 실행되는 형식 검사와 인용 검사를 작성할 수 있고, 각 검사가 2장의 실패 중 무엇을 볼 수 있고 무엇을 볼 수 없는지 말할 수 있으며, 널리 쓰이는 두 가지 중첩 점수가 틀린 답을 맞는 답보다 높게 순위를 매기는 경우를 보일 수 있다.

  5. 5판정자가 적용할 수 있는 루브릭 쓰기

    이 장을 마치면 판정자 모델이 각 응답에 똑같이 적용할 수 있는 루브릭을 쓸 수 있고, 판정으로 읽을 수 없는 것은 하나도 세지 않는 코드로 그 판정을 읽을 수 있으며, 쌍대 비교나 척도가 그 비용만큼의 가치를 갖는 경우가 언제인지 말할 수 있다.

  6. 6심사자의 오류를 사람의 평가와 대조해 측정하고, 통과율을 보정한다

    이 장을 마치면 심사자의 판정이 사람의 평가와 어떻게 다른지 측정하고, 그 차이를 놓침과 거짓 통과로 나누고, 관측된 통과율을 그 오류에 맞게 보정할 수 있다. 보정이 기대는 가정도 보정 결과 옆에 함께 적는다.

  7. 7판정자의 판정이 더는 믿을 만하지 않게 되는 지점 찾기

    이 장을 마치면 이 책의 데이터로 확인할 수 있는 두 가지 편향, 곧 위치 편향과 길이 편향을 판정자에게 시험해 볼 수 있다. 각 시험이 무엇을 보여 주고 무엇을 열어 두는지 설명할 수 있으며, 판정자의 판정 하나를 더는 신뢰하지 않게 되는 조건도 글로 적을 수 있다.

  8. 8변경이 더 나은지 판단하고, 질문이 몇 개나 필요한지 가늠하기

    이 장을 마치면 짝지은 비교에서 구간을 사용해, 어시스턴트의 두 버전 사이의 차이가 잡음 이상인지 말할 수 있다. 또한 주어진 크기의 차이를 검정이 보여 주려면 질문이 몇 개나 필요한지 계산할 수 있다.

  9. 9답변이 인용한 문서에, 그리고 요청한 버전에 근거하는지 확인하기

    이 장을 마치면 답변의 인용이 그 답변의 내용을 뒷받침하는지, 답변의 모든 주장이 어시스턴트에게 주어진 절에 근거하는지, 답변이 독자가 물은 버전에 맞는지, 그리고 그 과정에서 검색이 올바른 절에 도달했는지를 셀 수 있다.

  10. 10문서에 답이 없으면 거절하고, 두 종류의 오류를 모두 측정한다

    이 장을 마치면 어시스턴트가 문서를 근거로 답하지 못하는 두 가지 경우를 각각 셀 수 있고, 두 비율을 각자의 분모에 비추어 읽을 수 있으며, 더 자주 거절하는 규칙이 그 비용만큼의 값어치가 있는 때가 언제인지 말할 수 있다.

  11. 11평가를 CI에 넣고, 실제 트래픽에서 변형을 비교하기

    이 장을 마치면 변경이 측정 가능하게 나빠졌을 때에만 그 변경을 막는 게이트에 평가를 넣을 수 있다. 또한 두 변형을 실제 트래픽에서 비교하면 무엇을 보여 줄 수 있고 무엇을 보여 줄 수 없는지도 설명할 수 있다.

이 절 인용

형식

각 형식은 이 번역이 따르는 영문 원서를 출처로 표기한다.

모든 형식은 이 판을 명시한다. 링크는 현재 판을 열며, 여기서 절의 제목은 본문이 마지막으로 바뀐 시점을 알려 준다. 접근 날짜와 검색 날짜는 이 자료를 여는 날짜다.