LLM 애플리케이션 평가
AI로 번역함. 영어 원문을 사람이 검증함. 우리가 책을 만드는 방식
영어판 2026.11.3판을 번역한 것이다. 원문 읽기
LLM 애플리케이션이 제대로 동작하는지, 그리고 변경이 실제로 성능을 개선했는지 판단하는 방법을 다룬다. 작은 커맨드라인 도구의 문서 어시스턴트를 예로 들어, 테스트 세트, 검사, 신뢰할 수 있는 판정기, 그리고 견고한 통계를 설명한다.
대상 독자 모델을 기반으로 한 기능(어시스턴트, 질의응답 서비스, 추출 단계)을 이미 출시했거나 곧 출시할 엔지니어를 위한 책이다. 독자는 Python을 쓰고 프롬프트, 임베딩, 테스트를 알지만, 평균 이상의 통계는 알지 못한다.
Kindle 또는 모든 전자책 리더기에서 읽는다
EPUB은 Apple Books, Kobo 및 대부분의 전자책 단말기에서도 사용할 수 있다.
Kindle로 보내기
이 판의 EPUB을 보냅니다 한국어.
-
우리 주소 승인하기
아마존은 승인된 주소에서 보낸 파일만 킨들로 전달한다. 파일을 이메일로 보내는 서비스마다 한 번씩 승인해야 한다. 우리 주소를 승인된 개인 문서 이메일 목록에 추가한다.
books@rollingedition.comAmazon 개인 문서 설정 열기. Amazon에서는 콘텐츠 및 기기 관리, 환경설정, 개인 문서 설정에 있다.
보냈다. 몇 분 안에 Kindle 서재에 나타난다.
도서가 도착하지 않으면 대부분 1단계의 승인 문제이다. books@rollingedition.com가 승인된 개인 문서 이메일 목록에 있는지 확인한다.
저장한 책의 새 판은 Kindle로도 전송된다.
Kindle 주소가 아니다. 주소는 @kindle.com으로 끝나며, Amazon의 개인 문서 설정에서 찾을 수 있다.
오늘 {count}권의 책을 보냈으며, 이는 한 계정이 하루에 받을 수 있는 최대치입니다. 내일 다시 시도하세요.
오늘 보낼 수 있는 도서는 모두 보냈다. 내일 다시 시도하라.
책을 보내지 못했다. 몇 분 후 다시 시도한다.
이 판은 용량이 커서 이메일로 보낼 수 없다.
Kindle로 보내기는 Labs와 함께 제공된다.
Kindle 주소가 아니다. 주소는 @kindle.com으로 끝나며, Amazon의 개인 문서 설정에서 찾을 수 있다.
책을 보내지 못했다. 몇 분 후 다시 시도한다.
또는 EPUB을 내려받아 Amazon의 Send to Kindle 페이지에 끌어다 놓는다.
Kindle is a trademark of Amazon.com, Inc.
목차
11장, 읽는 데 약 6시간 7분, 54개 예제 포함.
-
1어시스턴트를 바꾸기 전에 먼저 측정하라
이 장을 마치면 고정된 질문 집합으로 문서 안내 어시스턴트를 측정하고, 그 결과를 구간과 함께 읽으며, 질문 스무 개로는 두 프롬프트의 차이를 가려내기에 부족한 경우가 언제인지 말할 수 있다.
-
2답변을 읽고 무엇을 측정할지 찾는다
이 장을 마치면 어시스턴트가 내놓은 답변 묶음을 읽고, 각 답변의 문제를 실패 유형으로 분류하고, 그 실패 가운데 어떤 것을 검사가 잡아낼 수 있는지 말할 수 있다.
-
3신뢰할 수 있는 테스트 세트를 만들고 공개 벤치마크를 읽는 법
이 장을 마치면 점수가 의미를 갖는 테스트 세트를 만들고, 그 스키마와 커버리지를 코드로 점검하며, 공개 벤치마크 점수가 여러분의 어시스턴트에 대해 무엇을 알려 주고 무엇을 알려 주지 못하는지 설명할 수 있다. 또한 객관식 점수가 항상 같은 방식으로 답하는 습관과 구별되지 않을 수 있다는 점도 보게 된다.
-
4발견한 실패에 대한 검사를 코드로 작성하기
이 장을 마치면 모든 응답에 비용 없이 실행되는 형식 검사와 인용 검사를 작성할 수 있고, 각 검사가 2장의 실패 중 무엇을 볼 수 있고 무엇을 볼 수 없는지 말할 수 있으며, 널리 쓰이는 두 가지 중첩 점수가 틀린 답을 맞는 답보다 높게 순위를 매기는 경우를 보일 수 있다.
-
5판정자가 적용할 수 있는 루브릭 쓰기
이 장을 마치면 판정자 모델이 각 응답에 똑같이 적용할 수 있는 루브릭을 쓸 수 있고, 판정으로 읽을 수 없는 것은 하나도 세지 않는 코드로 그 판정을 읽을 수 있으며, 쌍대 비교나 척도가 그 비용만큼의 가치를 갖는 경우가 언제인지 말할 수 있다.
-
6심사자의 오류를 사람의 평가와 대조해 측정하고, 통과율을 보정한다
이 장을 마치면 심사자의 판정이 사람의 평가와 어떻게 다른지 측정하고, 그 차이를 놓침과 거짓 통과로 나누고, 관측된 통과율을 그 오류에 맞게 보정할 수 있다. 보정이 기대는 가정도 보정 결과 옆에 함께 적는다.
-
7판정자의 판정이 더는 믿을 만하지 않게 되는 지점 찾기
이 장을 마치면 이 책의 데이터로 확인할 수 있는 두 가지 편향, 곧 위치 편향과 길이 편향을 판정자에게 시험해 볼 수 있다. 각 시험이 무엇을 보여 주고 무엇을 열어 두는지 설명할 수 있으며, 판정자의 판정 하나를 더는 신뢰하지 않게 되는 조건도 글로 적을 수 있다.
-
8변경이 더 나은지 판단하고, 질문이 몇 개나 필요한지 가늠하기
이 장을 마치면 짝지은 비교에서 구간을 사용해, 어시스턴트의 두 버전 사이의 차이가 잡음 이상인지 말할 수 있다. 또한 주어진 크기의 차이를 검정이 보여 주려면 질문이 몇 개나 필요한지 계산할 수 있다.
-
9답변이 인용한 문서에, 그리고 요청한 버전에 근거하는지 확인하기
이 장을 마치면 답변의 인용이 그 답변의 내용을 뒷받침하는지, 답변의 모든 주장이 어시스턴트에게 주어진 절에 근거하는지, 답변이 독자가 물은 버전에 맞는지, 그리고 그 과정에서 검색이 올바른 절에 도달했는지를 셀 수 있다.
-
10문서에 답이 없으면 거절하고, 두 종류의 오류를 모두 측정한다
이 장을 마치면 어시스턴트가 문서를 근거로 답하지 못하는 두 가지 경우를 각각 셀 수 있고, 두 비율을 각자의 분모에 비추어 읽을 수 있으며, 더 자주 거절하는 규칙이 그 비용만큼의 값어치가 있는 때가 언제인지 말할 수 있다.
-
11평가를 CI에 넣고, 실제 트래픽에서 변형을 비교하기
이 장을 마치면 변경이 측정 가능하게 나빠졌을 때에만 그 변경을 막는 게이트에 평가를 넣을 수 있다. 또한 두 변형을 실제 트래픽에서 비교하면 무엇을 보여 줄 수 있고 무엇을 보여 줄 수 없는지도 설명할 수 있다.