검색 관련성 입문
AI로 번역함. 영어 원문을 사람이 검증함. 우리가 책을 만드는 방식
영어판 2026.11.10판을 번역한 것이다. 원문 읽기
검색 엔진이 결과를 찾고 순위를 매기는 방식과, 변경이 도움이 되는지 측정하는 방법을 다룬다. 실제 상품 카탈로그를 사용하여 어휘 기반, 의미 기반, 하이브리드 검색, 학습된 모델과 LLM을 이용한 재순위화, 사람과 LLM이 내린 판정을 설명한다.
대상 독자 Python, pandas, NumPy에 익숙하지만 검색은 처음 접하는 독자를 위한 책이다. 검색창을 개선하거나 LLM 애플리케이션의 검색 기능을 구축해야 하는 데이터 과학자나 엔지니어가 대상이다.
Kindle 또는 모든 전자책 리더기에서 읽는다
EPUB은 Apple Books, Kobo 및 대부분의 전자책 단말기에서도 사용할 수 있다.
Kindle로 보내기
이 판의 EPUB을 보냅니다 한국어.
-
우리 주소 승인하기
아마존은 승인된 주소에서 보낸 파일만 킨들로 전달한다. 파일을 이메일로 보내는 서비스마다 한 번씩 승인해야 한다. 우리 주소를 승인된 개인 문서 이메일 목록에 추가한다.
books@rollingedition.comAmazon 개인 문서 설정 열기. Amazon에서는 콘텐츠 및 기기 관리, 환경설정, 개인 문서 설정에 있다.
보냈다. 몇 분 안에 Kindle 서재에 나타난다.
도서가 도착하지 않으면 대부분 1단계의 승인 문제이다. books@rollingedition.com가 승인된 개인 문서 이메일 목록에 있는지 확인한다.
저장한 책의 새 판은 Kindle로도 전송된다.
Kindle 주소가 아니다. 주소는 @kindle.com으로 끝나며, Amazon의 개인 문서 설정에서 찾을 수 있다.
오늘 {count}권의 책을 보냈으며, 이는 한 계정이 하루에 받을 수 있는 최대치입니다. 내일 다시 시도하세요.
오늘 보낼 수 있는 도서는 모두 보냈다. 내일 다시 시도하라.
책을 보내지 못했다. 몇 분 후 다시 시도한다.
이 판은 용량이 커서 이메일로 보낼 수 없다.
Kindle로 보내기는 Labs와 함께 제공된다.
Kindle 주소가 아니다. 주소는 @kindle.com으로 끝나며, Amazon의 개인 문서 설정에서 찾을 수 있다.
책을 보내지 못했다. 몇 분 후 다시 시도한다.
또는 EPUB을 내려받아 Amazon의 Send to Kindle 페이지에 끌어다 놓는다.
Kindle is a trademark of Amazon.com, Inc.
목차
11장, 읽는 데 약 11시간, 132개 예제 포함.
-
1검색, 처음부터 끝까지
이 장을 마치면 상품 카탈로그를 대상으로, 쇼핑객의 질의에서 정렬된 상품 목록에 이르는 거칠지만 완결된 검색 파이프라인을 만들 수 있다. 또한 파이프라인에 가한 변경이 도움이 되는지를 숫자 하나로 측정할 수 있다. 이후의 각 장은 이 파이프라인의 한 부분을 맡아 그것을 견고하게 만든다.
-
2관련성이 의미하는 것
이 장을 마치면 관련성 판단 집합을 비판적으로 읽을 수 있다. 각 등급이 상품에 대해 무엇을 주장하는지 설명하고, 판단이 어디에서 나왔고 어디에 빈틈이 있는지 찾으며, 그 판단으로 계산한 점수를 얼마나 신뢰할지 결정할 수 있다.
-
3검색 측정하기
이 장을 마치면 표준 순위 지표를 처음부터 직접 계산하고, scikit-learn으로 그 결과를 검증하고, 순위 모델을 비교하기 전에 지표 하나를 고르고, 테스트 질의에서 두 순위 모델 사이의 차이가 확립된 것인지 우연일 수 있는지 판단할 수 있다.
-
4사람과 LLM의 판정
이 장을 마치면 판정 지침을 작성하고, 카파와 가중 카파로 두 판정자가 얼마나 일치하는지 측정하고, 혼동 행렬에서 LLM 판정자의 오류를 읽고, LLM의 판정이 사람의 판정을 대신할 수 있는 곳과 그럴 수 없는 곳을 가려낼 수 있다.
-
5어휘 검색
이 장을 마치면 어휘 검색을 처음부터 만들 수 있다. 상품 텍스트를 용어로 바꾸고, 용어를 색인하고, TF-IDF와 BM25로 상품에 점수를 매겨 bm25s 라이브러리의 점수와 하나하나 일치시킨다. 또한 텍스트 처리와 BM25 매개변수에서 어떤 변경을 유지할 가치가 있는지, 학습 질의로 선택하고 테스트 질의로 확인하여 판단할 수 있다.
-
6의미 기반 검색
이 장을 마치면 저장된 임베딩으로 카탈로그용 의미 기반 검색을 구축할 수 있다. 코사인 유사도로 벡터를 비교하고, numpy로 질의와 가장 가까운 제품을 정확하게 찾고, 카탈로그가 정확 검색의 한계를 넘어설 때 근사 색인으로 전환하며 그 색인이 놓치는 것을 측정하고, 임베딩이 오답을 내는 질의를 찾아낸다. 또한 자신의 판정 데이터로 시험하여 벡터 크기를 고르고, 같은 방식으로 모델을 비교할 수 있다.
-
7하이브리드 검색
이 장을 마치면 어휘 기반 순위와 의미 기반 순위를 하나로 결합할 수 있다. 정규화한 점수를 더하거나 역순위 결합(reciprocal rank fusion)을 쓰면 된다. 각 순위가 얼마나 반영될지는 학습 질의로 조정한다. 그리고 테스트 질의에서 대응 표본 검정을 수행하여, 결합한 순위가 두 입력 중 더 나은 쪽을 이기는지 판단할 수 있다.
-
8질의 이해
이 장을 마치면 검색에 앞서 쇼핑객의 질의를 바꿀 수 있다. 철자를 교정하고, 단위를 한 가지 방식으로 표기하고, 동의어로 확장하고, 상품 클래스를 예측하고, 대규모 언어 모델로 재작성하고, 그 모델이 상상한 상품으로 검색하고, 후속 질문을 독립된 질의로 바꾸는 방법을 다룬다. 또한 각 변경이 그 질의를 받는 검색기에 도움이 되는지를 사람의 판단으로 결정할 수 있다.
-
9Ranking
By the end of this chapter you can describe each product that retrieval returns with features, train a learning-to-rank model with LightGBM on your own judgments, rerank the top of the list with a cross-encoder or an LLM, measure an LLM reranker's positional bias, set the rerank depth by counting its costs, and distil a slow reranker into a fast one.
-
10LLM 애플리케이션을 위한 검색
이 장을 마치면 검색 결과를 바탕으로 답하는 LLM의 검색 성능을 측정할 수 있다. 답변이 인용한 제품으로 답변에 점수를 매기고, 각 인용을 검색이 반환한 결과와 대조하며, LLM이 읽는 제품을 측정하고, 하나의 검색 가능한 단위로 무엇을 색인할지 정하고, 에이전트의 도구 호출 기록에서 에이전트의 검색을 읽어 낸다.
-
11변경 사항 테스트하기
이 장을 마치면 검색에 가한 변경을 배포해야 하는지 판단할 수 있다. 두 랭커의 결과를 질의별로 비교하고, 테스트 질의가 변경을 실제보다 좋아 보이게 만들지 않도록 관리하고, A/B 테스트의 규모를 정하고, 결과를 인터리빙하여 두 랭커를 비교한다.