Cover of A Primer on Search Relevance, edition 2026.11.10, code ANXY-CR00 A Primer on Search Relevance ANXY-CR00 18 editions since Oct 2026 Rolling Edition 2026.11.10

검색 관련성 입문

2026.11.10판 예제 통과 2026년 11월 19 132개 예제 중 132개 통과 변경 사항

AI로 번역함. 영어 원문을 사람이 검증함. 우리가 책을 만드는 방식

영어판 2026.11.10판을 번역한 것이다. 원문 읽기

검색 엔진이 결과를 찾고 순위를 매기는 방식과, 변경이 도움이 되는지 측정하는 방법을 다룬다. 실제 상품 카탈로그를 사용하여 어휘 기반, 의미 기반, 하이브리드 검색, 학습된 모델과 LLM을 이용한 재순위화, 사람과 LLM이 내린 판정을 설명한다.

대상 독자 Python, pandas, NumPy에 익숙하지만 검색은 처음 접하는 독자를 위한 책이다. 검색창을 개선하거나 LLM 애플리케이션의 검색 기능을 구축해야 하는 데이터 과학자나 엔지니어가 대상이다.

읽기 시작
판 이력2026년 10월 이후 18판모든 판과 각 판에서 바뀐 내용
2026.10.12026.11.10
2026.11.10 · 2026년 11월 19문장 수정56절 변경됨

목차

11장, 읽는 데 약 11시간, 132개 예제 포함.

  1. 1검색, 처음부터 끝까지

    이 장을 마치면 상품 카탈로그를 대상으로, 쇼핑객의 질의에서 정렬된 상품 목록에 이르는 거칠지만 완결된 검색 파이프라인을 만들 수 있다. 또한 파이프라인에 가한 변경이 도움이 되는지를 숫자 하나로 측정할 수 있다. 이후의 각 장은 이 파이프라인의 한 부분을 맡아 그것을 견고하게 만든다.

  2. 2관련성이 의미하는 것

    이 장을 마치면 관련성 판단 집합을 비판적으로 읽을 수 있다. 각 등급이 상품에 대해 무엇을 주장하는지 설명하고, 판단이 어디에서 나왔고 어디에 빈틈이 있는지 찾으며, 그 판단으로 계산한 점수를 얼마나 신뢰할지 결정할 수 있다.

  3. 3검색 측정하기

    이 장을 마치면 표준 순위 지표를 처음부터 직접 계산하고, scikit-learn으로 그 결과를 검증하고, 순위 모델을 비교하기 전에 지표 하나를 고르고, 테스트 질의에서 두 순위 모델 사이의 차이가 확립된 것인지 우연일 수 있는지 판단할 수 있다.

  4. 4사람과 LLM의 판정

    이 장을 마치면 판정 지침을 작성하고, 카파와 가중 카파로 두 판정자가 얼마나 일치하는지 측정하고, 혼동 행렬에서 LLM 판정자의 오류를 읽고, LLM의 판정이 사람의 판정을 대신할 수 있는 곳과 그럴 수 없는 곳을 가려낼 수 있다.

  5. 5어휘 검색

    이 장을 마치면 어휘 검색을 처음부터 만들 수 있다. 상품 텍스트를 용어로 바꾸고, 용어를 색인하고, TF-IDF와 BM25로 상품에 점수를 매겨 bm25s 라이브러리의 점수와 하나하나 일치시킨다. 또한 텍스트 처리와 BM25 매개변수에서 어떤 변경을 유지할 가치가 있는지, 학습 질의로 선택하고 테스트 질의로 확인하여 판단할 수 있다.

  6. 6의미 기반 검색

    이 장을 마치면 저장된 임베딩으로 카탈로그용 의미 기반 검색을 구축할 수 있다. 코사인 유사도로 벡터를 비교하고, numpy로 질의와 가장 가까운 제품을 정확하게 찾고, 카탈로그가 정확 검색의 한계를 넘어설 때 근사 색인으로 전환하며 그 색인이 놓치는 것을 측정하고, 임베딩이 오답을 내는 질의를 찾아낸다. 또한 자신의 판정 데이터로 시험하여 벡터 크기를 고르고, 같은 방식으로 모델을 비교할 수 있다.

  7. 7하이브리드 검색

    이 장을 마치면 어휘 기반 순위와 의미 기반 순위를 하나로 결합할 수 있다. 정규화한 점수를 더하거나 역순위 결합(reciprocal rank fusion)을 쓰면 된다. 각 순위가 얼마나 반영될지는 학습 질의로 조정한다. 그리고 테스트 질의에서 대응 표본 검정을 수행하여, 결합한 순위가 두 입력 중 더 나은 쪽을 이기는지 판단할 수 있다.

  8. 8질의 이해

    이 장을 마치면 검색에 앞서 쇼핑객의 질의를 바꿀 수 있다. 철자를 교정하고, 단위를 한 가지 방식으로 표기하고, 동의어로 확장하고, 상품 클래스를 예측하고, 대규모 언어 모델로 재작성하고, 그 모델이 상상한 상품으로 검색하고, 후속 질문을 독립된 질의로 바꾸는 방법을 다룬다. 또한 각 변경이 그 질의를 받는 검색기에 도움이 되는지를 사람의 판단으로 결정할 수 있다.

  9. 9Ranking

    By the end of this chapter you can describe each product that retrieval returns with features, train a learning-to-rank model with LightGBM on your own judgments, rerank the top of the list with a cross-encoder or an LLM, measure an LLM reranker's positional bias, set the rerank depth by counting its costs, and distil a slow reranker into a fast one.

  10. 10LLM 애플리케이션을 위한 검색

    이 장을 마치면 검색 결과를 바탕으로 답하는 LLM의 검색 성능을 측정할 수 있다. 답변이 인용한 제품으로 답변에 점수를 매기고, 각 인용을 검색이 반환한 결과와 대조하며, LLM이 읽는 제품을 측정하고, 하나의 검색 가능한 단위로 무엇을 색인할지 정하고, 에이전트의 도구 호출 기록에서 에이전트의 검색을 읽어 낸다.

  11. 11변경 사항 테스트하기

    이 장을 마치면 검색에 가한 변경을 배포해야 하는지 판단할 수 있다. 두 랭커의 결과를 질의별로 비교하고, 테스트 질의가 변경을 실제보다 좋아 보이게 만들지 않도록 관리하고, A/B 테스트의 규모를 정하고, 결과를 인터리빙하여 두 랭커를 비교한다.

이 절 인용

형식

각 형식은 이 번역이 따르는 영문 원서를 출처로 표기한다.

모든 형식은 이 판을 명시한다. 링크는 현재 판을 열며, 여기서 절의 제목은 본문이 마지막으로 바뀐 시점을 알려 준다. 접근 날짜와 검색 날짜는 이 자료를 여는 날짜다.