検索関連性の入門
検索エンジンが結果をどのように見つけ、順位付けするのか、そして変更が改善につながるかをどのように測定するのかを扱う。実際の商品カタログを題材に、語彙的検索・意味的検索・ハイブリッド検索、学習済みモデルや LLM による再ランキング、人間と LLM による判定を取り上げる。
対象読者 Python、pandas、NumPy に使い慣れており、検索は初めてという読者を対象とする。たとえば、検索ボックスの改善や、LLM アプリケーション向けのリトリーバル(検索)の構築を任された、データサイエンティストやエンジニアである。
Kindleまたは任意の電子書籍リーダーで読む
EPUB は Apple Books、Kobo、そのほとんどの電子書籍リーダーでも利用できる。
Kindleに送る
この版のEPUBを送信します。 日本語.
-
当社のアドレスを承認する
Amazonは、承認済みのアドレスからのものに限ってKindleへ配信する。配信するサービスごとに一度ずつ承認が必要である。当社のアドレスを、承認済みのパーソナルドキュメント用メールアドレスの一覧に追加する。
books@rollingedition.comAmazonのパーソナルドキュメント設定を開く. Amazonでは、「コンテンツと端末の管理」、「環境設定」、「パーソナルドキュメント設定」の順に進む。
送信しました。数分後に Kindle のライブラリに表示されます。
届かない場合、ほとんどは手順1の承認が原因である。books@rollingedition.comが承認済みのパーソナルドキュメント用メールアドレスの一覧に入っているかを確認する。
保存した書籍の新しい版も、同じくKindleに届く。
Kindle のアドレスではない。アドレスは @kindle.com で終わる。Amazon の「パーソナル ドキュメント設定」で確認できる。
本日すでに {count} 冊を送信しており、これは1アカウントが1日に送信できる上限である。明日再度試すこと。
本日送信できる冊数の上限に達した。明日再度試すこと。
書籍を送信できなかった。数分後に再度試すこと。
この版は大きすぎて電子メールで送信できない。
Kindleへの送信はLabsに含まれる。
Kindle のアドレスではない。アドレスは @kindle.com で終わる。Amazon の「パーソナル ドキュメント設定」で確認できる。
書籍を送信できなかった。数分後に再度試すこと。
または、EPUBをダウンロードし、AmazonのSend to Kindleページにドロップする。
Kindle is a trademark of Amazon.com, Inc.
目次
11 章、読了までおよそ13 時間 2 分、132 例を収録。
-
1検索をエンドツーエンドで
この章を終えるまでに、商品カタログを対象とした、粗削りだが完結した検索パイプラインを構築できるようになる。
-
2関連性とは何か
この章を読み終えると、関連性判定の集合を批判的に読めるようになる。
-
3検索の測定
この章を読み終えるころには、標準的なランキング指標をゼロから計算し、scikit-learn の結果と照らし合わせて検証し、ランカーを比較する前にどの指標を使うかを選び、テストクエリ上の二つのランカーの差が確かなものか、それとも偶然で生じうるものかを判断できるようになる。
-
4人間とLLMによる判定
この章を終えるまでに、判定ガイドラインを書き、カッパと重み付きカッパで2人の判定者の一致度を測り、混同行列からLLM判定者の誤りを読み取り、LLMの判定が人間の判定の代わりになる場面とならない場面を見極められるようになる。
-
5語彙的検索
この章を終えると、語彙的検索をゼロから構築できるようになる。
-
6セマンティック検索
この章を終えると、保存済みの埋め込みから、カタログ向けのセマンティック検索を構築できるようになる。
-
7ハイブリッド検索
この章を終えると、字句的な順位付けと意味的な順位付けを、正規化したスコアの加算または逆順位融合(reciprocal rank fusion)によって一つの順位にまとめられるようになる。
-
8クエリの理解
この章を読み終えると、検索の前に買い物客のクエリを変更できるようになる。
-
9Ranking
By the end of this chapter you can describe each product that retrieval returns with features, train a learning-to-rank model with LightGBM on your own judgments, rerank the top of the list with a cross-encoder or an LLM, measure an LLM reranker's positional bias, set the rerank depth by counting its costs, and distil a slow reranker into a fast one.
-
10LLMアプリケーションのための検索
この章を終えるまでに、検索の結果をもとに回答するLLMについて、その土台となる検索を測定できるようになる。
-
11変更のテスト
この章を読み終えると、検索への変更を本番に出すべきかどうかを判断できるようになる。