Cover of A Primer on Search Relevance, edition 2026.11.10, code ANXY-CR00 A Primer on Search Relevance ANXY-CR00 18 editions since Oct 2026 Rolling Edition 2026.11.10

搜尋相關性入門

版次 2026.11.10 範例於 2026年11 月 19 通過測試 132 個範例中有 132 個通過 變更內容

由 AI 翻譯。經人工以英文驗證。 我們如何製作書籍

譯自英文書,版次 2026.11.10。 閱讀原文

本書說明搜尋引擎如何找出結果並排序,以及如何衡量一項變更是否有幫助:詞彙檢索、語意檢索與混合檢索,以學習模型和 LLM 進行重新排序,以及來自人與 LLM 的相關性判斷,並以真實的商品目錄為例。

適合對象 本書寫給熟悉 Python、pandas 與 NumPy,但剛接觸搜尋的讀者:例如被要求改善搜尋框,或為 LLM 應用程式建置檢索功能的資料科學家或工程師。

開始閱讀
版次歷史自 2026年十月 以來的 18 個版次每個版次及其變動內容
2026.10.12026.11.10
2026.11.10 · 2026年11 月 19散文修訂56 節 已變更

目錄

11 章,閱讀時間約 15 小時 22 分鐘,附有132 個範例。

  1. 1搜尋的完整流程

    讀完本章後,你可以為商品目錄建立一條粗略但完整的搜尋流程,從購物者的查詢一路到排序好的商品清單,並且能用一個數字衡量流程中的某項改動是否有幫助。

  2. 2相關性的意義

    讀完本章後,你能以批判的眼光閱讀一組相關性判斷:說明每個等級對商品提出了什麼主張,找出這些判斷的來源與缺漏之處,並決定該在多大程度上信任由它們算出的分數。

  3. 3衡量搜尋

    讀完本章後,你將能從頭計算標準的排序指標,並以 scikit-learn 驗證結果;能在比較排序器之前選定一項指標;也能判斷兩個排序器在你的測試查詢上的差距,是已經確立的差異,還是可能出於偶然。

  4. 4人員與 LLM 的判斷

    讀完本章,你將能撰寫判斷準則,用 kappa 與加權 kappa 衡量兩位評判者的一致程度,從混淆矩陣解讀 LLM 評判者的錯誤,並判斷 LLM 的判斷在哪些情況下可以取代人員的判斷,在哪些情況下不行。

  5. 5詞彙檢索

    讀完本章後,你能從零開始建構詞彙搜尋:將商品文字轉成詞項、為詞項建立索引,並以 TF-IDF 與 BM25 為商品評分,且分數與 bm25s 函式庫逐筆一致。

  6. 6語意檢索

    讀完本章,你可以根據儲存好的嵌入向量,為商品目錄建立語意檢索:以餘弦相似度比較向量,用 NumPy 精確找出查詢最近的商品,在商品目錄大到無法使用精確搜尋時改用近似索引,並衡量該索引遺漏了什麼,還能找出嵌入表現不佳的查詢。

  7. 7混合檢索

    讀完本章後,你可以把詞彙式排名與語意排名合併為一個排名,做法可以是加總正規化後的分數,也可以使用倒數排名融合(reciprocal rank fusion);你也能在訓練查詢上調整每個排名的權重,並在測試查詢上以成對檢定判斷這個組合是否勝過兩個輸入中較好的那一個。

  8. 8理解查詢

    讀完本章後,你可以在檢索之前修改購物者的查詢:修正拼字、統一單位的寫法、以同義詞擴充查詢、預測商品類別、以大型語言模型改寫查詢、以該模型想像出的商品進行搜尋,以及把後續追問轉成獨立的查詢。

  9. 9Ranking

    By the end of this chapter you can describe each product that retrieval returns with features, train a learning-to-rank model with LightGBM on your own judgments, rerank the top of the list with a cross-encoder or an LLM, measure an LLM reranker's positional bias, set the rerank depth by counting its costs, and distil a slow reranker into a fast one.

  10. 10LLM 應用的檢索

    讀完本章,你將能夠衡量 LLM 回答時所依據的檢索:以答案引用的產品來為答案評分,將每筆引用與檢索實際回傳的結果核對,衡量 LLM 讀到的產品,選擇要以什麼作為單一可檢索單元來建立索引,並從工具呼叫的紀錄中解讀代理(agent)的搜尋。

  11. 11測試變更

    讀完本章後,你能夠判斷一項搜尋變更是否應該上線:逐一查詢比對兩個排序器的結果、避免測試查詢讓變更看起來比實際更好、估算 A/B 測試所需的規模,以及透過交錯(interleaving)排序結果來比較兩個排序器。

引用本節

格式

各種格式皆引用英文原書,本譯本即依循該原書。

每種格式都會標示本版。其連結會開啟目前版次,節標題會說明該節內文最後一次變動的時間。存取日期與擷取日期即為你開啟此頁的當日。