搜尋相關性入門
本書說明搜尋引擎如何找出結果並排序,以及如何衡量一項變更是否有幫助:詞彙檢索、語意檢索與混合檢索,以學習模型和 LLM 進行重新排序,以及來自人與 LLM 的相關性判斷,並以真實的商品目錄為例。
適合對象 本書寫給熟悉 Python、pandas 與 NumPy,但剛接觸搜尋的讀者:例如被要求改善搜尋框,或為 LLM 應用程式建置檢索功能的資料科學家或工程師。
在 Kindle 或任何電子閱讀器上閱讀
此 EPUB 亦可於 Apple Books、Kobo 及多數電子閱讀器上閱讀。
傳送至 Kindle
將本版次的 EPUB 寄送至 繁體中文.
-
核准我們的地址
Amazon 只會從您已核准的地址將內容寄送到 Kindle,且每個寄送服務都須個別核准。請將我們的地址加入您的「已核准的個人文件電子郵件清單」。
books@rollingedition.com開啟 Amazon 的個人文件設定. 在 Amazon 上,路徑為「管理您的內容和裝置」、「偏好設定」、「個人文件設定」。
已傳送。幾分鐘內將會出現在你的 Kindle 書庫中。
如果未能送達,幾乎都是第 1 步的核准設定出了問題:請確認 books@rollingedition.com 已列入你的「已核准的個人文件電子郵件清單」。
您已儲存之書籍的每個新版次,也會送達您的 Kindle。
這不是 Kindle 地址。地址應以 @kindle.com 結尾,可在 Amazon 的個人文件設定中找到。
你今天已寄送 {count} 本書,這是單一帳戶一天的寄送上限。請明天再試。
今日的書籍寄送已達上限。請明日再試。
本書未能寄出。請於數分鐘後再試。
本版次檔案過大,無法以電子郵件寄送。
傳送至 Kindle 功能隨 Labs 提供。
這不是 Kindle 地址。地址應以 @kindle.com 結尾,可在 Amazon 的個人文件設定中找到。
本書未能寄出。請於數分鐘後再試。
或下載 EPUB 檔,並將其拖曳至 Amazon 的 Send to Kindle 頁面。
Kindle is a trademark of Amazon.com, Inc.
目錄
11 章,閱讀時間約 15 小時 22 分鐘,附有132 個範例。
-
1搜尋的完整流程
讀完本章後,你可以為商品目錄建立一條粗略但完整的搜尋流程,從購物者的查詢一路到排序好的商品清單,並且能用一個數字衡量流程中的某項改動是否有幫助。
-
2相關性的意義
讀完本章後,你能以批判的眼光閱讀一組相關性判斷:說明每個等級對商品提出了什麼主張,找出這些判斷的來源與缺漏之處,並決定該在多大程度上信任由它們算出的分數。
-
3衡量搜尋
讀完本章後,你將能從頭計算標準的排序指標,並以 scikit-learn 驗證結果;能在比較排序器之前選定一項指標;也能判斷兩個排序器在你的測試查詢上的差距,是已經確立的差異,還是可能出於偶然。
-
4人員與 LLM 的判斷
讀完本章,你將能撰寫判斷準則,用 kappa 與加權 kappa 衡量兩位評判者的一致程度,從混淆矩陣解讀 LLM 評判者的錯誤,並判斷 LLM 的判斷在哪些情況下可以取代人員的判斷,在哪些情況下不行。
-
5詞彙檢索
讀完本章後,你能從零開始建構詞彙搜尋:將商品文字轉成詞項、為詞項建立索引,並以 TF-IDF 與 BM25 為商品評分,且分數與 bm25s 函式庫逐筆一致。
-
6語意檢索
讀完本章,你可以根據儲存好的嵌入向量,為商品目錄建立語意檢索:以餘弦相似度比較向量,用 NumPy 精確找出查詢最近的商品,在商品目錄大到無法使用精確搜尋時改用近似索引,並衡量該索引遺漏了什麼,還能找出嵌入表現不佳的查詢。
-
7混合檢索
讀完本章後,你可以把詞彙式排名與語意排名合併為一個排名,做法可以是加總正規化後的分數,也可以使用倒數排名融合(reciprocal rank fusion);你也能在訓練查詢上調整每個排名的權重,並在測試查詢上以成對檢定判斷這個組合是否勝過兩個輸入中較好的那一個。
-
8理解查詢
讀完本章後,你可以在檢索之前修改購物者的查詢:修正拼字、統一單位的寫法、以同義詞擴充查詢、預測商品類別、以大型語言模型改寫查詢、以該模型想像出的商品進行搜尋,以及把後續追問轉成獨立的查詢。
-
9Ranking
By the end of this chapter you can describe each product that retrieval returns with features, train a learning-to-rank model with LightGBM on your own judgments, rerank the top of the list with a cross-encoder or an LLM, measure an LLM reranker's positional bias, set the rerank depth by counting its costs, and distil a slow reranker into a fast one.
-
10LLM 應用的檢索
讀完本章,你將能夠衡量 LLM 回答時所依據的檢索:以答案引用的產品來為答案評分,將每筆引用與檢索實際回傳的結果核對,衡量 LLM 讀到的產品,選擇要以什麼作為單一可檢索單元來建立索引,並從工具呼叫的紀錄中解讀代理(agent)的搜尋。
-
11測試變更
讀完本章後,你能夠判斷一項搜尋變更是否應該上線:逐一查詢比對兩個排序器的結果、避免測試查詢讓變更看起來比實際更好、估算 A/B 測試所需的規模,以及透過交錯(interleaving)排序結果來比較兩個排序器。