Cover of A Primer on Search Relevance, edition 2026.11.10, code ANXY-CR00 A Primer on Search Relevance ANXY-CR00 18 editions since Oct 2026 Rolling Edition 2026.11.10

搜索相关性入门

版次 2026.11.10 示例于 2026年11月19日 通过 132个示例中有132个通过 变化内容

AI 翻译。由人工以英文核验。 我们如何制作图书

译自英文版图书,版次 2026.11.10。 阅读原文

搜索引擎如何查找并排序结果,以及如何衡量一项改动是否有效:基于真实的商品目录,介绍词法检索、语义检索与混合检索,使用学习模型和 LLM 进行重排序,以及来自人和 LLM 的判断。

适合谁 本书写给熟悉 Python、pandas 和 NumPy,但刚接触搜索的读者:例如受命改进搜索框,或为 LLM 应用构建检索功能的数据科学家或工程师。

开始阅读
版次历史自 2026年十月 以来的 18个版次每个版次及其变更内容
2026.10.12026.11.10
2026.11.10 · 2026年11月19日文字修订56节已更改

目录

11章,阅读约需 15小时 12分钟,包含 132个示例。

  1. 1端到端的搜索

    读完本章,你可以为商品目录搭建一条粗糙但完整的搜索流水线,从购物者的查询一直到排好序的商品列表,并且可以用一个数字衡量对这条流水线所做的改动是否有帮助。

  2. 2相关性的含义

    读完本章,你应当能够批判性地阅读一组相关性判断:说明每个等级对商品作出了怎样的断言,找出这些判断的来源及其缺漏之处,并决定应在多大程度上信任由它们算出的分数。

  3. 3衡量搜索

    读完本章,你将能够从零开始计算标准的排序指标,并用 scikit-learn 加以核对;在比较排序器之前选定一个指标;并判断两个排序器在你的测试查询上的差距是已经确立,还是可能出于偶然。

  4. 4人工与 LLM 的相关性判断

    学完本章,你将能够撰写评判指南,用 kappa 和加权 kappa 衡量两位评判者的一致程度,从混淆矩阵中读出 LLM 评判者的错误,并判断 LLM 的判断在哪些场合可以替代人工判断,在哪些场合不能。

  5. 5词法检索

    读完本章,你可以从零构建词法搜索:把商品文本切分为词项,为词项建立索引,用 TF-IDF 和 BM25 为商品打分,并且与 bm25s 库的分数逐一吻合。

  6. 6语义检索

    读完本章,你将能够基于已存储的嵌入向量为商品目录构建语义检索:用余弦相似度比较向量,用 numpy 精确找出与查询最接近的商品;当目录规模超出精确搜索的承受范围时,改用近似索引,并度量该索引遗漏了什么;还能找出嵌入向量出错的那些查询。

  7. 7混合检索

    读完本章,你将能够把词法排序和语义排序合并为一个排序,方法是累加归一化后的分数,或使用倒数排名融合(reciprocal rank fusion);能够在训练查询上调节两种排序各自所占的权重;还能够在测试查询上通过配对检验,判断这种组合是否优于其两个输入中较好的一个。

  8. 8理解查询

    读完本章,你可以在检索之前改写购物者的查询:纠正拼写,统一单位的写法,用同义词扩展查询,预测其商品类别,用大语言模型改写查询,用该模型设想出的商品进行搜索,并把追问转成独立的查询。

  9. 9Ranking

    By the end of this chapter you can describe each product that retrieval returns with features, train a learning-to-rank model with LightGBM on your own judgments, rerank the top of the list with a cross-encoder or an LLM, measure an LLM reranker's positional bias, set the rerank depth by counting its costs, and distil a slow reranker into a fast one.

  10. 10面向 LLM 应用的检索

    学完本章,你将能够衡量 LLM 作答时所依赖的检索:按答案引用的商品为答案打分,将每条引用与检索返回的结果核对,衡量 LLM 读到的商品,选择把什么作为一个可检索单元建立索引,并从工具调用记录中读出智能体的搜索。

  11. 11测试变更

    读完本章,你将能够判断一项搜索变更是否应当上线:逐条查询对比两个排序器的结果,避免测试查询让变更显得比实际更好,估算 A/B 测试的规模,并通过交错展示两个排序器的结果来比较它们。

引用本节

格式

每种格式均引用英文原书,本译本以其为准。

每种格式都会注明该版次。其链接会打开当前版次,节标题处会说明该节文本最后一次修改的时间。访问日期和检索日期即为您打开此页的当天。