Cover of Evaluating LLM Applications, edition 2026.11.3, code 4V0Y-VKTV Evaluating LLM Applications 4V0Y-VKTV 3 editions since Nov 2026 Rolling Edition 2026.11.3

大语言模型应用的评估

版次 2026.11.3 示例于 2026年11月21日 通过 54个示例中有54个通过 变化内容

AI 翻译。由人工以英文核验。 我们如何制作图书

译自英文版图书,版次 2026.11.3。 阅读原文

了解一个大语言模型应用是否可用,以及某项改动是否让它变得更好:测试集、检查、值得信赖的评判器和站得住脚的统计方法,示例是一个面向小型命令行工具的文档助手。

适合谁 写给已经上线或即将上线基于模型的功能的工程师:助手、问答服务或信息抽取环节。读者会写 Python,了解提示词、嵌入向量和测试,但除均值之外不具备统计学基础。

开始阅读
版次历史自 2026年十一月 以来的 3个版次每个版次及其变更内容
2026.11.12026.11.3
2026.11.3 · 2026年11月21日文字修订,新内容27节已更改

目录

11章,阅读约需 8小时 52分钟,包含 54个示例。

  1. 1修改助手之前先做测量

    读完本章,你将能够用一组固定的问题来测量文档助手,连同区间一起解读结果,并判断二十个问题何时不足以区分两个提示词。

  2. 2阅读回复,找出该测量什么

    读完本章,你可以阅读一组助手的回复,把每条回复的问题归入某一种失败模式,并说明其中哪些失败是检查能够发现的。

  3. 3构建一个站得住脚的测试集,并解读公开基准

    读完本章,你将能够构建一个其分数确有意义的测试集,用代码检查它的模式(schema)与覆盖范围,并说明一个公开基准的分数能告诉你、又不能告诉你关于自己助手的哪些信息。

  4. 4为你发现的失败编写代码检查

    读完本章,你能够编写在每条回复上免费运行的格式检查和引用检查,说明每项检查能看到、看不到第 2 章中的哪些失败,并指出两种标准的重叠度得分在哪些情形下会把错误答案排在正确答案之前。

  5. 5编写评判者能够执行的评分细则

    读完本章,你可以编写一份评分细则,使评判模型以同样的方式评判每条回复;可以用代码读取评判结果,凡是无法读成结论的内容一律不计入;还可以判断成对比较或打分量表在何时值得付出相应的成本。

  6. 6对照人工评分度量评判器的错误,再校正通过率

    学完本章,你将能够度量评判器的判定与人工评分之间的差异,把这些差异拆分为漏判(该通过却判为不通过)与误通过(不该通过却判为通过),并据此校正观测到的通过率,同时在旁写明校正所依据的假设。

  7. 7找出评判器的判定在何处不再可靠

    读完本章,你能够检验评判器是否存在本书数据所能显示的两种偏差,即位置偏差和长度偏差。

  8. 8判断一次改动是否更好,以及需要多少个问题

    读完本章,你可以利用配对比较上的区间,判断助手两个版本之间的差异是否超出噪声。

  9. 9检查答案是否基于所引用的文档及所问的版本

    学完本章,你可以统计:答案的引用是否支持它所说的内容,答案中的每个论断是否都基于提供给助手的各节,答案是否适用于读者所问的版本,以及检索在此过程中是否找到了正确的那一节。

  10. 10文档没有说明时就拒答,并同时度量两类错误

    读完本章,你将能够统计助手无法依据文档作答的两种情形,在各自的分母上解读这两个比率,并判断一条更常拒答的规则在什么情况下值得付出相应的代价。

  11. 11把评估放进 CI,并在线上流量上比较各变体

    读完本章,你可以把评估做成一道门禁,仅当某项变更在可测量的意义上确实更差时才拦下它。

引用本节

格式

每种格式均引用英文原书,本译本以其为准。

每种格式都会注明该版次。其链接会打开当前版次,节标题处会说明该节文本最后一次修改的时间。访问日期和检索日期即为您打开此页的当天。