目录
11章,阅读约需 8小时 52分钟,包含 54个示例。
-
1修改助手之前先做测量
读完本章,你将能够用一组固定的问题来测量文档助手,连同区间一起解读结果,并判断二十个问题何时不足以区分两个提示词。
-
2阅读回复,找出该测量什么
读完本章,你可以阅读一组助手的回复,把每条回复的问题归入某一种失败模式,并说明其中哪些失败是检查能够发现的。
-
3构建一个站得住脚的测试集,并解读公开基准
读完本章,你将能够构建一个其分数确有意义的测试集,用代码检查它的模式(schema)与覆盖范围,并说明一个公开基准的分数能告诉你、又不能告诉你关于自己助手的哪些信息。
-
4为你发现的失败编写代码检查
读完本章,你能够编写在每条回复上免费运行的格式检查和引用检查,说明每项检查能看到、看不到第 2 章中的哪些失败,并指出两种标准的重叠度得分在哪些情形下会把错误答案排在正确答案之前。
-
5编写评判者能够执行的评分细则
读完本章,你可以编写一份评分细则,使评判模型以同样的方式评判每条回复;可以用代码读取评判结果,凡是无法读成结论的内容一律不计入;还可以判断成对比较或打分量表在何时值得付出相应的成本。
-
6对照人工评分度量评判器的错误,再校正通过率
学完本章,你将能够度量评判器的判定与人工评分之间的差异,把这些差异拆分为漏判(该通过却判为不通过)与误通过(不该通过却判为通过),并据此校正观测到的通过率,同时在旁写明校正所依据的假设。
-
7找出评判器的判定在何处不再可靠
读完本章,你能够检验评判器是否存在本书数据所能显示的两种偏差,即位置偏差和长度偏差。
-
8判断一次改动是否更好,以及需要多少个问题
读完本章,你可以利用配对比较上的区间,判断助手两个版本之间的差异是否超出噪声。
-
9检查答案是否基于所引用的文档及所问的版本
学完本章,你可以统计:答案的引用是否支持它所说的内容,答案中的每个论断是否都基于提供给助手的各节,答案是否适用于读者所问的版本,以及检索在此过程中是否找到了正确的那一节。
-
10文档没有说明时就拒答,并同时度量两类错误
读完本章,你将能够统计助手无法依据文档作答的两种情形,在各自的分母上解读这两个比率,并判断一条更常拒答的规则在什么情况下值得付出相应的代价。
-
11把评估放进 CI,并在线上流量上比较各变体
读完本章,你可以把评估做成一道门禁,仅当某项变更在可测量的意义上确实更差时才拦下它。