小型开放模型
本书讲解如何用你自己为单一任务运行的模型来替换托管模型,以及何时这样做是错误的选择。内容包括:度量任务、选择基础模型、提示、LoRA 微调、蒸馏、量化、CPU 部署、版本管理与向人工的交接,所用数据为 BANKING77 中银行客服的消息。
适合谁 本书写给这样的工程师和数据科学家:你们已经在为某项范围狭窄、反复出现的任务(例如对客服消息进行分流)调用托管模型的 API,并想知道自己运行的模型能否胜任。阅读本书需要掌握 Python,并有一定的 LLM API 使用经验,但不需要了解 Transformer 的内部结构。
在 Kindle 或任意电子阅读器上阅读
EPUB 格式也适用于 Apple Books、Kobo 及大多数电子阅读器。
发送到 Kindle
将本版次的 EPUB 发送至 简体中文.
-
批准我们的地址
亚马逊仅向您已批准的地址所发送的内容投递至 Kindle,且每项邮件服务须单独批准。请将我们的地址添加到您的已批准个人文档电子邮件列表中。
books@rollingedition.com打开亚马逊的个人文档设置. 在亚马逊上,该选项位于“管理您的内容和设备”、“偏好设置”、“个人文档设置”下。
已发送。几分钟后将出现在您的 Kindle 书库中。
如果未能送达,几乎总是第 1 步的批准设置有问题:请检查 books@rollingedition.com 是否已列入您的已批准个人文档电子邮件列表。
您已保存图书的每个新版次也将发送到您的 Kindle。
这不是 Kindle 地址。地址应以 @kindle.com 结尾,可在亚马逊的“个人文档设置”中找到。
你今天已发送{count}本图书,这是单个账户一天可发送的最大数量。请明天再试。
今日可发送的书籍已达上限。请明天再试。
图书未能发送,请几分钟后重试。
本版次体积过大,无法通过电子邮件发送。
发送到 Kindle 功能随 Labs 提供。
这不是 Kindle 地址。地址应以 @kindle.com 结尾,可在亚马逊的“个人文档设置”中找到。
图书未能发送,请几分钟后重试。
或者下载 EPUB 文件,并将其拖放到亚马逊的“发送至 Kindle”页面。
Kindle is a trademark of Amazon.com, Inc.
目录
10章,阅读约需 7小时 41分钟,包含 36个示例。
-
1Build a router for the bank's inbox that hands off when unsure
By the end of this chapter, you can build a router that returns a team, a confidence and a hand-off flag for one message, score it on a fixed sample by three measures, and see why an untrained small model, prompted as it stands, can't be the router's first version.
-
2选定模型之前,先衡量路由任务
读完本章,你将能够说明本书各个样本的用途,计算路由器据以评分的三项指标并写出各自的分母,并读懂一份只记录一次、在每次比较中重复使用的基线。
-
3通过计算一条消息的成本来选择基础模型
读完本章,你能说出本书保留的两个基础模型,按固定的修订版本加载其中每一个,并在选定模型之前,以词元数和参数量计算出路由一条消息的成本。
-
4Prompt a small model and constrain its answers to the teams
By the end of this chapter, you can write a router prompt for a small open model, constrain its answer so that it can only be a team name, and measure how many of those answers are right.
-
5用 LoRA 微调分类头
学完本章,你将能够用 LoRA 在带标签的消息上训练一个分类头,统计训练所改变的参数数量,按明确规定的规则在开发集上选定移交阈值,并把该阈值与它所产生的结果记录在一起。
-
6将较大模型的答案蒸馏到小模型中
学完本章,你可以在较大教师模型为训练数据行给出的标签上训练一个小的学生模型,度量这些标签与黄金标签的一致程度,并根据同样的消息判断:与在黄金标签上训练的学生模型相比,这个学生模型是否值得使用。
-
7量化路由器并测量发生了什么变化
读完本章,你将能够一次调用就把微调后路由器的主干权重存为 8 位整数,统计固定样本上预测发生变化的数量,并说明这个数量能说明什么、不能说明什么。
-
8在 CPU 上部署路由器,把转人工的判断放进路由内部
读完本章,你可以把路由器部署为一个
POST /route端点,对每条消息返回团队、置信度和转人工标志。 -
9为路由器标注版本、监测其转交情况,并以人工兜底
读完本章,你将能够:按生成答案的各个部分为路由器命名,在路由加载这些部分之前对其进行检查,依据既定基线统计每个消息窗口的转交率,并说明每条被转交的消息流向何处。
-
10小模型并不总是正确的选择
读完本章,你应当能够说明小型路由器在哪些情况下仍然不敌替身模型,在哪些情况下托管模型预计会表现更好;能够依据你给出并注明日期的输入,计算各个方案的月成本;能够找出自备机器成为更便宜方案时的业务量;还能够指出在任何成本之前就决定这一问题的各项要求。