Cover of Small Open Models, edition 2026.11.9, code ND0S-78AT Small Open Models ND0S-78AT 9 editions since Nov 2026 Rolling Edition 2026.11.9

小型开放模型

版次 2026.11.9 示例于 2026年11月20日 通过 36个示例中有36个通过 变化内容

AI 翻译。由人工以英文核验。 我们如何制作图书

译自英文版图书,版次 2026.11.9。 阅读原文

本书讲解如何用你自己为单一任务运行的模型来替换托管模型,以及何时这样做是错误的选择。内容包括:度量任务、选择基础模型、提示、LoRA 微调、蒸馏、量化、CPU 部署、版本管理与向人工的交接,所用数据为 BANKING77 中银行客服的消息。

适合谁 本书写给这样的工程师和数据科学家:你们已经在为某项范围狭窄、反复出现的任务(例如对客服消息进行分流)调用托管模型的 API,并想知道自己运行的模型能否胜任。阅读本书需要掌握 Python,并有一定的 LLM API 使用经验,但不需要了解 Transformer 的内部结构。

开始阅读
版次历史自 2026年十一月 以来的 9个版次每个版次及其变更内容
2026.11.12026.11.9
2026.11.9 · 2026年11月21日文字修订,新内容19节已更改

目录

10章,阅读约需 7小时 41分钟,包含 36个示例。

  1. 1Build a router for the bank's inbox that hands off when unsure

    By the end of this chapter, you can build a router that returns a team, a confidence and a hand-off flag for one message, score it on a fixed sample by three measures, and see why an untrained small model, prompted as it stands, can't be the router's first version.

  2. 2选定模型之前,先衡量路由任务

    读完本章,你将能够说明本书各个样本的用途,计算路由器据以评分的三项指标并写出各自的分母,并读懂一份只记录一次、在每次比较中重复使用的基线。

  3. 3通过计算一条消息的成本来选择基础模型

    读完本章,你能说出本书保留的两个基础模型,按固定的修订版本加载其中每一个,并在选定模型之前,以词元数和参数量计算出路由一条消息的成本。

  4. 4Prompt a small model and constrain its answers to the teams

    By the end of this chapter, you can write a router prompt for a small open model, constrain its answer so that it can only be a team name, and measure how many of those answers are right.

  5. 5用 LoRA 微调分类头

    学完本章,你将能够用 LoRA 在带标签的消息上训练一个分类头,统计训练所改变的参数数量,按明确规定的规则在开发集上选定移交阈值,并把该阈值与它所产生的结果记录在一起。

  6. 6将较大模型的答案蒸馏到小模型中

    学完本章,你可以在较大教师模型为训练数据行给出的标签上训练一个小的学生模型,度量这些标签与黄金标签的一致程度,并根据同样的消息判断:与在黄金标签上训练的学生模型相比,这个学生模型是否值得使用。

  7. 7量化路由器并测量发生了什么变化

    读完本章,你将能够一次调用就把微调后路由器的主干权重存为 8 位整数,统计固定样本上预测发生变化的数量,并说明这个数量能说明什么、不能说明什么。

  8. 8在 CPU 上部署路由器,把转人工的判断放进路由内部

    读完本章,你可以把路由器部署为一个 POST /route 端点,对每条消息返回团队、置信度和转人工标志。

  9. 9为路由器标注版本、监测其转交情况,并以人工兜底

    读完本章,你将能够:按生成答案的各个部分为路由器命名,在路由加载这些部分之前对其进行检查,依据既定基线统计每个消息窗口的转交率,并说明每条被转交的消息流向何处。

  10. 10小模型并不总是正确的选择

    读完本章,你应当能够说明小型路由器在哪些情况下仍然不敌替身模型,在哪些情况下托管模型预计会表现更好;能够依据你给出并注明日期的输入,计算各个方案的月成本;能够找出自备机器成为更便宜方案时的业务量;还能够指出在任何成本之前就决定这一问题的各项要求。

引用本节

格式

每种格式均引用英文原书,本译本以其为准。

每种格式都会注明该版次。其链接会打开当前版次,节标题处会说明该节文本最后一次修改的时间。访问日期和检索日期即为您打开此页的当天。