Cover of Small Open Models, edition 2026.11.9, code ND0S-78AT Small Open Models ND0S-78AT 9 editions since Nov 2026 Rolling Edition 2026.11.9

小型開放模型

版次 2026.11.9 範例於 2026年11 月 20 通過測試 36 個範例中有 36 個通過 變更內容

由 AI 翻譯。經人工以英文驗證。 我們如何製作書籍

譯自英文書,版次 2026.11.9。 閱讀原文

如何以您自行執行、專用於單一工作的模型取代託管模型,以及何時這是錯誤的選擇:本書以 BANKING77 中銀行客服訊息為例,說明如何衡量任務、選擇基礎模型、提示設計、LoRA 微調、蒸餾、量化、CPU 服務、版本管理,以及交接給人員處理。

適合對象 本書適合已經呼叫託管模型 API 來處理單一而重複的工作(例如分派客服訊息)的工程師與資料科學家,並希望了解自行執行的模型是否也能勝任這項工作。讀者需要具備 Python 的基礎,並有使用 LLM API 的經驗,但不需要了解 Transformer 的內部運作。

開始閱讀
版次歷史自 2026年十一月 以來的 9 個版次每個版次及其變動內容
2026.11.12026.11.9
2026.11.9 · 2026年11 月 21散文修訂、新內容19 節 已變更

目錄

10 章,閱讀時間約 7 小時 41 分鐘,附有36 個範例。

  1. 1Build a router for the bank's inbox that hands off when unsure

    By the end of this chapter, you can build a router that returns a team, a confidence and a hand-off flag for one message, score it on a fixed sample by three measures, and see why an untrained small model, prompted as it stands, can't be the router's first version.

  2. 2選定模型之前,先衡量路由任務

    讀完本章後,你能說明本書每一份樣本的用途,計算路由器據以評分的三項指標並寫出各自的分母,也能讀懂一份只記錄一次、並在每次比較時重複使用的基準線。

  3. 3以單則訊息的成本來選擇基礎模型

    讀完本章後,你能說出本書保留的兩個基礎模型,以固定的修訂版本載入各個模型,並在選定模型之前,算出一則路由訊息所需的詞元數與參數量。

  4. 4對小型模型下提示,並將其答案限制在各團隊內

    讀完本章後,你可以為小型開放模型撰寫路由器提示,限制它的答案只能是團隊名稱,並衡量這些答案有多少是正確的。

  5. 5以 LoRA 微調分類頭

    讀完本章後,你可以用 LoRA 在已標註的訊息上訓練分類頭、計算訓練所改變的參數數量、依明訂的規則在開發集上選定轉交門檻,並把該門檻與它所產生的結果記錄在一起。

  6. 6將較大模型的答案蒸餾到小模型

    讀完本章後,你可以用較大的教師模型為訓練資料列給出的標籤來訓練一個小型學生模型,衡量這些標籤與黃金標籤的一致程度,並根據同一批訊息判斷這個學生模型相較於以黃金標籤訓練的學生模型是否值得使用。

  7. 7量化路由器並測量有何變化

    讀完本章後,你可以用一次呼叫,將微調後路由器的骨幹權重儲存為 8 位元整數,計算固定樣本上預測改變的數量,並說明這個數量能顯示什麼、不能顯示什麼。

  8. 8在 CPU 上提供路由器服務,並將轉人工處理的判斷放在路由內

    讀完本章後,你能把路由器以單一的 POST /route 端點提供服務,針對每則訊息回傳團隊、信心值與轉人工處理的旗標。

  9. 9為路由器標註版本、監看其移交情形,並以人工作為後備

    讀完本章後,你將能夠:依產生答案的各個部分為路由器命名;在路由載入這些部分之前先檢查它們;對照既定基準,計算每個訊息視窗的移交率;並說明每則被移交的訊息會送往何處。

  10. 10小型模型是錯誤選擇的時候

    讀完本章,你應當能說明小型路由器在哪些情況下仍輸給替身模型、哪些情況下預期託管模型會表現更好,能根據你列出並註明日期的輸入數據計算各個選項的每月成本,能找出自備機器成為較便宜途徑的使用量,也能在任何成本之前,指出決定這個問題的各項需求。

引用本節

格式

各種格式皆引用英文原書,本譯本即依循該原書。

每種格式都會標示本版。其連結會開啟目前版次,節標題會說明該節內文最後一次變動的時間。存取日期與擷取日期即為你開啟此頁的當日。