Cover of Small Open Models, edition 2026.11.9, code ND0S-78AT Small Open Models ND0S-78AT 9 editions since Nov 2026 Rolling Edition 2026.11.9

小型オープンモデル

第2026.11.9版 2026年11月20日時点で例が通過 36 例中 36 例が合格 変更点

AIによる翻訳。英語版は人による検証済みである。 当社の書籍の作り方

英語版の書籍(版2026.11.9)から翻訳した。 原文を読む

外部サービスとして提供されるモデルを、単一の業務のために自分で運用するモデルへ置き換える方法と、それが誤った選択となる場合を扱う。対象は、BANKING77 の銀行サポートメッセージである。取り上げる内容は、タスクの測定、ベースモデルの選定、プロンプト設計、LoRA によるファインチューニング、蒸留、量子化、CPU でのサービング、バージョン管理、そして人への引き継ぎである。

対象読者 サポートメッセージの振り分けのような、限定された反復的な作業のためにホスト型モデルの API をすでに呼び出しており、自分で運用するモデルでも同じ作業をこなせるかどうかを知りたいエンジニアとデータサイエンティストを対象とする。必要なのは Python と LLM API の利用経験であり、Transformer の内部構造の知識は必要ない。

読み始める
版の履歴2026年11月以降9 版各版と、その変更点
2026.11.12026.11.9
2026.11.9 · 2026年11月21日文章の修正、新しいコンテンツ19 節 節が変更された

目次

10 章、読了までおよそ6 時間 23 分、36 例を収録。

  1. 1Build a router for the bank's inbox that hands off when unsure

    By the end of this chapter, you can build a router that returns a team, a confidence and a hand-off flag for one message, score it on a fixed sample by three measures, and see why an untrained small model, prompted as it stands, can't be the router's first version.

  2. 2モデルを選ぶ前にルーティングタスクを測定する

    この章を終えると、本書の各サンプルが何のためにあるのかを説明でき、ルーターを評価する三つの指標を分母とともに計算でき、一度だけ記録して以後のすべての比較に再利用するベースラインを読めるようになる。

  3. 31通のメッセージのコストを数えてベースモデルを選ぶ

    この章を終えると、本書が使い続ける2つのベースモデルの名前を挙げ、それぞれを固定されたリビジョンで読み込み、モデルを決める前に、1通のメッセージをルーティングするコストをトークン数とパラメータ数で数えられるようになる。

  4. 4小さなモデルにプロンプトを与え、答えをチームに限定する

    この章を終えるまでに、小さなオープンモデル向けのルータープロンプトを書き、答えがチーム名にしかならないように制約し、その答えのうち正しいものがいくつあるかを測定できるようになる。

  5. 5LoRAによる分類ヘッドのファインチューニング

    この章を終えると、ラベル付きメッセージを使って LoRA で分類ヘッドを学習し、学習によって変化するパラメータを数え、述べられた規則に従って dev 分割上で引き継ぎの閾値を選び、その閾値を、それが生んだ結果とともに記録できるようになる。

  6. 6大きなモデルの答えを小さなモデルに蒸留する

    この章を終えると、次のことができるようになる。

  7. 7ルーターを量子化し、何が変わるかを測る

    この章を終えると、ファインチューニングしたルーターのバックボーンの重みを、1 回の呼び出しで 8 ビット整数として保存できるようになる。

  8. 8ルータを CPU で提供する:ハンドオフをルートの内側に置く

    この章を終えると、ルータを一つの POST /route エンドポイントとして提供できるようになる。

  9. 9ルータをバージョン管理し、人への引き継ぎを監視し、人にフォールバックする

    この章を終えると、次のことができるようになる。

  10. 10小さなモデルが誤った選択となる場合

    この章を読み終えると、次のことができるようになる。

この節を引用する

形式

いずれの形式も、本訳書が従う英語版の書籍を出典として示す。

いずれの形式もこの版を明示している。そのリンクは現行版を開き、節の見出しには本文が最後に変更された日付が示される。アクセス日と取得日は、これを開いた日である。