小型オープンモデル
外部サービスとして提供されるモデルを、単一の業務のために自分で運用するモデルへ置き換える方法と、それが誤った選択となる場合を扱う。対象は、BANKING77 の銀行サポートメッセージである。取り上げる内容は、タスクの測定、ベースモデルの選定、プロンプト設計、LoRA によるファインチューニング、蒸留、量子化、CPU でのサービング、バージョン管理、そして人への引き継ぎである。
対象読者 サポートメッセージの振り分けのような、限定された反復的な作業のためにホスト型モデルの API をすでに呼び出しており、自分で運用するモデルでも同じ作業をこなせるかどうかを知りたいエンジニアとデータサイエンティストを対象とする。必要なのは Python と LLM API の利用経験であり、Transformer の内部構造の知識は必要ない。
Kindleまたは任意の電子書籍リーダーで読む
EPUB は Apple Books、Kobo、そのほとんどの電子書籍リーダーでも利用できる。
Kindleに送る
この版のEPUBを送信します。 日本語.
-
当社のアドレスを承認する
Amazonは、承認済みのアドレスからのものに限ってKindleへ配信する。配信するサービスごとに一度ずつ承認が必要である。当社のアドレスを、承認済みのパーソナルドキュメント用メールアドレスの一覧に追加する。
books@rollingedition.comAmazonのパーソナルドキュメント設定を開く. Amazonでは、「コンテンツと端末の管理」、「環境設定」、「パーソナルドキュメント設定」の順に進む。
送信しました。数分後に Kindle のライブラリに表示されます。
届かない場合、ほとんどは手順1の承認が原因である。books@rollingedition.comが承認済みのパーソナルドキュメント用メールアドレスの一覧に入っているかを確認する。
保存した書籍の新しい版も、同じくKindleに届く。
Kindle のアドレスではない。アドレスは @kindle.com で終わる。Amazon の「パーソナル ドキュメント設定」で確認できる。
本日すでに {count} 冊を送信しており、これは1アカウントが1日に送信できる上限である。明日再度試すこと。
本日送信できる冊数の上限に達した。明日再度試すこと。
書籍を送信できなかった。数分後に再度試すこと。
この版は大きすぎて電子メールで送信できない。
Kindleへの送信はLabsに含まれる。
Kindle のアドレスではない。アドレスは @kindle.com で終わる。Amazon の「パーソナル ドキュメント設定」で確認できる。
書籍を送信できなかった。数分後に再度試すこと。
または、EPUBをダウンロードし、AmazonのSend to Kindleページにドロップする。
Kindle is a trademark of Amazon.com, Inc.
目次
10 章、読了までおよそ6 時間 23 分、36 例を収録。
-
1Build a router for the bank's inbox that hands off when unsure
By the end of this chapter, you can build a router that returns a team, a confidence and a hand-off flag for one message, score it on a fixed sample by three measures, and see why an untrained small model, prompted as it stands, can't be the router's first version.
-
2モデルを選ぶ前にルーティングタスクを測定する
この章を終えると、本書の各サンプルが何のためにあるのかを説明でき、ルーターを評価する三つの指標を分母とともに計算でき、一度だけ記録して以後のすべての比較に再利用するベースラインを読めるようになる。
-
31通のメッセージのコストを数えてベースモデルを選ぶ
この章を終えると、本書が使い続ける2つのベースモデルの名前を挙げ、それぞれを固定されたリビジョンで読み込み、モデルを決める前に、1通のメッセージをルーティングするコストをトークン数とパラメータ数で数えられるようになる。
-
4小さなモデルにプロンプトを与え、答えをチームに限定する
この章を終えるまでに、小さなオープンモデル向けのルータープロンプトを書き、答えがチーム名にしかならないように制約し、その答えのうち正しいものがいくつあるかを測定できるようになる。
-
5LoRAによる分類ヘッドのファインチューニング
この章を終えると、ラベル付きメッセージを使って LoRA で分類ヘッドを学習し、学習によって変化するパラメータを数え、述べられた規則に従って dev 分割上で引き継ぎの閾値を選び、その閾値を、それが生んだ結果とともに記録できるようになる。
-
6大きなモデルの答えを小さなモデルに蒸留する
この章を終えると、次のことができるようになる。
-
7ルーターを量子化し、何が変わるかを測る
この章を終えると、ファインチューニングしたルーターのバックボーンの重みを、1 回の呼び出しで 8 ビット整数として保存できるようになる。
-
8ルータを CPU で提供する:ハンドオフをルートの内側に置く
この章を終えると、ルータを一つの
POST /routeエンドポイントとして提供できるようになる。 -
9ルータをバージョン管理し、人への引き継ぎを監視し、人にフォールバックする
この章を終えると、次のことができるようになる。
-
10小さなモデルが誤った選択となる場合
この章を読み終えると、次のことができるようになる。