LLMアプリケーションの評価
LLMアプリケーションが機能しているか、そして変更によって改善したかを見極める。小規模なコマンドラインツール向けのドキュメントアシスタントを題材に、テストセット、チェック、信頼できるジャッジ、そして根拠の確かな統計を扱う。
対象読者 モデルを基盤とする機能(アシスタント、質問応答サービス、抽出ステップなど)をすでに出荷した、あるいはこれから出荷しようとしているエンジニアを対象とする。読者は Python を書くことができ、プロンプト、埋め込み、テストを理解しているが、平均以外の統計学は知らないものとする。
Kindleまたは任意の電子書籍リーダーで読む
EPUB は Apple Books、Kobo、そのほとんどの電子書籍リーダーでも利用できる。
Kindleに送る
この版のEPUBを送信します。 日本語.
-
当社のアドレスを承認する
Amazonは、承認済みのアドレスからのものに限ってKindleへ配信する。配信するサービスごとに一度ずつ承認が必要である。当社のアドレスを、承認済みのパーソナルドキュメント用メールアドレスの一覧に追加する。
books@rollingedition.comAmazonのパーソナルドキュメント設定を開く. Amazonでは、「コンテンツと端末の管理」、「環境設定」、「パーソナルドキュメント設定」の順に進む。
送信しました。数分後に Kindle のライブラリに表示されます。
届かない場合、ほとんどは手順1の承認が原因である。books@rollingedition.comが承認済みのパーソナルドキュメント用メールアドレスの一覧に入っているかを確認する。
保存した書籍の新しい版も、同じくKindleに届く。
Kindle のアドレスではない。アドレスは @kindle.com で終わる。Amazon の「パーソナル ドキュメント設定」で確認できる。
本日すでに {count} 冊を送信しており、これは1アカウントが1日に送信できる上限である。明日再度試すこと。
本日送信できる冊数の上限に達した。明日再度試すこと。
書籍を送信できなかった。数分後に再度試すこと。
この版は大きすぎて電子メールで送信できない。
Kindleへの送信はLabsに含まれる。
Kindle のアドレスではない。アドレスは @kindle.com で終わる。Amazon の「パーソナル ドキュメント設定」で確認できる。
書籍を送信できなかった。数分後に再度試すこと。
または、EPUBをダウンロードし、AmazonのSend to Kindleページにドロップする。
Kindle is a trademark of Amazon.com, Inc.
目次
11 章、読了までおよそ7 時間 19 分、54 例を収録。
-
1変更する前にアシスタントを測定する
この章を読み終えるころには、固定した質問の集合を使ってドキュメント用アシスタントを測定し、その結果を区間(信頼区間)とともに読み取り、20問ではふたつのプロンプトを区別するには少なすぎるという場合を見分けられるようになる。
-
2回答を読んで測定対象を見つける
この章を読み終えると、アシスタントの回答の集合を読み、それぞれの回答の誤りを失敗モードに分類し、そのうちどの失敗をチェックで検出できるかを述べられるようになる。
-
3防御できるテストセットを作り、公開ベンチマークを読む
この章を終えるまでに、スコアが意味を持つテストセットを作り、そのスキーマとカバレッジをコードで検査し、公開ベンチマークのスコアが自分のアシスタントについて何を語り、何を語らないのかを説明できるようになる。
-
4見つけた失敗に対するチェックをコードで書く
この章を終えると、すべての回答に対して追加費用なしで実行される形式チェックと引用チェックを書けるようになる。
-
5判定者が適用できるルーブリックを書く
この章を読み終えると、判定モデルが各回答に同じ基準を適用できるルーブリックを書き、判定として読み取れないものを一切数えないコードで判定結果を読み、ペアワイズ比較や尺度がそのコストに見合う場面を説明できるようになる。
-
6判定器の誤りを人間の評価と照らして測り、合格率を補正する
この章を読み終えると、判定器の判定が人間の評価とどう食い違うかを測り、その食い違いを見逃しと誤合格に分け、観測された合格率をそれらについて補正できるようになる。
-
7審査モデルの判定が信頼できなくなる境界を見つける
この章を読み終えると、本書のデータで示せる二つのバイアス、すなわち位置と長さについて、審査モデルを検査できるようになる。
-
8変更が改善になっているかを判断し、必要な質問数を見積もる
この章を読み終えると、対応のある比較に区間を用いて、アシスタントの二つのバージョンの差がノイズを超えるものかどうかを述べられるようになる。
-
9回答が引用された文書に基づき、問われたバージョンに沿っていることを確認する
この章を読み終えると、回答の引用がその回答の述べる内容を裏づけているか、回答中のすべての主張がアシスタントに与えられた節に基づいているか、回答が読者の尋ねたバージョンに対して正しいか、そしてその途中で検索が正しい節に到達していたかを、数え上げて確かめられるようになる。
-
10ドキュメントに記載がないときは断り、両方の種類の誤りを測定する
この章を読み終えると、アシスタントがドキュメントに基づいて答えることに失敗する二通りの仕方をそれぞれ数え、二つの割合をそれぞれの分母のもとで読み取り、より頻繁に断る規則がその代償に見合うかどうかを判断できるようになる。
-
11評価をCIに組み込み、トラフィック上でバリアントを比較する
この章を終えると、変更が測定可能な形で悪化している場合にのみその変更をブロックするゲートに、評価を組み込めるようになる。