Cover of Evaluating LLM Applications, edition 2026.11.3, code 4V0Y-VKTV Evaluating LLM Applications 4V0Y-VKTV 3 editions since Nov 2026 Rolling Edition 2026.11.3

LLMアプリケーションの評価

第2026.11.3版 2026年11月21日時点で例が通過 54 例中 54 例が合格 変更点

AIによる翻訳。英語版は人による検証済みである。 当社の書籍の作り方

英語版の書籍(版2026.11.3)から翻訳した。 原文を読む

LLMアプリケーションが機能しているか、そして変更によって改善したかを見極める。小規模なコマンドラインツール向けのドキュメントアシスタントを題材に、テストセット、チェック、信頼できるジャッジ、そして根拠の確かな統計を扱う。

対象読者 モデルを基盤とする機能(アシスタント、質問応答サービス、抽出ステップなど)をすでに出荷した、あるいはこれから出荷しようとしているエンジニアを対象とする。読者は Python を書くことができ、プロンプト、埋め込み、テストを理解しているが、平均以外の統計学は知らないものとする。

読み始める
版の履歴2026年11月以降3 版各版と、その変更点
2026.11.12026.11.3
2026.11.3 · 2026年11月21日文章の修正、新しいコンテンツ27 節 節が変更された

目次

11 章、読了までおよそ7 時間 19 分、54 例を収録。

  1. 1変更する前にアシスタントを測定する

    この章を読み終えるころには、固定した質問の集合を使ってドキュメント用アシスタントを測定し、その結果を区間(信頼区間)とともに読み取り、20問ではふたつのプロンプトを区別するには少なすぎるという場合を見分けられるようになる。

  2. 2回答を読んで測定対象を見つける

    この章を読み終えると、アシスタントの回答の集合を読み、それぞれの回答の誤りを失敗モードに分類し、そのうちどの失敗をチェックで検出できるかを述べられるようになる。

  3. 3防御できるテストセットを作り、公開ベンチマークを読む

    この章を終えるまでに、スコアが意味を持つテストセットを作り、そのスキーマとカバレッジをコードで検査し、公開ベンチマークのスコアが自分のアシスタントについて何を語り、何を語らないのかを説明できるようになる。

  4. 4見つけた失敗に対するチェックをコードで書く

    この章を終えると、すべての回答に対して追加費用なしで実行される形式チェックと引用チェックを書けるようになる。

  5. 5判定者が適用できるルーブリックを書く

    この章を読み終えると、判定モデルが各回答に同じ基準を適用できるルーブリックを書き、判定として読み取れないものを一切数えないコードで判定結果を読み、ペアワイズ比較や尺度がそのコストに見合う場面を説明できるようになる。

  6. 6判定器の誤りを人間の評価と照らして測り、合格率を補正する

    この章を読み終えると、判定器の判定が人間の評価とどう食い違うかを測り、その食い違いを見逃しと誤合格に分け、観測された合格率をそれらについて補正できるようになる。

  7. 7審査モデルの判定が信頼できなくなる境界を見つける

    この章を読み終えると、本書のデータで示せる二つのバイアス、すなわち位置と長さについて、審査モデルを検査できるようになる。

  8. 8変更が改善になっているかを判断し、必要な質問数を見積もる

    この章を読み終えると、対応のある比較に区間を用いて、アシスタントの二つのバージョンの差がノイズを超えるものかどうかを述べられるようになる。

  9. 9回答が引用された文書に基づき、問われたバージョンに沿っていることを確認する

    この章を読み終えると、回答の引用がその回答の述べる内容を裏づけているか、回答中のすべての主張がアシスタントに与えられた節に基づいているか、回答が読者の尋ねたバージョンに対して正しいか、そしてその途中で検索が正しい節に到達していたかを、数え上げて確かめられるようになる。

  10. 10ドキュメントに記載がないときは断り、両方の種類の誤りを測定する

    この章を読み終えると、アシスタントがドキュメントに基づいて答えることに失敗する二通りの仕方をそれぞれ数え、二つの割合をそれぞれの分母のもとで読み取り、より頻繁に断る規則がその代償に見合うかどうかを判断できるようになる。

  11. 11評価をCIに組み込み、トラフィック上でバリアントを比較する

    この章を終えると、変更が測定可能な形で悪化している場合にのみその変更をブロックするゲートに、評価を組み込めるようになる。

この節を引用する

形式

いずれの形式も、本訳書が従う英語版の書籍を出典として示す。

いずれの形式もこの版を明示している。そのリンクは現行版を開き、節の見出しには本文が最後に変更された日付が示される。アクセス日と取得日は、これを開いた日である。