Cover of Evaluating LLM Applications, edition 2026.11.3, code 4V0Y-VKTV Evaluating LLM Applications 4V0Y-VKTV 3 editions since Nov 2026 Rolling Edition 2026.11.3

評估大型語言模型應用程式

版次 2026.11.3 範例於 2026年11 月 21 通過測試 54 個範例中有 54 個通過 變更內容

由 AI 翻譯。經人工以英文驗證。 我們如何製作書籍

譯自英文書,版次 2026.11.3。 閱讀原文

知道一個 LLM 應用是否有效,以及某項修改是否讓它變得更好:測試集、檢查、可信賴的評審,以及經得起檢驗的統計方法,並以一個小型命令列工具的文件助理為例。

適合對象 寫給已經推出、或即將推出以模型為基礎之功能的工程師:例如助理、問答服務或資訊擷取步驟。讀者會撰寫 Python,熟悉提示詞、嵌入向量與測試,但除了平均數之外,不具備其他統計知識。

開始閱讀
版次歷史自 2026年十一月 以來的 3 個版次每個版次及其變動內容
2026.11.12026.11.3
2026.11.3 · 2026年11 月 21散文修訂、新內容27 節 已變更

目錄

11 章,閱讀時間約 8 小時 56 分鐘,附有54 個範例。

  1. 1修改助理之前,先量測它

    讀完本章,你將能以一組固定的問題量測文件問答助理,連同信賴區間一併解讀結果,並判斷二十個問題在什麼情況下不足以區分兩份提示詞。

  2. 2閱讀回覆,找出該衡量什麼

    讀完本章後,你能閱讀一組助理的回覆,將每則回覆的問題歸入某種失敗模式,並說明其中哪些失敗可以用檢查來發現。

  3. 3建立一組站得住腳的測試集,並解讀公開基準測試

    讀完本章後,你能建立一組分數有意義的測試集,用程式碼檢查它的結構(schema)與涵蓋範圍,並說明公開基準測試的分數能告訴你、又不能告訴你自己的助理哪些事。

  4. 4為你找到的失敗寫程式檢查

    讀完本章,你能寫出格式與引用檢查,讓它們對每一則回覆執行而不花任何成本;能說明這些檢查各自看得到、看不到第 2 章中的哪些失敗;也能指出兩種標準的重疊分數在哪些情況下,把錯誤的答案排在正確的答案之上(評分高於正確的答案)。

  5. 5撰寫評審能夠一致套用的評分規準

    讀完本章,你能寫出一份評分規準,讓評審模型以相同的方式套用在每一則回覆上;能用程式讀取評審的裁決,而且程式絕不計入任何無法判讀為裁決的內容;也能判斷成對比較或量表在何時值得付出其成本。

  6. 6以人工評分衡量評審者的錯誤,再校正通過率

    讀完本章,你將能夠衡量評審者的判定與人工評分有何差異,將這些差異拆分為漏判(將正確回覆判為不通過)與誤判通過,並針對這些錯誤校正觀察到的通過率,同時在旁寫明該校正所依據的假設。

  7. 7找出評審的判定在何處不再可靠

    讀完本章,你能針對本書的資料所能呈現的兩種偏差,也就是位置偏差與長度偏差,對評審進行檢驗。

  8. 8判斷一項改動是否更好,以及需要多少題目

    讀完本章,你能利用成對比較上的區間,判斷助理兩個版本之間的差異是否不只是雜訊。

  9. 9檢查答案是否依據所引用的文件,並符合所詢問的版本

    讀完本章,你能計算:答案的引用是否支持其所述內容,答案中的每項主張是否都有依據,且依據來自助理取得的各節;答案是否符合讀者所詢問的版本;以及檢索過程是否找到了正確的節。

  10. 10文件沒寫就拒答,並衡量兩種錯誤

    讀完本章,你將能夠計算助理無法依據文件作答的兩種情形,在各自的分母上解讀這兩個比率,並判斷一條更常拒答的規則何時值得付出其代價。

  11. 11把評估放進 CI,並在流量上比較各種變體

    讀完本章,你能把評估做成一道閘門,只在變更確實變差時才擋下該變更。

引用本節

格式

各種格式皆引用英文原書,本譯本即依循該原書。

每種格式都會標示本版。其連結會開啟目前版次,節標題會說明該節內文最後一次變動的時間。存取日期與擷取日期即為你開啟此頁的當日。