評估大型語言模型應用程式
知道一個 LLM 應用是否有效,以及某項修改是否讓它變得更好:測試集、檢查、可信賴的評審,以及經得起檢驗的統計方法,並以一個小型命令列工具的文件助理為例。
適合對象 寫給已經推出、或即將推出以模型為基礎之功能的工程師:例如助理、問答服務或資訊擷取步驟。讀者會撰寫 Python,熟悉提示詞、嵌入向量與測試,但除了平均數之外,不具備其他統計知識。
目錄
11 章,閱讀時間約 8 小時 56 分鐘,附有54 個範例。
-
1修改助理之前,先量測它
讀完本章,你將能以一組固定的問題量測文件問答助理,連同信賴區間一併解讀結果,並判斷二十個問題在什麼情況下不足以區分兩份提示詞。
-
2閱讀回覆,找出該衡量什麼
讀完本章後,你能閱讀一組助理的回覆,將每則回覆的問題歸入某種失敗模式,並說明其中哪些失敗可以用檢查來發現。
-
3建立一組站得住腳的測試集,並解讀公開基準測試
讀完本章後,你能建立一組分數有意義的測試集,用程式碼檢查它的結構(schema)與涵蓋範圍,並說明公開基準測試的分數能告訴你、又不能告訴你自己的助理哪些事。
-
4為你找到的失敗寫程式檢查
讀完本章,你能寫出格式與引用檢查,讓它們對每一則回覆執行而不花任何成本;能說明這些檢查各自看得到、看不到第 2 章中的哪些失敗;也能指出兩種標準的重疊分數在哪些情況下,把錯誤的答案排在正確的答案之上(評分高於正確的答案)。
-
5撰寫評審能夠一致套用的評分規準
讀完本章,你能寫出一份評分規準,讓評審模型以相同的方式套用在每一則回覆上;能用程式讀取評審的裁決,而且程式絕不計入任何無法判讀為裁決的內容;也能判斷成對比較或量表在何時值得付出其成本。
-
6以人工評分衡量評審者的錯誤,再校正通過率
讀完本章,你將能夠衡量評審者的判定與人工評分有何差異,將這些差異拆分為漏判(將正確回覆判為不通過)與誤判通過,並針對這些錯誤校正觀察到的通過率,同時在旁寫明該校正所依據的假設。
-
7找出評審的判定在何處不再可靠
讀完本章,你能針對本書的資料所能呈現的兩種偏差,也就是位置偏差與長度偏差,對評審進行檢驗。
-
8判斷一項改動是否更好,以及需要多少題目
讀完本章,你能利用成對比較上的區間,判斷助理兩個版本之間的差異是否不只是雜訊。
-
9檢查答案是否依據所引用的文件,並符合所詢問的版本
讀完本章,你能計算:答案的引用是否支持其所述內容,答案中的每項主張是否都有依據,且依據來自助理取得的各節;答案是否符合讀者所詢問的版本;以及檢索過程是否找到了正確的節。
-
10文件沒寫就拒答,並衡量兩種錯誤
讀完本章,你將能夠計算助理無法依據文件作答的兩種情形,在各自的分母上解讀這兩個比率,並判斷一條更常拒答的規則何時值得付出其代價。
-
11把評估放進 CI,並在流量上比較各種變體
讀完本章,你能把評估做成一道閘門,只在變更確實變差時才擋下該變更。