工作流程評估
工作流程會隨時間而改變。評估是你的 workspace 知道變更是否使得工作流程更好或更差的方式：一組已保存的 測試案例、一個按鈕可以運行它們所有，對選定版本進行測試，還有一個結果歷史可以進行運行之間的比較。
打開工作流程並選擇 評估 標籤。
測試案例是輸入加上一個對良好輸出外觀的規則。你可以手動編寫一個，或從你喜歡的 執行器 標籤中保存一個。每個案例都有一個 評分標準 — 決定通過或失敗的規則：
| 評分標準 | 檢查內容 |
|---|---|
| 完全匹配 | 輸出等於預期文本。 |
| 包含 | 輸出包含預期文本。 |
| JSON 路徑 | 結構化輸出中的一個字段匹配一個值，或存在。 |
| LLM 評判 | 一個語言模型根據你編寫的標準對輸出進行打分。 |
前三種是確定的並且是免費的。評判則是針對自由格式輸出，其中“包含”並不起作用。
運行會對選定版本啟動每個啟用的案例。每個案例將作為工作流程的實際執行來運行，然後其評分標準將對結果進行評分。你可以實時觀看案例結束，取消進行中的運行，並打開任何案例的執行以查看每個步驟產生的內容。
運行也可以根據 排程 開始，而工作流程可以 設置啟用閘 根據其測試套件，因此當最新運行的通過率低於你選擇的通過率時，該版本無法成為活動版本，除非擁有者明確記錄的覆蓋。
每次運行顯示 通過數 / 總數 以及其旁邊的 95% 置信區間，例如 3/3 passed (95% CI 44–100%)。將區間視為該運行無法排除的真實通過率範圍。三個通過案例與一個失敗率超過一半的工作流程是一致的；而三十個通過案例則不是。
如果你想要更狹窄的區間，則添加案例。
區間是信息。啟用閘根據你設置的閾值自行決定通過率。
LLM 評判
Section titled “LLM 評判”對於 LLM 評判，你編寫一個 標準 — 一個好的輸出所應遵循的短描述 — 並可選擇一個介於 0 和 1 之間的 通過閾值。評判返回 0 到 1 之間的分數和一個推理句子；閾值決定通過或失敗。通過調整閾值來調整標準，而不是通過重新表述標準來使評判同意。
編寫有效的標準：
- 使其僅從輸出中可檢查：“引用來源” 有效，“有幫助” 無效。
- 列出標準：“回答問題 並且 不超過 100 字”。
- 說明什麼應該失敗：虛構的事實、錯誤的格式、缺失的警告。
評判使用一個固定的、成本低廉的模型，隨機性降低。如果它無法產生可用的裁決，該案例將被標記為 錯誤 — 永遠不會是通過，也永遠不會是失敗。
語言模型並不是一個完美可重複的工具：相同的輸出有時可能在不同的日期收到不同的裁決。測試套件設置 → 評判樣本 讓你的 workspace 測量這一點，而不是忽略它。
設置為 1 以上（最多 5），在每次運行中，每個由評判評分的案例都會被評分那麼多次：
- 通過 是多數裁決。如果平局算作失敗。
- 分數 是平均分數。
- 每個裁決都會被保留。一個裁決不一致的案例會被標記為 評判不一致，而 顯示裁決 開啟每個樣本的分數和推理，以便你可以看到哪一個不一致以及為什麼。
- 運行的區間因 不一致而擴大，其標題顯示
包括評判噪聲。所有樣本一致的運行顯示的區間與一個樣本相同。
如果任何一個樣本失敗，該案例就是一個將樣本命名為錯誤的錯誤。閘仍然根據通過率決定；評判樣本改變了區間告訴你的內容，而不是閘的行為。
成本。 每個樣本都是一次獨立的評判呼叫，因此三個樣本的套件將消耗三倍於同一套件的評判使用。評判使用情況將在使用頁面上記錄在你的 workspace 之下，但不會對其收費。該設置是每個工作流程的，變更將適用於下一次運行，而不是已在進行中的運行。
不會做的事。 更多的樣本將更準確地測量同一評判。它們不會使得模糊的標準變得好——如果評判不斷通過你會失敗的輸出，請改變標準。
選擇兩次運行作為 A 和 B 進行並排比較，逐個案例，並突出顯示裁決翻轉的案例。在兩次運行之間添加或刪除的案例會分別列出，而不是作為失敗處理。