การประเมินเวิร์กโฟลว์
เวิร์กโฟลว์เปลี่ยนแปลงไปตามเวลา Evals คือวิธีที่เวิร์กสเปซของคุณรู้ว่าการเปลี่ยนแปลงทำให้ดีขึ้นหรือแย่ลง: ชุดของ กรณีทดสอบ ที่บันทึกไว้ ปุ่มที่รันกรณีทั้งหมดกับเวอร์ชันที่เลือก และประวัติผลลัพธ์ที่คุณสามารถเปรียบเทียบระหว่างการรันได้
เปิดเวิร์กโฟลว์และเลือกแท็บ Evals
กรณีทดสอบ
Section titled “กรณีทดสอบ”กรณีทดสอบคือข้อมูลนำเข้าบวกกับกฎว่าผลลัพธ์ที่ดีควรออกมาเป็นอย่างไร คุณสามารถเขียนด้วยมือ หรือบันทึกจากการรันที่คุณชอบในแท็บ Runner แต่ละกรณีจะมี grader — กฎที่ตัดสินว่าผ่านหรือไม่ผ่าน:
| Grader | สิ่งที่ตรวจสอบ |
|---|---|
| การจับคู่ที่ตรงกัน | ผลลัพธ์เท่ากับข้อความที่คาดหวัง |
| มีอยู่ | ผลลัพธ์มีข้อความที่คาดหวังอยู่ |
| JSON path | ฟิลด์ภายในผลลัพธ์ที่มีโครงสร้างตรงกับค่าหรือมีอยู่ |
| LLM judge | โมเดลภาษาจะให้คะแนนผลลัพธ์ตามเกณฑ์ที่คุณเขียน |
สามอันแรกมีความแม่นยำและฟรี ตัวตัดสินสำหรับผลลัพธ์แบบอิสระ ซึ่ง “มีอยู่” ไม่เป็นประโยชน์
การรันชุด
Section titled “การรันชุด”Run เริ่มการทำงานของกรณีที่เปิดใช้งานทั้งหมดกับเวอร์ชันที่เลือก แต่ละกรณีทำงานเหมือนการดำเนินการจริงของเวิร์กโฟลว์ จากนั้น grader จะให้คะแนนผลลัพธ์ คุณสามารถดูกรณีที่เสร็จสมบูรณ์แบบสด ยกเลิกการรันที่กำลังดำเนินการ และเปิดการดำเนินการของกรณีใด ๆ เพื่อตรวจสอบว่าแต่ละขั้นตอนผลิตอะไรออกมา
การรันยังสามารถเริ่มต้นตาม กำหนดการ และเวิร์กโฟลว์สามารถ ควบคุมการเปิดใช้งาน ตามชุดของมันได้ ดังนั้นเวอร์ชันที่การรันล่าสุดต่ำกว่าระดับที่คุณเลือกจะไม่สามารถกลายเป็นเวอร์ชันที่ใช้งานอยู่ได้หากไม่มีการยินยอมจากเจ้าของที่ชัดเจนและบันทึกไว้
การอ่านผลลัพธ์
Section titled “การอ่านผลลัพธ์”ทุกการรันจะแสดง ผ่าน / ทั้งหมด พร้อมกับ ช่วงเวลา 95% ข้าง ๆ เช่น 3/3 ผ่าน (95% CI 44–100%) อ่านช่วงเวลาเป็นช่วงอัตราการผ่านที่แท้จริงที่การรันไม่สามารถปฏิเสธได้ กรณีที่ผ่านสามกรณีมีความสอดคล้องกับเวิร์กโฟลว์ที่ล้มเหลวมากกว่าครึ่งเวลา; กรณีที่ผ่านสามสิบกรณีไม่เป็นเช่นนั้น หากคุณต้องการช่วงเวลาที่แคบลง ให้เพิ่มกรณีเข้าไป
ช่วงเวลาเป็นข้อมูล ประตูการเปิดใช้งานตัดสินตามอัตราการผ่านด้วยตนเอง ตามเกณฑ์ที่คุณตั้งไว้
LLM judge
Section titled “LLM judge”สำหรับ LLM judge คุณจะเขียน rubric — คำอธิบายสั้น ๆ ว่าสิ่งที่ออกมาควรเป็นอย่างไร — และอาจจะมี เกณฑ์การผ่าน ระหว่าง 0 ถึง 1 ตัวตัดสินจะคืนคะแนนตั้งแต่ 0 ถึง 1 พร้อมประโยคที่อธิบาย; เกณฑ์จะตัดสินว่าผ่านหรือไม่ผ่าน ปรับระดับโดยการย้ายเกณฑ์ แทนที่จะเปลี่ยนคำใน rubric จนกว่าตัวตัดสินจะเห็นด้วย
การเขียน rubric ที่ยืนยาว:
- ทำให้มันตรวจสอบได้จากผลลัพธ์เพียงอย่างเดียว: “อ้างอิงแหล่งที่มา” ใช้ได้ “เป็นประโยชน์” ไม่ได้
- ระบุเกณฑ์: “ตอบคำถาม และ ยังคงต่ำกว่า 100 คำ”
- กล่าวว่าควรล้มเหลวอะไร: ข้อเท็จจริงที่สร้างขึ้น รูปแบบที่ผิดพลาด ข้อควรระวังที่หายไป
ตัวตัดสินใช้โมเดลที่คงที่ ราคาถูกและมีการสุ่มลดลง หากไม่สามารถผลิตคำตัดสินที่ใช้ได้ กรณีจะถูกทำเครื่องหมายเป็น ข้อผิดพลาด — ไม่เคยผ่านและไม่เคยล้มเหลว
ตัวอย่างของตัวตัดสิน
Section titled “ตัวอย่างของตัวตัดสิน”โมเดลภาษาคือเครื่องมือที่ไม่สามารถทำซ้ำได้อย่างสมบูรณ์: ผลลัพธ์เดียวกันอาจได้รับการตัดสินที่แตกต่างกันในวันต่าง ๆ การตั้งค่าชุด → ตัวอย่างของตัวตัดสิน จะทำให้เวิร์กสเปซของคุณวัดสิ่งนั้นแทนที่จะเพิกเฉย
ตั้งให้สูงกว่า 1 (สูงสุดถึง 5) และแต่ละกรณีที่ได้รับการประเมินโดยตัวตัดสินจะถูกให้คะแนนซ้ำในทุกการรัน:
- ผ่าน คือตัวตัดสินที่มากกว่าครึ่ง; การเสมอถือว่าเป็นความล้มเหลว
- คะแนน คือค่าเฉลี่ย
- ทุกคำตัดสินจะถูกเก็บไว้ กรณีที่ผลตัดสินไม่ตรงกันจะทำเครื่องหมายว่า ตัวตัดสินขัดแย้ง และ แสดงคำตัดสิน จะเปิดคะแนนและเหตุผลของแต่ละตัวอย่าง เพื่อให้คุณเห็นว่าผลใดไม่ตรงกันและทำไม
- ช่วงของการรันจะ กว้างขึ้นด้วยความขัดแย้ง และคำบรรยายจะกล่าวว่า
รวมถึงเสียงรบกวนจากตัวตัดสินการรันที่ตัวอย่างทั้งหมดเห็นด้วยจะแสดงช่วงเวลาเดียวกันที่มันจะเป็นที่ตัวอย่างเดียว
หากตัวอย่างใดตัวอย่างหนึ่งล้มเหลว กรณีจะเป็นข้อผิดพลาดที่ระบุว่าตัวอย่างไหน ประตูยังคงตัดสินตามอัตราการผ่าน; ตัวอย่างของตัวตัดสินเปลี่ยนสิ่งที่ช่วงเวลาบอกคุณ ไม่ใช่ว่าประตูทำอะไร
ค่าใช้จ่ายที่เกี่ยวข้อง แต่ละตัวอย่างคือการเรียกตัวตัดสินที่แยกต่างหาก ดังนั้นชุดที่มี 3 ตัวอย่างใช้เวลาสามเท่าของการใช้งานตัวตัดสินของชุดเดียวกันที่มี 1 การใช้งานของตัวตัดสินจะถูกบันทึกตามเวิร์กสเปซของคุณในหน้าใช้งานแต่จะไม่ถูกเรียกเก็บเงินกับมัน การตั้งค่าคือสำหรับแต่ละเวิร์กโฟลว์ และการเปลี่ยนแปลงจะนำไปใช้กับการรันถัดไป ไม่ใช่กับการรันที่กำลังดำเนินการอยู่แล้ว
สิ่งที่มันไม่ทำ ตัวอย่างมากขึ้นจะวัดตัวตัดสินเดียวกันได้อย่างแม่นยำยิ่งขึ้น พวกเขาจะไม่ทำให้มั่นใจในรูบริกที่ไม่ชัดเจน — หากตัวตัดสินยังคงให้คะแนนผลลัพธ์ที่คุณจะล้มเหลว ให้เปลี่ยนรูบริก
การเปรียบเทียบการรัน
Section titled “การเปรียบเทียบการรัน”เลือกการรันสองคีย์ว่า A และ B เพื่อดูเคียงข้างกันกรณีต่อกรณี โดยกรณีที่คำตัดสินเปลี่ยนแปลงจะถูกเน้น กรณีที่เพิ่มหรือลดระหว่างการรันทั้งสองจะถูกระบุแยกต่างหากแทนที่จะถูกพิจารณาว่าเป็นการล้มเหลว