Evaluate and ship
Run evals
Đo chất lượng trước và sau mọi thay đổi quan trọng
Bộ eval tối thiểu
Mỗi case gồm input, kỳ vọng/rubric, tag phân khúc và mức độ rủi ro. Bao gồm ca thường, biên, từ chối, injection, tiếng Việt có dấu và dữ liệu dài.
Quy trình
- Đóng băng baseline: alias, prompt, tham số, tool/schema.
- Chạy tập test đủ đại diện; lưu output, usage, latency, lỗi.
- Chấm bằng kiểm tra quyết định được trước; dùng reviewer mù cho tiêu chí chủ quan.
- Báo cáo theo phân khúc, không chỉ điểm trung bình.
- Ship khi vượt ngưỡng chất lượng/an toàn/độ trễ/chi phí.
- Lưu regression set từ lỗi production.
Không dùng model grader duy nhất cho quyết định rủi ro cao. Lấy mẫu human review và theo dõi bất đồng giữa người chấm.