Cost optimization

1. Đo input_tokens, output_tokens, cache token, latency và tỷ lệ đạt theo tác vụ.
2. Loại lịch sử/tài liệu không liên quan; tóm tắt có kiểm chứng khi hội thoại dài.
3. Giới hạn max_tokens theo percentile thực tế và chỉ yêu cầu format cần dùng.
4. Tái sử dụng phần prompt ổn định; đo cache hit trước khi kết luận tiết kiệm.
5. Chọn model/alias bằng eval, không chỉ theo giá hoặc tên.
6. Chặn retry vô hạn, tool loop và request trùng bằng budget/idempotency.
7. Batch ngoại tuyến với concurrency phù hợp khi không cần realtime.

Thiết lập ngân sách theo tenant/tác vụ và cảnh báo khi cost per successful outcome tăng. Tối ưu theo kết quả đạt yêu cầu, không theo token/request riêng lẻ.