Prompt caching

Đặt nội dung ổn định, dài ở đầu; dữ liệu thay đổi theo lượt ở cuối. Khi backend hỗ trợ Anthropic cache controls, có thể đánh dấu breakpoint cache_control trên block phù hợp.

{
  "type": "text",
  "text": "Tài liệu tham chiếu ổn định...",
  "cache_control": {"type": "ephemeral"}
}

Theo dõi usage.cache_creation_input_tokens và usage.cache_read_input_tokens; giá trị 0 nghĩa là request đó không ghi/đọc cache. Không giả định alias/backend nào cũng hỗ trợ cache giống nhau.

Cache không thay thế bảo mật: không đưa secret vào prompt, và không chia sẻ cache/session ID giữa tenant. Tối ưu sau khi đã đo trên traffic đại diện.