Kinh nghiệm tối ưu Prompt Caching của Anthropic để cắt giảm 90% chi phí API hàng tháng

Vấn đề chi phí khi xây dựng ứng dụng AI cho doanh nghiệp#

Khi đưa tính năng AI vào sản phẩm thực tế (ví dụ: Chatbot phân tích mã nguồn hoặc trợ lý tra cứu luật/tài liệu y tế), phần lớn prompt gửi lên LLM là cố định: gồm System Instruction dài, bộ tài liệu mẫu (few-shot examples) và context tài liệu.

Trước đây, mỗi request gửi lên đều bị tính phí toàn bộ số token này. Với tính năng Prompt Caching của Anthropic (hỗ trợ trên Claude 3.5 và Claude 3.7), bạn chỉ phải trả phí đọc cache với giá rẻ hơn 90% so với token thông thường.

Cách kích hoạt Prompt Caching trong API Request#

Để kích hoạt cache, bạn chỉ cần đánh dấu thuộc tính cache_control vào điểm cuối cùng của khối context tĩnh:

import Anthropic from '@anthropic-ai/sdk';

const anthropic = new Anthropic();

const response = await anthropic.messages.create({
  model: 'claude-3-7-sonnet-20250219',
  max_tokens: 1024,
  system: [
    {
      type: 'text',
      text: 'Bạn là chuyên gia tư vấn kiến trúc phần mềm cao cấp của TopDev...',
    },
    {
      type: 'text',
      text: HUGE_ARCHITECTURE_DOCUMENTATION_TEXT, // Tài liệu dài 50,000 tokens
      cache_control: { type: 'ephemeral' } // Đánh dấu điểm cache ở đây!
    }
  ],
  messages: [
    { role: 'user', content: 'Làm thế nào để scale database PostgreSQL lên 100k QPS?' }
  ]
});

console.log(response.usage);
// Output sẽ có:
// cache_creation_input_tokens: 0
// cache_read_input_tokens: 50420 (Tiết kiệm 90% chi phí!)

3 nguyên tắc vàng khi thiết kế Prompt Caching#

1. Đặt phần tĩnh lên trước, phần động xuống sau: Bất kỳ thay đổi nhỏ nào ở đầu prompt cũng sẽ làm mất hiệu lực (cache bust) toàn bộ đoạn văn bản phía sau.
2. Kích thước tối thiểu: Anthropic chỉ cache các đoạn text từ 1.024 tokens trở lên (đối với Sonnet). Prompt ngắn dưới ngưỡng này sẽ không được hưởng ưu đãi.
3. Thời gian tồn tại (TTL): Cache mặc định tồn tại trong 5 phút. Mỗi lần có request mới đọc trúng cache, TTL sẽ tự động được gia hạn thêm 5 phút nữa.

Góc thảo luận#

Team bạn đã bật Prompt Caching chưa? Chi phí hóa đơn AI hàng tháng của anh em giảm được bao nhiêu phần trăm sau khi tối ưu?

Xem thêm nội dung liên quan:

• Từ điển AI: Token trong AI là gì?
• Đánh giá Claude Sonnet 3.7