Tokenization tiếng Việt của các LLM: Tại sao chi phí tiếng Việt đắt gấp 3 lần tiếng Anh?

Nỗi niềm chi phí token khi xử lý tiếng Việt#

Đã bao giờ bạn thắc mắc tại sao cùng một đoạn văn bản có cùng ý nghĩa, khi gửi bản tiếng Việt lên OpenAI hoặc Anthropic thì số lượng token tiêu tốn lại cao gấp 2.5 đến 3.5 lần so với bản tiếng Anh?

Nguyên nhân cốt lõi nằm ở thuật toán Tokenization (BPE - Byte Pair Encoding) và tập ngữ liệu huấn luyện (Training Corpora) của các tập đoàn công nghệ lớn.

Cơ chế tách từ và hiện tượng "vỡ vụn" ký tự#

Trong tiếng Anh, hầu hết các từ thông dụng đều là 1 token nguyên vẹn (ví dụ: apple, database, architecture).

Ngược lại với tiếng Việt:

• Các bộ tokenizer phổ biến (như cl100k_base của GPT-4) được train chủ yếu trên dữ liệu tiếng Anh (hơn 90%).
• Các từ tiếng Việt có dấu thường bị bẻ nhỏ thành nhiều mảnh byte hoặc từng nguyên âm có dấu rời rạc:

# Ví dụ phân tích token của từ "Lập trình viên":
Tiếng Anh: "Software engineer" -> 2 tokens
Tiếng Việt: "Lập trình viên" -> 6 - 8 tokens!

Bảng so sánh hiệu suất Tokenizer giữa các mô hình#

2 lời khuyên giúp tối ưu chi phí khi làm app AI tiếng Việt#

1. Ưu tiên dùng model thế hệ mới: GPT-4o và Claude 3.5/3.7 đã cải thiện bộ từ vựng (vocabulary size) lớn hơn rất nhiều so với thời GPT-3.5.
2. Cân nhắc Qwen 2.5 cho local/private deployment: Qwen tokenizer được tối ưu cực kỳ mạnh mẽ cho các ngôn ngữ châu Á, giúp tiết kiệm cả băng thông lẫn VRAM.

Góc thảo luận#

Anh em có thường đo đạc tỷ lệ token/từ trong các dự án NLP tiếng Việt không? Có anh em nào thử bỏ dấu tiếng Việt khi embedding để tiết kiệm token chưa?

Xem thêm nội dung liên quan:

• Từ điển AI: Token trong AI là gì?
• Review công cụ Claude AI