Vì sao tiếng Việt tốn nhiều token hơn tiếng Anh?
Tokenizer và ngôn ngữ: vì sao cùng một câu lại tốn hơn · Cơ bản · 5 phút · tokens, llm · học sau Token, Giới hạn tốc độ (RPM, TPM, RPD), Context window
Tokenizer (bộ cắt mảnh) học các mảnh của nó từ văn bản huấn luyện phần lớn là tiếng Anh, nên từ tiếng Anh được giữ nguyên, còn từ có dấu và từ hiếm bị cắt thành nhiều mảnh. Cùng một câu có thể tốn gấp 1,2–4 lần token, tùy tokenizer.
1 Đoán trước
2 Xem
One question, five languages
1 / 5How many free tokens do I get every day?
English: 11 tokensMỗi ngày tôi được bao nhiêu token miễn phí?
Vietnamese: 40 tokens · 3.6׿Cuántos tokens gratis recibo cada día?
Spanish: 20 tokens · 1.8×Quantos tokens grátis eu recebo por dia?
Portuguese (BR): 18 tokens · 1.6×Berapa token gratis yang saya dapat setiap hari?
Indonesian: 20 tokens · 1.8×
GPT-2 tokenizer, reduced: precomputed numbers until it loads
Same question, five languages. Vietnamese costs almost four times the English tokens.
What a token is: tokens · token limits per minute: rate limits · what fills up: context window · rate-limit calculator
Cùng một câu hỏi tốn 11 token bằng tiếng Anh và 40 token bằng tiếng Việt trên GPT-2, vì các mảnh của nó được học từ tiếng Anh; tokenizer mới hơn thu hẹp khoảng cách còn khoảng 1,2 lần.
Tokenizer bắt đầu từ các byte và học, từ văn bản huấn luyện, xem những cặp nào nên dán thành một mảnh: cặp hay gặp nhất được dán trước. Chữ phổ biến thành nguyên từ. Chữ hiếm, như “ợ” (3 byte trong UTF-8), vẫn nằm ở dạng mảnh nhỏ. Cùng nghĩa, nhiều mảnh hơn, tốn token hơn.
4 Bạn là model
Làm tokenizer. Với mỗi câu, đoán xem nó thành bao nhiêu token GPT-2, rồi xem các mảnh.
sentence 1 of 3 · how many GPT-2 tokens?
Hello, how are you?
GPT-2 tokenizer, reduced: precomputed numbers until it loads
Count words, then think: does every word get its own piece?5 Kiểm tra
Nên làm gì: đếm thử ngôn ngữ của bạn một lần (khoảng chênh chính là hệ số nhân của bạn). Ưu tiên mô hình có tokenizer mới hơn: o200k của GPT-4o cần 12 token ở chỗ cl100k của GPT-4 cần 22. Phần hướng dẫn dài, cố định có thể viết bằng tiếng Anh, kèm “Answer in Vietnamese.”; câu trả lời vẫn tốn token tiếng Việt.
7 Nói lại bằng lời bạn
8 Nhiệm vụ · 5 phút
Với một API key Gemini miễn phí, đếm token của câu hỏi tiếng Anh và câu hỏi tiếng Việt trong trang này (count_tokens, tài liệu Gemini “Understand and count tokens”). Rồi đếm cùng câu hỏi bằng một ngôn ngữ khác bạn biết. Khoảng chênh của Gemini gần với 3,4 lần của GPT-2 hay 1,2 lần của o200k (bảng ở trên)?
Ba câu nhanh
Rút ngẫu nhiên từ bộ câu hỏi của bài; lần sau sẽ khác.
Xong chưa?
Đọc thêm
Nguồn
- GPT-2 counts in the picture and the predict step: the page’s reduced GPT-2 tokenizer (first 16,000 of 50,000 merges, app/lib/explain/gpt2-bpe.ts, #235), computed live; fallback numbers precomputed with the same code and checked by tests/explain-tokens-languages.test.ts
- Other tokenizers, measured 2026-10-22: tiktoken 0.14.0 encodings gpt2, cl100k_base, o200k_base; Hugging Face tokenizers 0.23.3 with https://huggingface.co/Qwen/Qwen2.5-7B-Instruct tokenizer.json (no special tokens). en/vi/es/pt-BR/id question: gpt2 10/34/16/14/18, cl100k 10/22/11/10/11, o200k 10/12/10/10/10, Qwen2.5 10/12/11/10/11; “Hello, how are you?” o200k 6, “Xin chào, bạn khỏe không?” o200k 8, “Resume este artículo en tres frases.” o200k 7
- https://github.com/openai/tiktoken/blob/main/tiktoken/model.py (checked 2026-10-22): gpt-4o, gpt-4.1, gpt-5, o1, o3 → o200k_base; gpt-4, gpt-3.5-turbo → cl100k_base
- Radford et al. 2019, “Language Models are Unsupervised Multitask Learners”, §3.7: “we deliberately removed non-English webpages from WebText as a filtering step”; a language detector found only 10MB of French
- UTF-8 byte lengths (TextEncoder, computed in the page): a 1, á 2, ư 2, ỗ 3
- Gemini count_tokens: https://ai.google.dev/gemini-api/docs/tokens; the Gemini and Llama 3 tokenizers were not measured here (account or API key needed), so no column for them
- The 1,000,000-token daily budget in the picture and pool is an example, labelled so
Đăng Oct 22, 2026 · cập nhật Oct 22, 2026