Vì sao nó trả lời bằng tiếng Việt kém hơn tiếng Anh?
Ngôn ngữ ít tài nguyên: mô hình học từ văn bản, chủ yếu là web, mà web phần lớn là tiếng Anh (42,6% số trang Common Crawl, tiếng Việt 0,98%), nên nó học được ít hơn từ các ngôn ngữ hiếm hơn; với cùng các câu hỏi thi được dịch ra 29 ngôn ngữ, điểm giảm dần khi ngôn ngữ càng hiếm, và khoảng cách thu hẹp khi mô hình lớn hơn · Cơ bản · 5 phút · training, llm · học sau Tokenizer và ngôn ngữ: vì sao cùng một câu lại tốn hơn, Training: loss và gradient descent
Mô hình học từ văn bản, và web phần lớn là tiếng Anh: tiếng Việt chỉ khoảng 1%. Với cùng câu hỏi thi, các mô hình được điểm thấp hơn bằng tiếng Việt, và thấp hơn nữa ở các ngôn ngữ hiếm hơn. Mô hình lớn hơn thu hẹp khoảng cách.
1 Đoán trước
2 Xem
Same questions, five languages
1 / 7share of web pages by language · Common Crawl, 2026
English42.6%Vietnamese0.98%Swahili0.0099%Yoruba0.0017%Wolof0.0002%English has about 43 times as many pages as Vietnamese
Common Crawl CC-MAIN-2026-43 · language statistics
A model learns from text, mostly the web. 42.6% of the pages Common Crawl collected are English; 0.98% are Vietnamese, about 43 times fewer. Swahili, Yoruba and Wolof are rarer still.
Why rare languages also cost more tokens: tokens and languages · how it learned
Cùng câu hỏi, khác ngôn ngữ, điểm thấp hơn. Lúc học mô hình càng thấy ít một ngôn ngữ, nó càng trả lời kém bằng ngôn ngữ đó.
Mô hình học mọi thứ nó biết từ văn bản huấn luyện, và văn bản đó phần lớn là tiếng Anh. Trong dữ liệu huấn luyện của mô hình mở Llama 2, tiếng Anh chiếm 89,70%, tiếng Việt 0,08%. Ít ví dụ thì mẫu hình yếu: kiến thức và bước suy luận thấy cả nghìn lần bằng tiếng Anh thì chỉ thấy vài lần bằng tiếng Việt. Tiếng Việt còn bị tách thành nhiều token hơn.
4 Bạn là model
Bạn đọc kết quả bài thi qua ba vòng: một mô hình lớn và một mô hình nhỏ bằng tiếng Việt, rồi mô hình lớn bằng tiếng Wolof. Chọn số điểm bạn nghĩ mỗi mô hình đạt được.
round 1 of 3 · GPT-4.1 · MMLU-ProX
English: 79.8% right. The same questions in Vietnamese?
MMLU-ProX, Table 6, 5-shot · arXiv:2503.10497 v2, 2025
Pick the score you think it got.5 Kiểm tra
Kích thước có giúp. Trong họ Qwen2.5, khoảng cách tiếng Việt thu hẹp từ 14,0 điểm ở bản 3B xuống 3,9 điểm ở bản 72B: mô hình lớn hơn khai thác được nhiều hơn từ chút tiếng Việt nó đã thấy. Các mô hình mới cũng cố ý học nhiều ngôn ngữ hơn; Google cho biết Gemma 4 được huấn luyện trước trên hơn 140 ngôn ngữ.
Bạn có thể làm gì: dùng mô hình lớn hơn khi câu trả lời tiếng Việt thật sự quan trọng, vì mô hình nhỏ mất điểm nhiều nhất. Hỏi cả bằng tiếng Anh những câu quan trọng rồi so hai câu trả lời. Tự kiểm tra thông tin địa phương: điểm thi không nói gì về địa danh, luật hay giá cả ở Việt Nam.
8 Nói lại bằng lời bạn
9 Nhiệm vụ · 5 phút
Trên OpenRouter, mở khung chat với Gemma 4 31B miễn phí, một mô hình open-weights được Google huấn luyện trước trên hơn 140 ngôn ngữ. Hỏi: “A shop sells 3 pens for 10,000 dong. How much do 12 pens cost, and how many pens can 50,000 dong buy?” Rồi mở cuộc trò chuyện mới và hỏi cùng câu đó bằng tiếng Việt: “Một cửa hàng bán 3 cây bút giá 10.000 đồng. 12 cây bút giá bao nhiêu, và 50.000 đồng mua được bao nhiêu cây?” Thử mỗi cách ba lần. Các câu trả lời có đúng như nhau không?
Ba câu nhanh
Rút ngẫu nhiên từ bộ câu hỏi của bài; lần sau sẽ khác.
Xong chưa?
Nhận email khi có bài mới
Bài mới nằm trong bản tin hằng tuần, chỉ gửi vào tuần có bài. Bạn xác nhận qua email trước; hủy đăng ký chỉ với một lần bấm.
Đọc thêm
Nguồn
- Xuan et al., “MMLU-ProX: A Multilingual Benchmark for Advanced Large Language Model Evaluation” (arXiv:2503.10497 v2, 2025-05-26, https://arxiv.org/abs/2503.10497, checked 2026-10-25): 29 languages, “Each language version consists of 11,829 identical questions”; “their performance declines markedly in low-resource languages, with gaps of up to 24.3%”; Table 1: multiple-choice with 10 options; §3.3: translated by Claude Sonnet 3.7 in a four-stage LLM pipeline; §3.4 and Table 5: expert verification on 15 languages (zh, ja, fr, de, es, ko, pt, af, zu, sw, wo, yo, te, mr, ne), not Vietnamese
- MMLU-ProX Table 6 (“MMLU-ProX 5-shot Results”, accuracy %), columns en / vi / sw / yo / wo: GPT-4.1 79.8 / 76.7 / 71.9 / 53.4 / 43.2; Llama3.1-8B 45.2 / 31.3 / 15.1 / 6.4 / 0.4. en / vi: Qwen2.5-3B 43.9 / 29.9, Qwen2.5-7B 57.5 / 46.4, Qwen2.5-14B 65.5 / 57.1, Qwen2.5-32B 68.7 / 62.4, Qwen2.5-72B 70.3 / 66.4, DeepSeek-V3 79.6 / 75.4, Gemma3-27B 66.5 / 61.1, Llama3.1-70B 62.1 / 55.5, GPT-4o 59.9 / 70.4. Of the 42 models in Table 6, 40 score lower in Vietnamese than in English; GPT-4o and DeepSeek-R1-7B (28.9 / 33.1) score higher (counted 2026-10-25). Gaps (calculated): Llama3.1-8B 13.9, GPT-4.1 3.1, Qwen2.5 3B 14.0, 7B 11.1, 14B 8.4, 32B 6.3, 72B 3.9 points
- Wang et al., “MMLU-Pro: A More Robust and Challenging Multi-Task Language Understanding Benchmark” (arXiv:2406.01574 v1, 2024-06-03, https://arxiv.org/abs/2406.01574, checked 2026-10-25): “expanding the choice set from four to ten options”, so random guessing scores 10%
- Common Crawl, “Distribution of Languages” (https://commoncrawl.github.io/cc-crawl-statistics/plots/languages, checked 2026-10-25): share of HTML pages by primary language detected by CLD2, crawl CC-MAIN-2026-43: eng 42.5647, vie 0.9800, swa 0.0099, yor 0.0017, wol 0.0002 (%). English ÷ Vietnamese ≈ 43 (calculated)
- Touvron et al., “Llama 2: Open Foundation and Fine-Tuned Chat Models” (arXiv:2307.09288, 2023, https://arxiv.org/abs/2307.09288, checked 2026-10-25), Table 10, language distribution in pretraining data: en 89.70%, vi 0.08%
- Google, Gemma 4 model card (https://huggingface.co/google/gemma-4-31B-it and https://ai.google.dev/gemma/docs/core/model_card_4, last updated 2026-07-30, checked 2026-10-25): “This release includes open-weights models”; “Out-of-the-box support for 35+ languages, pre-trained on 140+ languages”; Apache 2.0
- The mission’s pen question is illustrative, written for this lesson on 2026-10-25
- aifree.dev catalog, openrouter-free-models (verified 2026-10-12, read-only check 2026-10-25): free variants include Google: Gemma 4 31B (free)
- The mission’s prices (3 pens for 10,000 dong, 50,000 dong to spend; 10.000 and 50.000 in Vietnamese notation) are example numbers; the answers are 40,000 dong for 12 pens and 15 pens for 50,000
Đăng Oct 25, 2026 · cập nhật Oct 26, 2026