Vì sao nó trả lời sai ngôn ngữ?
Trả lời sai ngôn ngữ (lẫn lộn ngôn ngữ): chatbot học chủ yếu từ chữ tiếng Anh, và phần huấn luyện để trò chuyện cũng chủ yếu bằng tiếng Anh, nên từ tiếng Anh vẫn thường là mẩu tiếp theo dễ xảy ra kể cả khi bạn viết bằng ngôn ngữ khác; một system prompt tiếng Anh, một tài liệu tiếng Anh dán vào hay các thuật ngữ kỹ thuật còn đẩy chúng lên cao hơn, và câu trả lời trượt sang tiếng Anh hoặc chen từ tiếng Anh vào; hãy nêu ngôn ngữ trả lời ở đầu và ở cuối, viết system prompt bằng ngôn ngữ của bạn, và hạ temperature khi chỉnh được · Cơ bản · 5 phút · sampling, llm · học sau Tokenizer và ngôn ngữ: vì sao cùng một câu lại tốn hơn, System prompt và thứ tự ưu tiên chỉ dẫn
Chatbot trả lời sai ngôn ngữ vì từ tiếng Anh vẫn thường là mẩu tiếp theo dễ xảy ra: nó học chủ yếu từ tiếng Anh. Chỉ dẫn tiếng Anh hay đoạn tiếng Anh dán vào càng làm chúng dễ xảy ra hơn. Hãy nêu ngôn ngữ của bạn ở đầu và ở cuối.
1 Đoán trước
2 Xem
A Vietnamese question, and an answer that slides into English
1 / 6You ask
Chỉ số Gini được tính thế nào?
(How is the Gini index calculated?)
The chatbot answers
- Chỉ số Gini đo mức bất bình đẳng thu nhập.Vietnamese · “The Gini index measures income inequality.”
- Nó dựa trên một đường cong called the Lorenz curve.one English word slips in · “It is based on a curve called the Lorenz curve.”
- The index is the area between that curve and the line of equality.a whole line in English
illustrative: not a recorded model answer
You asked in Vietnamese. The answer starts in Vietnamese, slips in one English word, then finishes a whole line in English (illustrative).
Ở mỗi bước, từ tiếng Anh vẫn nằm trong số những mẩu tiếp theo dễ xảy ra; một từ trong số đó được chọn, và câu trả lời trượt sang tiếng Anh.
Chatbot viết từng token, một mẩu chữ nhỏ, mỗi lần một mẩu, chọn trong số các mẩu tiếp theo dễ xảy ra. Nó học từ chữ phần lớn là tiếng Anh: dữ liệu huấn luyện của Llama 2 có 89,70% tiếng Anh và 0,08% tiếng Việt. Vì thế ngay cả trong câu trả lời tiếng Việt, một từ tiếng Anh vẫn thường là mẩu tiếp theo dễ xảy ra.
4 Bạn là model
Bạn là chatbot. Ba lần, bạn đang viết dở một câu trả lời tiếng Việt. Đọc những gì bạn được đưa, rồi chọn những từ tiếp theo.
Round 1 of 3. What you were given
- You get: “Chỉ số Gini dựa trên gì?” (What is the Gini index based on?)
Your answer so far: “Nó dựa trên một đường cong ___” (It is based on a curve ___). Which words come next?
illustrative shares, not recorded model output
You are the chatbot. Pick the next words of your Vietnamese answer.5 Kiểm tra
Huấn luyện trò chuyện cũng quan trọng. Llama 3 70B gốc, chỉ được huấn luyện để viết tiếp chữ, giữ tiếng Việt 97,0% số lần; sau khi huấn luyện trò chuyện bằng các ví dụ chủ yếu tiếng Anh, còn 10,0%. Các mô hình mới hơn làm tốt hơn nhiều, nhưng chưa mô hình nào hoàn hảo: trong một thử nghiệm năm 2025, Qwen3-235B chen chữ Latin vào 5,07% bản dịch, GPT-5-Chat vào 0,67%.
Ba thói quen giúp ích. Nêu ngôn ngữ trả lời ở đầu và cuối một prompt dài; khi bị chôn ở giữa, nó hiệu quả kém nhất (69,0% so với 86,7% khi đặt ở đầu, với một mô hình). Viết system prompt, phần chỉ dẫn chatbot nhận đầu tiên, bằng ngôn ngữ của bạn. Khi chỉnh được, hãy hạ temperature.
8 Nói lại bằng lời bạn
9 Nhiệm vụ · 5 phút
Trong ChatGPT Free, mở một cuộc trò chuyện mới. Dán một đoạn tin tức tiếng Anh, rồi bên dưới hỏi bằng một ngôn ngữ khác bạn biết, như tiếng Việt hay tiếng Tây Ban Nha, xin một bản tóm tắt ba câu. Câu trả lời bằng ngôn ngữ nào, và có từ tiếng Anh chen vào không? Rồi mở một cuộc trò chuyện mới và thêm “Reply only in <your language>” (Chỉ trả lời bằng <ngôn ngữ của bạn>) ở đầu và lặp lại ở cuối, viết bằng chính ngôn ngữ đó. Giờ nó có giữ ngôn ngữ của bạn không?
Ba câu nhanh
Rút ngẫu nhiên từ bộ câu hỏi của bài; lần sau sẽ khác.
Xong chưa?
Nhận email khi có bài mới
Bài mới nằm trong bản tin hằng tuần, chỉ gửi vào tuần có bài. Bạn xác nhận qua email trước; hủy đăng ký chỉ với một lần bấm.
Đọc thêm
Nguồn
- Marchisio et al., “Understanding and Mitigating Language Confusion in LLMs” (EMNLP 2024; arXiv:2406.20052 v3, 2025-04-03, https://arxiv.org/abs/2406.20052, checked 2026-10-24): Language Confusion Benchmark, 15 languages incl. Vietnamese, at most 100 tokens per reply. Line-level pass rate (LPR) = “percentage of model responses that pass our line-level language confusion detector without error. A response is “correct” if all lines match the user’s desired language.” Table 3, monolingual LPR, vi: Llama 3 70B-I 10.0, Llama 2 70B-I 17.0, Llama 3.1 70B-I 100.0, GPT-4o 99.0. Table 6, vi: Llama 2 70B base 98.0, Llama 3 70B base 97.0; §4.5: “instruction-tuned Llama models are much more confused, indicating English-centric instruction tuning”
- Marchisio et al. 2024, Table A11 (cross-lingual LPR by position of the language instruction), Command R: Start 86.7, Integrated 69.0, End 85.1; §4.3: “Integrated instructions cause more confusion: Command R has only 69% LPR on this type of prompt, versus 85% for isolated types”. Table 8 (monolingual word-level pass rate of Command R, ar/hi/ja/ko/ru/zh average): T=0.0 97.2, T=1.0 86.5
- Touvron et al., “Llama 2: Open Foundation and Fine-Tuned Chat Models” (arXiv:2307.09288, 2023, checked 2026-10-24), Table 10, language distribution in pretraining data: en 89.70%, vi 0.08% (“Most data is in English”); about 1,100 times more English than Vietnamese (calculated: 89.70 / 0.08 ≈ 1,121)
- Zhang, Huang, Yuan and Lin, “Language Confusion Gate: Language-Aware Decoding Through Model Self-Distillation” (arXiv:2510.17555 v1, 2025-10-20, https://arxiv.org/abs/2510.17555, checked 2026-10-24): §3.1, Qwen3-8B on FLORES-NO-LATIN: “the confusion token is the top-1 token 56.74% of the time” and “language consistent tokens appear within top-3 99.29% of the time”. Table 6, commercial chat models on FLORES-NO-LATIN (translations from English whose references contain no Latin characters, “so any Latin script in model output is considered erroneous”; Latin % = replies with erroneous Latin characters): Qwen3-235B-Instruct 5.07, GPT-5-Chat 0.67, Claude-Sonnet-4 0.35
- The chat, the reply, the next-word scores and the role’s shares are illustrative, not recorded model output. The picture’s shares at temperature 0.3 are calculated from the illustrative ones at 1.0 (softmax of log-share / temperature)
- aifree.dev catalog, chatgpt-free (verified 2026-10-12, live check 2026-10-24): ChatGPT Free Plan
Đăng Oct 24, 2026 · cập nhật Oct 24, 2026