Vì sao càng chat lâu nó càng tệ đi?
Cuộc chat dài: mô hình đoán sớm, xây tiếp trên chính những phỏng đoán ấy qua từng lượt, và kém tin cậy dần khi ngữ cảnh dài ra, kể cả khi còn xa mép cửa sổ · Cơ bản · 5 phút · context, llm · học sau Lost in the middle: thiên lệch vị trí trong ngữ cảnh dài
Chat càng dài càng tệ: mô hình đoán sớm, rồi xây tiếp trên phỏng đoán của chính nó, và câu trả lời kém chắc dần khi ngữ cảnh dài ra, kể cả khi vẫn trong cửa sổ. Một cuộc chat mới với bản tóm tắt ngắn và trọn yêu cầu sẽ đỡ hơn.
1 Đoán trước
2 Xem
What a long chat costs
1 / 4Average score, same tasks, same details
one message≈90turn by turn≈65the same pieces pasted into one message: 95.1% of the one-message score
15 LLMs, 600 tasks, 200,000+ simulated chats (Laban et al., 2025)
The same tasks scored about 90 in one message and about 65 when the details came turn by turn. Averaged over models and tasks: a 39% drop.
Cuộc chat hỏng khi mô hình trả lời trước khi có đủ thông tin rồi cứ xây tiếp trên phỏng đoán đó, và ngữ cảnh càng dài thì câu trả lời nào cũng kém chắc thêm một chút.
Vì sao chính cuộc chat gây hại: mô hình trả lời ở mọi lượt, kể cả khi yêu cầu còn thiếu một nửa. Nó lấp chỗ trống bằng phỏng đoán, và những phỏng đoán đó ở lại trong ngữ cảnh. Lượt sau, nó đọc câu trả lời cũ của chính mình như thể đó là sự thật và vá lại thay vì làm lại từ đầu. Phỏng đoán sai từ sớm cứ theo đến cuối.
4 Bạn là model
Bạn là mô hình. Một người dùng lên kế hoạch chuyến đi cùng bạn, mỗi lần một chi tiết, rồi mở một cuộc chat mới. Mỗi lượt, chọn thứ bạn có khả năng viết nhất.
round 1 of 3 · Turn 1. The user writes: “Plan a 3-day trip for me.” Nothing else yet.
What do you most likely write?
15 LLMs, 600 tasks, 200,000+ simulated chats (Laban et al., 2025); replies illustrative
You are the model. Pick what you would most likely write.5 Kiểm tra
Chỉ riêng độ dài cũng gây hại. Trong một bài kiểm tra, GPT-4o tìm ra một dữ kiện được giấu 99,3% số lần trong một văn bản ngắn, nhưng chỉ 69,7% số lần trong 32K token, mới một phần tư cửa sổ của nó. Chuyện này không phải về chỗ dữ kiện nằm, như lost in the middle (lạc ở giữa): chữ càng nhiều thì câu trả lời nào cũng kém chắc hơn.
Vậy khi cuộc chat bắt đầu luẩn quẩn, đừng vá nữa. Nhờ nó tóm tắt ngắn mọi thứ bạn muốn, mở một cuộc chat mới, rồi dán bản tóm tắt cùng trọn yêu cầu vào một tin nhắn. Lần sau, hãy đưa toàn bộ yêu cầu ngay từ đầu thay vì nhỏ giọt từng mẩu.
8 Nói lại bằng lời bạn
9 Nhiệm vụ · 5 phút
Trong ChatGPT, gửi “Plan a 3-day trip for me.” (Lên kế hoạch chuyến đi 3 ngày cho tôi.) Rồi thêm mỗi tin một chi tiết: “It’s Hanoi.” (Ở Hà Nội.), “We travel with a toddler.” (Chúng tôi đi cùng con nhỏ.), “No museums.” (Không bảo tàng.), “About $50 a day.” (Khoảng 50 đô một ngày.) Gửi “Summarize everything I want in one message.” (Tóm tắt mọi thứ tôi muốn trong một tin nhắn.), mở một cuộc chat mới, dán bản tóm tắt đó và xin kế hoạch. Kế hoạch nào khớp cả bốn chi tiết?
Ba câu nhanh
Rút ngẫu nhiên từ bộ câu hỏi của bài; lần sau sẽ khác.
Xong chưa?
Nhận email khi có bài mới
Bài mới nằm trong bản tin hằng tuần, chỉ gửi vào tuần có bài. Bạn xác nhận qua email trước; hủy đăng ký chỉ với một lần bấm.
Đọc thêm
Nguồn
- Laban, Hayashi, Zhou, Neville, “LLMs Get Lost In Multi-Turn Conversation” (arXiv:2505.06120, v1 2025-05-09, https://arxiv.org/abs/2505.06120, checked 2026-10-23): 15 LLMs, six generation tasks, 600 instructions, 200,000+ simulated conversations; “an average drop of 39% across six generation tasks”, about 90% fully specified in one turn vs about 65% sharded over turns; aptitude −16%, unreliability +112%; Concat (the shards in one message) 95.1% of Full; first answer attempt in the first 20% of turns P̄ = 30.9 vs 64.4 in the last 20% (Code and Math); final answers 20–300% longer than single-turn ones; GPT-4o Full 93.0, Concat 90.9, Sharded 59.1, Recap 76.6, Snowball 65.3; at temperature 0.0 unreliability stays around 30%; advice: start a new conversation that repeats the information, after asking for a summary
- Modarressi et al., “NoLiMa: Long-Context Evaluation Beyond Literal Matching” (arXiv:2502.05167, v3 2025-07-09, https://arxiv.org/abs/2502.05167, checked 2026-10-23): 13 LLMs that claim at least 128K tokens; “At 32K, for instance, 11 models drop below 50% of their strong short-length baselines”; GPT-4o “from an almost-perfect baseline of 99.3% to 69.7%”
- Hong, Troynikov, Huber, “Context Rot: How Increasing Input Tokens Impacts LLM Performance” (Chroma, 2025-07-14, https://www.trychroma.com/research/context-rot, checked 2026-10-23): 18 LLMs incl. GPT-4.1, Claude 4, Gemini 2.5, Qwen3; repeated-words task 25 to 10,000 words, “As context length increases, performance consistently degrades across all models”; LongMemEval focused prompts (~300 tokens) vs full (~113k tokens): “significantly higher performance on focused prompts”
- The trip chat, the role’s replies and plans, the summary card, the coding chat and the friend’s project are illustrative, not measured outputs
- aifree.dev catalog, chatgpt-free (verified 2026-10-12, read-only API check 2026-10-23): ChatGPT Free Plan
Đăng Oct 23, 2026 · cập nhật Oct 23, 2026