Vì sao nó giải sai câu đố khi chỉ một chi tiết thay đổi?
Câu đố bị sửa: một câu đố nổi tiếng và đáp án của nó xuất hiện rất nhiều lần trong dữ liệu huấn luyện, nên khi một chi tiết đổi và mẹo không còn, chatbot vẫn đưa ra đáp án nổi tiếng vì đoạn chữ trông quen; bắt nó liệt kê các chi tiết trước, hoặc dùng mô hình suy luận, sẽ đỡ hơn · Cơ bản · 5 phút · llm, training · học sau Hallucination (ảo giác), Benchmark: điểm của một bài kiểm tra công khai có thể gồm cả phần nhớ lại câu hỏi đã lọt vào dữ liệu huấn luyện, gần đỉnh thì không còn phân biệt được các mô hình, và được đo trên những việc không phải của bạn
Chatbot đã đọc các câu đố nổi tiếng và đáp án của chúng rất nhiều lần. Đổi một chi tiết để mẹo không còn, nó vẫn thường đưa ra đáp án nổi tiếng, vì đoạn chữ trông quen. Hãy bảo nó liệt kê các chi tiết trước.
1 Đoán trước
2 Xem
The same riddle, one word apart
1 / 4The famous riddle
A cowboy rode into town on Sunday, he stayed one night and rode out on Sunday. How is this possible?
Known answer: ✓ His horse is named Sunday.
riddle and answer: Riddle Riddle stimulus pair 1
A famous riddle. It is all over the internet, answer included, so a chatbot has read it many times. The trick: Sunday is the horse.
Một chữ đổi là đáp án đổi, nhưng xét về mặt chữ thì câu đố vẫn trông y như cũ, nên đáp án chatbot đã gặp nhiều lần sẽ bật ra trước.
Chatbot viết ra câu trả lời có khả năng đi tiếp đoạn chữ cao nhất. Câu đố nổi tiếng xuất hiện trên mạng hết lần này đến lần khác với cùng một đáp án, nên đáp án đó rất có khả năng. Đổi một chi tiết thì đoạn chữ vẫn gần như y hệt, nên đáp án quen thuộc vẫn đến trước, kể cả khi nó không còn khớp.
4 Bạn là model
Bạn là chatbot. Bạn nhận ba câu đố trông giống những câu bạn đã thuộc lòng. Hãy trả lời từng câu.
round 1 of 3 · you have read the famous version many times
There are six eggs in a basket. Five people each take one egg. How is it possible that one egg is still in the basket?
What do you answer?
riddles: Riddle Riddle stimulus pairs 30, 3 and 1; 49.7% from the same paper
You are the chatbot. These look like riddles you know by heart.5 Kiểm tra
Đây là trí nhớ, không phải thiếu thông minh. Cũng trong nghiên cứu đó, mô hình có thể viết tiếp nguyên văn tới 43% câu đố nổi tiếng chỉ từ 40% phần đầu. Mô hình càng thuộc một câu đố thì càng dễ làm đúng câu nổi tiếng, và càng dễ làm sai câu “song sinh” đã sửa.
Cách sửa là bắt nó đọc trước khi trả lời. Bảo nó nhắc lại đề và liệt kê mọi chi tiết trước, rồi mới trả lời. Hoặc dùng mô hình suy luận: với 149 câu đố kinh điển đã sửa, o3 của OpenAI làm đúng 59,7%, so với 29,5% của GPT-4o. Có ích, nhưng không mô hình nào trong cả hai nghiên cứu làm đúng hết.
8 Nói lại bằng lời bạn
9 Nhiệm vụ · 5 phút
Trong ChatGPT Free, dán “A cowboy rode into town on Sunday, he stayed one night and rode out on Monday. How is this possible?” (Một chàng cao bồi cưỡi ngựa vào thị trấn hôm Chủ nhật, ở lại một đêm rồi rời đi hôm thứ Hai. Sao lại có thể như vậy?). Nó có nhắc đến con ngựa không? Rồi mở cuộc chat mới và dán cùng câu đố đó sau “First restate this puzzle and list every detail, then answer:” (Trước hết hãy nhắc lại đề và liệt kê mọi chi tiết, rồi trả lời:). Câu trả lời có thay đổi không?
Ba câu nhanh
Rút ngẫu nhiên từ bộ câu hỏi của bài; lần sau sẽ khác.
Xong chưa?
Nhận email khi có bài mới
Bài mới nằm trong bản tin hằng tuần, chỉ gửi vào tuần có bài. Bạn xác nhận qua email trước; hủy đăng ký chỉ với một lần bấm.
Đọc thêm
Nguồn
- Fascendini, McGregor, Gupta and Griffiths, “The Riddle Riddle: Testing Flexible Reasoning in Large Language Models and Humans” (arXiv:2606.27103 v1, 2026-06-25, https://arxiv.org/abs/2606.27103, checked 2026-10-24): 30 matched pairs; Condition A a genuine riddle “collected from the internet”, Condition B made “by removing the trick while preserving structure, format, and length”; nine models, 10 repetitions per item, temperature 1. Abstract: “LLMs were far more accurate on genuine riddles than on riddle riddles (84.9% vs. 50.7%); whereas humans showed the reverse effect (50.5% vs. 80.5%)”, 100 human participants. Table 3, accuracy % Cond A / Cond B (permissive coding): Claude Opus 4.6 98.8 / 30.1, Gemini 3.1 Pro 97.8 / 91.1, GPT-5.4 91.1 / 43.5. “inventive reasoning was applied to 49.7% of Condition B trials”. Memorization check: “Models reproduced up to 43% of the riddles near verbatim” from the first 40%; “greater memorization of a riddle predicted higher accuracy on that riddle (OR = 1.43, p = .007) but lower accuracy on its matched riddle riddle (OR = 0.76, p < .001)”. Table 1 pairs 1 (cowboy, Sunday / Monday), 3 (fishing, 3 / 4 fish) and 30 (eggs, six / five people) with Table 2 answer keys are the riddles in the picture, the role, q3 and the mission
- Mukhopadhyay et al., “PHANTOM RECALL: When Familiar Puzzles Fool Smart Models” (arXiv:2510.11812 v1, 2025-10-13, https://arxiv.org/abs/2510.11812, checked 2026-10-24): “25 well-known logic puzzles and 149 carefully designed perturbations”; “Despite near-perfect accuracy on unmodified puzzles, models significantly underperform humans on perturbed ones”. Appendix B, human-judged accuracy on 149 puzzles: o3 59.73% (89/149), Gemini 2.5 Pro 58.39% (87/149), Claude Sonnet 4 54.36% (81/149), Gemini 2.5 Flash 48.32% (72/149), Claude 3.5 Sonnet 46.31% (69/149), GPT-4o 29.53% (44/149); Thinking vs Non-Thinking pairs per company as listed. A prompt with a “re-read the original question” check and “NO assuming ’standard’ interpretations” gave “approximately 10% improvement on closed-source LLMs”
- The chatbot answer “His horse is named Sunday.” on the changed riddle in the picture, the detail list (“in: Sunday, stayed: one night, out: Monday”), the role wording and the mission prompt prefix are illustrative, not a measured transcript
- aifree.dev catalog, chatgpt-free (verified 2026-10-12, read-only API check 2026-10-24): ChatGPT Free Plan
Đăng Oct 24, 2026 · cập nhật Oct 24, 2026