Vì sao đưa nhiều yêu cầu thì nó bỏ sót vài cái?
Làm theo chỉ dẫn khi có nhiều ràng buộc: mỗi yêu cầu trong prompt là thêm một lần kiểm mà câu trả lời phải qua trong lúc được viết ra từng token, nên khả năng giữ đủ tất cả giảm dần khi yêu cầu chồng lên nhau; yêu cầu nằm cuối một danh sách dài, mâu thuẫn nhau hoặc phải đếm (đúng N từ, không bao giờ dùng một chữ cái) bị rơi nhiều nhất; ít yêu cầu mỗi lượt, danh sách đánh số, điều bắt buộc đặt đầu và cuối, cùng một bước tự kiểm theo danh sách sẽ giúp · Cơ bản · 5 phút · context, llm · học sau System prompt và thứ tự ưu tiên chỉ dẫn, Lost in the middle: thiên lệch vị trí trong ngữ cảnh dài
Chatbot bỏ sót một phần yêu cầu dài vì mỗi yêu cầu là thêm một lần kiểm câu trả lời phải qua. Từng lần thường qua, nhưng lỡ cộng dồn: GPT-4 giữ đủ cả ba chỉ dẫn chỉ khoảng một nửa số lần.
1 Đoán trước
2 Xem
Eight requests, one reply
1 / 6You: Write a product blurb for our steel water bottle. Keep it under 60 words, friendly, and in British English. Mention that it keeps drinks cold for 24 hours, that it costs £25 and that it is dishwasher safe. Don’t use any commas. Don’t use exclamation marks. End with a question.
Chatbot: Meet your new favourite bottle. Our steel bottle keeps drinks ice-cold for 24 hours, so your water tastes fresh from morning to night. All this for just £25. Ready to swap your plastic for good?
- ✓ under 60 words
- ✓ friendly
- ✓ British English
- ✓ cold for 24 hours
- ✓ costs £25
- ✗ dishwasher safe
- ✗ no commas
- ✓ ends with a question
illustrative: a request and reply we wrote, not a recorded model answer
One message, eight requirements. The reply reads well and keeps six. “Dishwasher safe”, in the middle, is gone, and there is a comma (illustrative).
Từng yêu cầu riêng lẻ thường được giữ. Gộp lại thì hiếm khi giữ đủ, và những cái nằm giữa, ở cuối một danh sách dài hoặc phải đếm sẽ rơi trước.
Mô hình viết câu trả lời từng token một, và mỗi yêu cầu là thêm một lần kiểm mà từng phần phải qua. Bên cạnh nó không có danh sách nào để đánh dấu. Từng lần kiểm thường qua, nhưng lỡ cộng dồn: 0,81 × 0,81 × 0,81 là khoảng 0,53. Tám yêu cầu trong một đoạn gần như chắc chắn có một cái trượt.
4 Bạn là model
Bạn là chatbot. Ba lần, hãy chọn câu quảng cáo xe đạp giữ đủ mọi luật. Số luật tăng dần: một, rồi ba, rồi năm.
Round 1 of 3. Write one line of an ad for a folding bike. Rules:
- 1. mention “bike”
illustrative: the rules and lines are ours, checked by code
You are the chatbot. Pick the line that keeps every rule.5 Kiểm tra
Cái nào rơi? Trong IFScale (2025), với 250 yêu cầu cùng lúc, đa số mô hình lỡ phần cuối danh sách nhiều hơn phần đầu. Luật mâu thuẫn nhau, như 5 đoạn trong dưới 20 từ, không thể cùng giữ. Và đếm là khó nhất: GPT-4 giữ “a letter N times” (một chữ cái N lần) 60,6% số lần và “no commas” (không dấu phẩy) 66,7%, so với 97,4% cho “include this word” (có từ này).
Điều giúp được: ít yêu cầu hơn mỗi tin nhắn, chia việc lớn thành nhiều lượt. Một danh sách đánh số, mỗi dòng một luật. Điều bắt buộc đặt đầu và cuối, không để ở giữa. Và một dòng kết: “Before you answer, check your draft against each numbered rule.” (Trước khi trả lời, hãy kiểm bản nháp theo từng luật đã đánh số.) Với số đếm chính xác, hãy tự đếm hoặc dùng công cụ đếm từ.
8 Nói lại bằng lời bạn
9 Nhiệm vụ · 5 phút
Trong ChatGPT Free, dán yêu cầu bình nước trong hình thành một đoạn và đánh dấu tám yêu cầu của nó trong câu trả lời. Rồi mở cuộc trò chuyện mới, gửi đúng tám yêu cầu đó thành danh sách đánh số, điều bắt buộc đặt đầu và cuối, kết bằng “Check your draft against each numbered rule before you answer.” (Hãy kiểm bản nháp theo từng luật đã đánh số trước khi trả lời.) Câu trả lời nào giữ được nhiều hơn?
Ba câu nhanh
Rút ngẫu nhiên từ bộ câu hỏi của bài; lần sau sẽ khác.
Xong chưa?
Nhận email khi có bài mới
Bài mới nằm trong bản tin hằng tuần, chỉ gửi vào tuần có bài. Bạn xác nhận qua email trước; hủy đăng ký chỉ với một lần bấm.
Đọc thêm
Nguồn
- Zhou, Lu, Mishra, Brahma, Basu, Luan, Zhou and Hou, “Instruction-Following Evaluation for Large Language Models” (IFEval; arXiv:2311.07911 v1, 2023-11-14, https://arxiv.org/abs/2311.07911, checked 2026-10-24): 25 verifiable instructions, 541 prompts with one to three each. Table 3, GPT-4: prompt-level strict-accuracy 76.89, inst-level strict-accuracy 83.57 (PaLM 2 S 43.07, 55.76). §2.1: “one instruction limits the number of paragraphs to 5, whereas another instruction asks for less than 20 words”; illogical prompts were removed
- IFEval breakdown computed 2026-10-24 by running the IFEval code (google-research/instruction_following_eval, evaluation_lib strict) on GPT-4’s published responses (data/input_response_data_gpt4_20231107_145030.jsonl; one prompt whose wording was later edited matched by position); totals reproduce Table 3 (76.89, 83.57). All instructions followed by prompts with 1/2/3 instructions: 85.9% (305 prompts), 69.8% (179), 50.9% (57); each instruction followed: 85.9%, 82.7%, 81.3%. By instruction: letter_frequency 60.6% (33), no_comma 66.7% (66), number_sentences 67.3% (52), number_words 71.2% (52), response_language 96.8% (31), keywords existence 97.4% (39), title 100% (37), json_format 100% (17)
- Jaroslawicz, Whiting, Shah and Maamari, “How Many Instructions Can LLMs Follow at Once?” (IFScale; arXiv:2507.11538 v1, 2025-07-15, https://arxiv.org/abs/2507.11538, checked 2026-10-24): a business report that must include 10 to 500 given words, 20 models, 5 runs each. Appendix A Table 1, accuracy at 10/50/100/250/500: gemini-2.5-pro-preview 100.0/99.6/98.4/84.8/68.9, o3 (high) 100.0/99.6/98.2/97.8/62.8, gpt-4.1 98.0/98.8/95.4/74.0/48.9, claude-sonnet-4 100.0/98.0/94.4/77.2/42.9, gpt-4o 94.0/82.8/49.0/22.2/15.4. Primacy effect ratio (error rate in the final third ÷ the first third) at 250, all 23 rows: 1.48, 1.77, 1.49, 0.95, 1.15, 0.49, 1.55, 2.06, 1.67, 1.40, 1.15, 1.67, 2.89, 1.80, 1.31, 1.22, 1.60, 2.62, 2.33, 2.28, 1.50, 1.66, 1.68 (21 above 1). §4.6: “while packing more important instructions towards the beginning of a prompt may help, it becomes a less effective strategy once extreme densities are reached”
- Jiang et al., “FollowBench: A Multi-level Fine-grained Constraints Following Benchmark for Large Language Models” (arXiv:2310.20410 v3, 2024-06-05, https://arxiv.org/abs/2310.20410, checked 2026-10-24): Table 2, Hard Satisfaction Rate (all constraints of an instruction satisfied) at levels L1–L5 (1 to 5 constraints): GPT-4-Preview-1106 84.7, 75.6, 70.8, 73.9, 61.9; GPT-3.5-Turbo-1106 80.3, 68.0, 68.6, 61.1, 53.2
- The bottle request and reply, the bike-ad rules and lines, the mission prompt and the habit wording are illustrative, written for this lesson on 2026-10-24; the reply’s and the lines’ rule checks are computed by code in the lesson
- aifree.dev catalog, chatgpt-free (verified 2026-10-12, live check 2026-10-24): ChatGPT Free Plan
- Arithmetic in the text: 0.81 × 0.81 × 0.81 = 0.531, about 0.53 (0.81 is close to GPT-4’s 81.3% per instruction in three-instruction prompts above); five rules at 0.9 each: 0.9⁵ = 0.590, about 59%
Đăng Oct 24, 2026 · cập nhật Oct 26, 2026