Vì sao nó lờ đi chữ “đừng”?
Phủ định trong mô hình ngôn ngữ: “not” (không) chỉ là thêm một chữ trong đoạn văn mô hình viết tiếp, một tín hiệu nhỏ bên cạnh những chữ mà câu nói đến, nên “A robin is not a” (Chim cổ đỏ không phải là một) vẫn dẫn tới “bird” (chim) và “Do not mention eggs” (Đừng nhắc đến trứng) vẫn để trứng có khả năng cao; nói cần viết gì hiệu quả hơn nói cần tránh gì · Cơ bản · 5 phút · attention, llm · học sau Dự đoán token tiếp theo, Self-attention
Mô hình viết chữ tiếp theo có khả năng nhất. “Không” chỉ là một chữ nhỏ bên cạnh những chữ mà câu nói đến, nên thứ bị cấm vẫn có khả năng cao. Hãy nói điều bạn muốn.
1 Đoán trước
2 Xem
Add “not”. Watch the odds
1 / 7SmolLM2-360M · base model · next word
A robin is a ___
small17.1%bird16.2%member3.5%common3.5%type3.2%real odds: SmolLM2-360M, GPT-2 and SmolLM2-360M-Instruct · computed 2026-10-25
A small model finishes “A robin is a”. “bird” gets 16.2%.
Why one word can get little weight: self-attention · next-word odds
“Not” chỉ là một chữ giữa nhiều chữ. Những chữ mà câu nói đến kéo chữ tiếp theo về phía chúng, nên thứ bạn đã loại trừ vẫn có khả năng cao.
Mô hình không lưu quy tắc nào kiểu “chim cổ đỏ không phải cá”. Mỗi chữ nhìn lại các chữ trước qua attention, và “not” chỉ là một trong số đó, thường với phần nhỏ. Trong văn bản, sau “not” thường chính là thứ bị phủ định: “not Paris but Lyon” (không phải Paris mà là Lyon). Nhắc tên một thứ là làm nó có khả năng cao, dù có “not” hay không.
4 Bạn là model
Bạn là mô hình qua ba vòng: hai câu sự thật có “not” và một cuộc chat có quy tắc “do not”. Chọn chữ mà bạn chấm điểm cao nhất.
round 1 of 3 · you are SmolLM2-360M · base model
A robin is not a ___
real odds: SmolLM2-360M, GPT-2 and SmolLM2-360M-Instruct · computed 2026-10-25
Pick the word you think this model rates highest.5 Kiểm tra
Mô hình lớn hơn xử lý “not” tốt hơn, nhưng chưa trọn vẹn. Kassner và Schütze thấy BERT cho cùng câu trả lời với “Birds can ___” (Chim có thể ___) và “Birds cannot ___” (Chim không thể ___) (2020); năm 2023, Truong và cộng sự vẫn thấy GPT-3 và InstructGPT không nhạy với phủ định.
Cách sửa nằm ở cách bạn hỏi. Nói điều bạn muốn, không phải điều cần tránh: trong hình, “Mention only toast and fruit” (Chỉ nhắc bánh mì nướng và trái cây) thắng “Do not mention eggs” (Đừng nhắc đến trứng), và hướng dẫn viết prompt của Anthropic cũng khuyên y như vậy. Đừng lặp lại chữ bị cấm trong prompt dài. Kiểm tra câu trả lời xem có thứ bạn đã loại trừ không.
8 Nói lại bằng lời bạn
9 Nhiệm vụ · 5 phút
Trên gói miễn phí của ChatGPT, mở một cuộc trò chuyện mới và hỏi: “Write a four-line poem about the sea. Do not use the word blue.” (Viết một bài thơ bốn dòng về biển. Đừng dùng chữ blue.) Đếm các chữ chỉ màu. Trong một cuộc trò chuyện mới khác, hỏi: “Write a four-line poem about the sea, using only the colours green and silver.” (Viết một bài thơ bốn dòng về biển, chỉ dùng màu xanh lá và bạc.) Cách nào giữ quy tắc của bạn tốt hơn? Thử mỗi cách ba lần.
Ba câu nhanh
Rút ngẫu nhiên từ bộ câu hỏi của bài; lần sau sẽ khác.
Xong chưa?
Nhận email khi có bài mới
Bài mới nằm trong bản tin hằng tuần, chỉ gửi vào tuần có bài. Bạn xác nhận qua email trước; hủy đăng ký chỉ với một lần bấm.
Đọc thêm
- Negated and Misprimed Probes for Pretrained Language Models: Birds Can Talk, But Cannot Fly (Kassner & Schütze, 2020)
- Language models are not naysayers: an analysis of language models on negation benchmarks (Truong và cộng sự, 2023)
- Prompting best practices: tell Claude what to do instead of what not to do (Anthropic)
Nguồn
- Kassner and Schütze, “Negated and Misprimed Probes for Pretrained Language Models: Birds Can Talk, But Cannot Fly” (ACL 2020, pp. 7811–7818, https://aclanthology.org/2020.acl-main.698/, checked 2026-10-25): “We find that PLMs do not distinguish between negated (“Birds cannot [MASK]”) and non-negated (“Birds can [MASK]”) cloze questions”
- Ettinger, “What BERT Is Not: Lessons from a New Suite of Psycholinguistic Diagnostics for Language Models” (TACL 8, 2020, pp. 34–48, https://aclanthology.org/2020.tacl-1.3/, checked 2026-10-25): BERT “shows clear insensitivity to the contextual impacts of negation”
- Truong, Baldwin, Verspoor and Cohn, “Language models are not naysayers: an analysis of language models on negation benchmarks” (*SEM 2023, pp. 101–114, https://aclanthology.org/2023.starsem-1.10/, checked 2026-10-25): tests GPT-neo, GPT-3 and InstructGPT; “LLMs have several limitations including insensitivity to the presence of negation”
- Xiao, Tian, Chen, Han and Lewis, “Efficient Streaming Language Models with Attention Sinks” (arXiv:2309.17453 v1, 2023-09-29, https://arxiv.org/abs/2309.17453, checked 2026-10-25): “the emergence of attention sink is due to the strong attention scores towards initial tokens”
- Anthropic, “Prompting best practices” (https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/claude-prompting-best-practices, no update date, checked 2026-10-25): “Tell Claude what to do instead of what not to do”; instead of “Do not use markdown in your response”, try “Your response should be composed of smoothly flowing prose paragraphs.”
- Next-word odds and attention in the picture and the role: computed 2026-10-25 with scripts/explain-data/negation.ts (no torch; the GPT-2 and Llama forward passes of scripts/explain-data/identity.ts, BF16 weights widened to F32; odds of a two-word answer are the product of its tokens’ odds). SmolLM2-360M (HuggingFaceTB/SmolLM2-360M): after “A robin is a”: small 0.171, bird 0.162, member 0.0353, common 0.0353, type 0.0316; after “A robin is not a”: bird 0.163, rob 0.153, ro 0.0137, song 0.0129, good 0.0127; after “A hammer is a”: tool 0.198; after “A hammer is not a”: tool 0.0709; after “The capital of France is”: Paris 0.203; after “The capital of France is not”: Paris 0.391, the 0.11, in 0.105, only 0.0388, a 0.0303. GPT-2 small (Hugging Face gpt2), same texts: bird 0.011 → 0.0235, tool 0.0372 → 0.0247, Paris 0.0322 → 0.0267. Attention of the last token of “A robin is not a” (SmolLM2-360M, mean over 32 layers × 15 heads): A 0.642, rob 0.038, in 0.0568, is 0.0881, not 0.0743, a 0.101 (even split 0.167). SmolLM2-360M-Instruct in its chat format with its template’s default system prompt (“You are a helpful AI assistant named SmolLM, trained by Hugging Face”), user “Write one sentence about what you ate for breakfast.” plus a rule, answer begun “For breakfast, I had”: no rule: scrambled 0.446, a 0.315, oatmeal 0.0562, eggs 0.0222, an 0.0207, scrambled eggs 0.441; “Do not mention eggs.”: a 0.346, scrambled 0.204, oatmeal 0.155, toast 0.104, some 0.026, eggs 0.00403, scrambled eggs 0.184; “Mention only toast and fruit.”: toast 0.528, a 0.316, to 0.0332, plain 0.0204, just 0.0115, eggs 0.0000605, scrambled eggs 0.00155
- The role’s framing, the breakfast and robin prompts and the mission prompt are illustrative, written for this lesson on 2026-10-25
- aifree.dev catalog, chatgpt-free (verified 2026-10-12): free text chats on chatgpt.com
Đăng Oct 25, 2026 · cập nhật Oct 25, 2026