Công cụ phát hiện AI có biết tôi dùng ChatGPT không?
Công cụ phát hiện văn bản AI: perplexity, burstiness và báo nhầm · Cơ bản · 5 phút · sampling, safety · học sau Dự đoán token tiếp theo, Temperature và lấy mẫu, Eval: bộ câu hỏi cố định, một bộ chấm và nhiều lần chạy
Công cụ phát hiện văn bản AI chấm xem chữ của bạn dễ đoán đến đâu với một language model (perplexity) và mức đó dao động bao nhiêu giữa các câu (burstiness). Dễ đoán không có nghĩa là máy viết, nên công cụ bỏ sót văn bản AI và gắn cờ cả người thật.
1 Đoán trước
2 Xem
What a detector measures
1 / 4We the people of the United States, in Order to form a more perfect Union, establish Justice, insure domestic Tranquility, provide for the common defence, promote the general Welfare, and secure the Blessings of Liberty to ourselves and our Posterity, do ordain and establish this Constitution for the United States of America.
GPT-2’s top guess: 72% of the words
- top guess
- top 10
- top 100
- further down
GPT-2 small run locally, 4 human + 4 AI paragraphs · 2026-10-23
Each word, as GPT-2 guessed it. The 1787 Constitution is mostly top guesses; the AI paragraph is not.
Công cụ phát hiện thấy chữ dễ đoán đến đâu, không thấy ai viết, và các đoạn của người với của AI chồng lên nhau.
Công cụ phát hiện chạy một language model trên văn bản của bạn và hỏi, từng từ một, token tiếp theo đó có khả năng xuất hiện đến đâu. Mức ngạc nhiên trung bình là perplexity (thấp nghĩa là dễ đoán); mức nó dao động giữa các câu là burstiness. Canh bạc: chatbot chọn từ dễ xảy ra, con người thì đi lan man. Công cụ thương mại thêm mô hình lớn hơn và một classifier (bộ phân loại) đã huấn luyện, nhưng vẫn chấm cùng một thứ.
4 Bạn là model
Bạn là công cụ phát hiện. Với bốn đoạn văn, bạn chỉ thấy câu mở đầu, perplexity và burstiness. Phán từng đoạn: AI hay người?
you are the detector · you see the opening and GPT-2’s two numbers · for comparison, the 8 paragraphs range 3.9–29.5 and 0–17.2
paragraph 1 of 4
“We the people of the United States, in Order to form…”
perplexity 3.9 · burstiness — (one sentence)
GPT-2 small run locally, 4 human + 4 AI paragraphs · 2026-10-23
Call each paragraph: AI or a person?5 Kiểm tra
Thành tích rất kém. OpenAI ra mắt công cụ phát hiện của riêng mình vào tháng 1/2023: nó bắt được 26% văn bản AI và gắn cờ nhầm 9% văn bản của người, rồi bị gỡ vào tháng 7/2023 vì độ chính xác thấp. Một nghiên cứu năm 2023 của Stanford chạy bảy công cụ trên 91 bài luận của người viết tiếng Anh không phải tiếng mẹ đẻ: trung bình chúng gọi 61% số bài là AI.
Vậy điểm số là manh mối, không bao giờ là bằng chứng. OpenAI nói ChatGPT không biết cái gì do AI tạo ra, nên hỏi nó “bạn viết cái này à?” chỉ nhận về câu trả lời ngẫu nhiên. Nếu bị gắn cờ, bản nháp, ghi chú và lịch sử phiên bản mới là bằng chứng thật. Watermark (thủy vân) là một hướng khác: mô hình tự đánh dấu văn bản của nó khi viết.
8 Nói lại bằng lời bạn
9 Nhiệm vụ · 5 phút
Trong ChatGPT Free, nhờ viết một đoạn năm câu về cuối tuần của bạn. Trong một cuộc chat mới, dán đoạn đó cạnh một đoạn bạn tự viết và hỏi: “Which of these was written by AI? Give a confidence %.” (Đoạn nào do AI viết? Cho biết độ tin cậy %.) Lặp lại trong một cuộc chat mới khác. Cả hai lần nó có chọn cùng một đoạn với cùng độ tin cậy không?
Ba câu nhanh
Rút ngẫu nhiên từ bộ câu hỏi của bài; lần sau sẽ khác.
Xong chưa?
Nhận email khi có bài mới
Bài mới nằm trong bản tin hằng tuần, chỉ gửi vào tuần có bài. Bạn xác nhận qua email trước; hủy đăng ký chỉ với một lần bấm.
Đọc thêm
Nguồn
- Measured with scripts/explain-data/ai-detectors.ts on 2026-10-23: GPT-2 small (Hugging Face openai-community/gpt2, run locally), every token after the first scored by GPT-2’s odds given all the text before it; perplexity = exp(mean −ln p); sentence perplexity in full context; burstiness = population standard deviation of sentence perplexities. Human, public domain from Project Gutenberg: US Constitution preamble (#5) 3.9, one sentence; Austen, Pride and Prejudice ch. 1 (#1342) 27.1, burstiness 6.2; Jerome, Three Men in a Boat ch. 1 (#308) 21.4, 17.2; Thoreau, Walden ch. 1 (#205) 22.1, 6.7. AI, first drafts by Claude Opus 5.5 on 2026-10-23, prompts in the script: reading 20.3, 8.4; river 29.5, 5.7; cabin 23.1, 9.1; constitution explainer 20.6, 7.6. GPT-2’s top guess: Constitution 72% of tokens, Jerome 38%, AI reading paragraph 38%
- https://openai.com/index/new-ai-classifier-for-indicating-ai-written-text/ (2023-01-31; read via web.archive.org snapshot 2023-08-02, checked 2026-10-23): “As of July 20, 2023, the AI classifier is no longer available due to its low rate of accuracy”; “correctly identifies 26% of AI-written text (true positives) as “likely AI-written,” while incorrectly labeling human-written text as AI-written 9% of the time”; “very unreliable on short texts (below 1,000 characters)”
- https://arxiv.org/abs/2304.02819 (Liang, Yuksekgonul, Mao, Wu, Zou, GPT detectors are biased against non-native English writers, v3 2023-07-10, published in Patterns 2023; checked 2026-10-23): seven detectors, 91 TOEFL essays and 88 US 8th-grade essays; “near-perfect accuracy for US 8-th grade essays”; TOEFL “average false positive rate: 61.22%”; “89 of the 91 TOEFL essays (97.80%) are flagged as AI-generated by at least one detector”; flagged essays had significantly lower perplexity
- https://help.openai.com/en/articles/8313351-how-can-educators-respond-to-students-presenting-ai-generated-content-as-their-own (read via web.archive.org snapshot 2025-10-12, checked 2026-10-23): “Do AI detectors work? In short, not in our experience”; “ChatGPT has no “knowledge” of what content could be AI-generated”; “These responses are random and have no basis in fact”; their detector “labeled human-written text like Shakespeare and the Declaration of Independence as AI-generated”
- https://arstechnica.com/information-technology/2023/07/why-ai-detectors-think-the-us-constitution-was-written-by-ai/ (Benj Edwards, 2023-07-14, read via web.archive.org snapshot 2023-08-01): GPTZero said of part of the US Constitution “Your text is likely to be written entirely by AI”; detectors use “perplexity” and “burstiness”
- https://www.nature.com/articles/s41586-024-08025-4 (Dathathri et al., Scalable watermarking for identifying large language model outputs, Nature, 2024-10-23): SynthID-Text “modifies only the sampling procedure”; live experiment on nearly 20 million Gemini responses
- https://arxiv.org/abs/1906.04043 (Gehrmann, Strobelt, Rush, GLTR, ACL 2019 demo, submitted 2019-06-10): colouring each token by its rank in the model’s guesses (top 10, top 100, top 1,000)
- aifree.dev catalog chatgpt-free (verified 2026-10-12)
Đăng Oct 23, 2026 · cập nhật Oct 23, 2026