Vì sao điểm benchmark của AI trông tốt hơn cảm nhận thực tế?
Benchmark: điểm của một bài kiểm tra công khai có thể gồm cả phần nhớ lại câu hỏi đã lọt vào dữ liệu huấn luyện, gần đỉnh thì không còn phân biệt được các mô hình, và được đo trên những việc không phải của bạn · Cơ bản · 5 phút · llm, training · học sau Eval: bộ câu hỏi cố định, một bộ chấm và nhiều lần chạy
Điểm benchmark là một con số từ một bài kiểm tra công khai. Câu hỏi của nó có thể lọt vào dữ liệu huấn luyện, các mô hình hàng đầu dồn sát mức trần, và các bài trong đó không phải việc của bạn. Hãy thử vài việc thật của chính bạn.
1 Đoán trước
2 Xem
What a test score leaves out
1 / 4Right answers: public test vs fresh look-alikes
GPT-4
public91.1%fresh92.3%math-shepherd-mistral-7b-rl
public82.6%fresh75.4%phi-2
public56.6%fresh50.4%Yi-6B-Chat
public43.7%fresh35.7%GSM8k vs 1,205 fresh GSM1k problems (Zhang et al., 2024)
A public maths test against 1,205 fresh look-alikes nobody had published. GPT-4 held; some models fell up to 8 points, as if they had partly learned the public test.
Một điểm số là một con số từ một bài kiểm tra công khai: một phần có thể là trí nhớ về câu hỏi bị lọt, gần đỉnh thì nó không còn phân biệt được các mô hình, và không phần nào là việc của bạn.
Benchmark được công bố để ai cũng so sánh được các mô hình. Nhưng như vậy câu hỏi và đáp án của chúng cũng nằm trên web, mà chữ trên web là dữ liệu huấn luyện. Một mô hình đã đọc câu hỏi kèm đáp án có thể ghi điểm nhờ nhớ, không phải nhờ giỏi. Các lab cố lọc bài kiểm tra ra, nhưng chỉ nhìn điểm số thì không biết họ lọc tốt tới đâu.
4 Bạn là model
Bạn là mô hình. Gặp ba yêu cầu: một câu hỏi kiểm tra bạn đã thấy khi huấn luyện, một câu mới na ná, và một việc thật mà không bài kiểm tra nào có.
round 1 of 3 · This exact test question, with its answer, was on many web pages you trained on.
The question comes in. What do you most likely do?
GSM8k vs 1,205 fresh GSM1k problems (Zhang et al., 2024); wording illustrative
You are the model. Pick what most likely happens.5 Kiểm tra
Bài kiểm tra cũ cũng bị lấp đầy. Các mô hình hàng đầu đạt trên 90% ở MMLU, nên chênh nhau một điểm chẳng nói được mấy. Một bài khó hơn, Humanity’s Last Exam, lại kéo giãn chính những mô hình đó ra, từ 2,7% tới 13,4%. Trên Chatbot Arena, nơi người dùng bỏ phiếu, hai mô hình đứng đầu chỉ cách nhau 0,7%.
Và benchmark không phải công việc của bạn. Câu hỏi thi và câu đố toán nói rất ít về email, code hay ngôn ngữ của bạn. Vậy hãy dùng điểm số để lọc ra danh sách ngắn, rồi đưa hai hoặc ba mô hình vài việc thật của chính bạn và tự đánh giá câu trả lời. Bài về eval chỉ cách làm việc đó cho công bằng.
8 Nói lại bằng lời bạn
9 Nhiệm vụ · 5 phút
Chọn hai việc thật trong tuần của bạn, chẳng hạn một email cần viết lại và một trang cần tóm tắt. Trong chat room của OpenRouter, thêm hai mô hình miễn phí và gửi mỗi việc cho cả hai. Đánh dấu từng câu trả lời: dùng được, cần sửa, hay sai. Mô hình nào thắng trên việc của bạn, và đó có phải mô hình có điểm benchmark cao hơn không?
Ba câu nhanh
Rút ngẫu nhiên từ bộ câu hỏi của bài; lần sau sẽ khác.
Xong chưa?
Nhận email khi có bài mới
Bài mới nằm trong bản tin hằng tuần, chỉ gửi vào tuần có bài. Bạn xác nhận qua email trước; hủy đăng ký chỉ với một lần bấm.
Đọc thêm
Nguồn
- Zhang, Da, Lee, Robinson, Wu, Song, Zhao, Raja, Slack, Lyu, Hendryx, Kaplan, Lunati, Yue, “A Careful Examination of Large Language Model Performance on Grade School Arithmetic” (arXiv:2405.00332, v4 2024-11-22, https://arxiv.org/abs/2405.00332, checked 2026-10-23): GSM1k, “1205 problems” written to mirror GSM8k’s style and difficulty; “we observe accuracy drops of up to 8%” (v1 of 2024-05-01 said up to 13%; v4 is used); “all frontier models show minimal signs of overfitting”; Table 1 (standard prompt), GSM8k vs GSM1k: gpt-4 0.911 vs 0.923, math-shepherd-mistral-7b-rl 0.826 vs 0.754, phi-2 0.566 vs 0.504, Yi-6B-Chat 0.437 vs 0.357
- Phan et al., “Humanity’s Last Exam” (arXiv:2501.14249, v12 2026-10-19, https://arxiv.org/abs/2501.14249, checked 2026-10-23): “LLMs now achieve over 90% accuracy on popular benchmarks like MMLU”; 2,500 questions; Table 1 HLE accuracy GPT-4o 2.7%, Claude 3.5 Sonnet 4.1%, o1 8.0%, o3-mini (high) 13.4% (text-only subset)
- Stanford HAI, AI Index Report 2025 (https://hai.stanford.edu/ai-index/2025-ai-index-report, checked 2026-10-23): on Chatbot Arena the score gap between the top and 10th-ranked models “fell from 11.9% to 5.4% in a year”; “the top two are now separated by just 0.7%”
- Model A and Model B in the picture, their scores, the role wording, the customer-email and record examples and the mission tasks are illustrative, not measured
- aifree.dev catalog, openrouter-free-models (verified 2026-10-12, read-only API check 2026-10-23): OpenRouter free model variants, 20 requests/minute, 50/day without bought credits
Đăng Oct 23, 2026 · cập nhật Oct 23, 2026