Làm sao biết prompt mới của tôi thật sự tốt hơn?
Eval: bộ câu hỏi cố định, một bộ chấm và nhiều lần chạy · Thực hành · 5 phút · sampling, llm · học sau Temperature và lấy mẫu
Một eval gồm một bộ câu hỏi cố định, một bộ chấm chấm mọi câu trả lời theo cùng một cách, và nhiều lần chạy cho mỗi prompt. Prompt mới chỉ tốt hơn nếu nó thắng trên cùng bộ câu hỏi với khoảng cách lớn hơn mức dao động giữa các lần chạy.
1 Đoán trước
2 Xem
Same 10 questions, two prompts
1 / 4old prompt
France: Paris Italy: Rome Japan: Tokyo Germany:
new prompt
Capital cities: France: Paris Italy: Rome Japan: Tokyo Germany:
Answers to 10 capital questions, old prompt run 2, new prompt run 4 question old · run 2 new · run 4 Germany (Berlin) ✗ Frankfurt ✗ Frankfurt Spain (Madrid) ✓ Madrid ✓ Madrid Russia (Moscow) ✗ Anton ✓ Moscow China (Beijing) ✗ Chong ✓ Beijing Egypt (Cairo) ✗ Islamabad ✓ Cairo Greece (Athens) ✓ Athens ✓ Athens England (London) ✗ Edinburgh ✓ London Ireland (Dublin) ✗ Geneva ✗ Cork Austria (Vienna) ✗ Ger ✗ Tar Canada (Ottawa) ✗ Toronto ✗ G score 2 of 10 6 of 10 measured with GPT-2 small, temperature 1, 5 seeded runs, exact match · 2026-10-23
One run each, graded by exact match: the new prompt 6 of 10, the old one 2. Decisive?
Một lần chạy là một lần tung xúc xắc: cùng prompt, cùng câu hỏi, lần này được 3, lần sau được 6.
Một eval có ba phần. Một bộ câu hỏi cố định, giống nhau cho mọi prompt. Một bộ chấm: exact match khi chỉ có một đáp án đúng, rubric cho câu trả lời mở, hoặc LLM-as-judge (dùng LLM làm giám khảo), thứ đồng ý với con người hơn 80% số lần trong một nghiên cứu năm 2023 nhưng bị thứ tự và độ dài câu trả lời làm lệch. Và nhiều lần chạy.
4 Bạn là model
Bạn duyệt một thay đổi prompt. Với bốn bảng điểm thật từ các lần chạy trong hình, hãy quyết định: ship prompt mới, chưa chứng minh được, hay giữ prompt cũ.
you review the prompt change · 10 capital questions, exact match · what does each scoreboard prove?
scoreboard 1 of 4
2 questions (Germany, Spain), run 1: old prompt 0 of 2, new prompt 1 of 2.
measured with GPT-2 small, temperature 1, 5 seeded runs, exact match · 2026-10-23
You review the change. Ship it, wait for more runs, or keep the old prompt?5 Kiểm tra
Cái bẫy tiếp theo là overfitting (khớp quá mức). Chỉnh prompt cho tới khi nó qua 10 câu hỏi của bạn thì nó khớp với 10 câu đó, chứ không phải với nhiệm vụ. Hãy giữ những câu hỏi held-out (để riêng) mà bạn không bao giờ nhìn vào khi viết prompt, thêm các lỗi thật vào bộ câu hỏi khi chúng xuất hiện, và mở rộng nó: Anthropic khuyên nên có nhiều câu hỏi chấm tự động hơn là ít câu chấm bằng tay.
7 Nói lại bằng lời bạn
8 Nhiệm vụ · 5 phút
Với một Gemini API key miễn phí, dựng một eval tí hon: 5 câu hỏi, mỗi câu có một đáp án chính xác, prompt cũ và một prompt mới, mỗi prompt chạy 3 lần trên gemini-3.5-flash-lite ở temperature 1 (30 lần gọi, một script ngắn). Đếm số câu khớp chính xác mỗi lần chạy. Điểm của cùng một prompt có thay đổi giữa các lần chạy không? Khoảng cách giữa hai prompt có lớn hơn mức đó không?
Ba câu nhanh
Rút ngẫu nhiên từ bộ câu hỏi của bài; lần sau sẽ khác.
Xong chưa?
Nhận email khi có bài mới
Bài mới nằm trong bản tin hằng tuần, chỉ gửi vào tuần có bài. Bạn xác nhận qua email trước; hủy đăng ký chỉ với một lần bấm.
Đọc thêm
Nguồn
- Measured with scripts/explain-data/evals.ts on 2026-10-23: GPT-2 small (Hugging Face gpt2, run locally), temperature 1, 5 seeded runs per prompt, exact match on the first sampled token. 10 test questions: plain sentence “The capital of X is” runs 0, 0, 0, 0, 1 (0.537); old prompt (France: Paris / Italy: Rome / Japan: Tokyo / X:) 3, 2, 2, 4, 3 (3.409); new prompt (“Capital cities:” + the old one) 4, 4, 3, 6, 3 (3.61). 6 held-out questions: old 1, 3, 1, 4, 5 (2.47); new 4, 3, 3, 4, 3 (2.764). Numbers in brackets: the long-run score, the sum of GPT-2’s odds for each right token
- https://arxiv.org/abs/2306.05685 (Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena, v4 2023-12-24, checked 2026-10-23): “strong LLM judges like GPT-4 can match both controlled and crowdsourced human preferences well, achieving over 80% agreement, the same level of agreement between humans”; “position, verbosity, and self-enhancement biases”
- https://platform.claude.com/docs/en/test-and-evaluate/develop-tests (checked 2026-10-23): exact match “perfect for tasks with clear-cut, categorical answers”; string match, code-graded, LLM-graded; “Prioritize volume over quality: More questions with slightly lower signal automated grading is better than fewer questions with high-quality human hand-graded evals”
- https://ai.google.dev/gemini-api/docs/pricing (updated 2026-10-22, checked 2026-10-23): Gemini 3.5 Flash-Lite free tier, input and output “Free of charge”; https://ai.google.dev/gemini-api/docs/rate-limits (updated 2026-10-15): “Rate limits are applied per project, not per API key”; aifree.dev catalog google-gemini-developer-api-free-tier (verified 2026-10-12)
- Arithmetic from the measured runs above: the new prompt beats the old one by 3.61 − 3.409 ≈ 0.2 of a question in the long run; the plain sentence got 1 right in 5 runs × 10 questions = 50 answers; the mission’s 5 questions × 2 prompts × 3 runs = 30 calls
Đăng Oct 23, 2026 · cập nhật Oct 26, 2026