Vì sao bản mini hay flash là bản miễn phí?
Chưng cất kiến thức (mô hình thầy và mô hình trò) · Cơ bản · 5 phút · llm, training · học sau Dự đoán token tiếp theo, Training: loss và gradient descent, Kích thước mô hình, gói miễn phí và gói trả phí
Distillation (chưng cất) huấn luyện một mô hình trò nhỏ bắt chước một mô hình thầy lớn: bắt chước xác suất của từng từ kế tiếp, không chỉ câu trả lời. Trò giữ được phần lớn kỹ năng với ít tham số hơn, nên mỗi token rẻ hơn.
1 Đoán trước
2 Xem
A teacher’s odds, copied
1 / 5The cat sat on the ___
teacher · GPT-2 · 124M parameters · its top 6 next words
floor7.6%bed6.5%couch5.4%ground5.2%edge4.8%bench3.2%real odds: GPT-2 small (teacher) and DistilGPT2 (student) · computed 2026-10-22
The big teacher does not just answer “floor”. It gives every next word odds.
The other way to shrink a model: quantization · find a free small model
Xác suất của thầy dạy được nhiều hơn câu trả lời của thầy, và trò được huấn luyện để khớp chúng sẽ gần bằng thầy dù số tham số ít hơn một phần ba, trừ những dữ kiện hiếm.
Tham số (parameter) của mô hình là các con số nó nhân cho mỗi token nó viết. DistilGPT2 có 82 triệu, GPT-2 có 124 triệu: bớt một phần ba bộ nhớ và công việc mỗi token. Google nói các mô hình Gemini 2.5 nhỏ, từ cỡ Flash trở xuống, được chưng cất từ mô hình lớn hơn. Rẻ hơn mỗi token là điều cho phép nhà cung cấp phát miễn phí bản nhỏ.
4 Bạn là model
Bạn là trò. Đoán từ kế tiếp của thầy ba lần, và so xem mỗi kiểu phản hồi dạy bạn được gì.
round 1 of 3 · you are the student · guess the teacher’s next word
The cat sat on the ___
real odds: GPT-2 small (teacher) and DistilGPT2 (student) · computed 2026-10-22
Pick the word you think the teacher rates highest.5 Kiểm tra
Bản sao rẻ hơn, không ngang bằng: dữ kiện hiếm và suy luận khó tuột trước. DeepSeek chưng cất R1 671B tham số thành các mô hình mở nhỏ hơn. Ở bài thi toán AIME 2024, R1 đạt 79,8, trò 32B đạt 72,6 và trò 1,5B đạt 28,9. Với việc ngắn, thông thường, bản nhỏ miễn phí thường là đủ.
7 Nói lại bằng lời bạn
8 Nhiệm vụ · 5 phút
Trong Google AI Studio (miễn phí), gửi cùng hai prompt cho Gemini 3.8 Flash và cho bản nhỏ hơn Gemini 3.5 Flash-Lite. Đầu tiên là việc dễ: “Rewrite politely: send me the report now.” Rồi một dữ kiện hiếm: “Who won the 1904 Olympic marathon, and what was odd about the race?” Ghi lại chỗ bản nhỏ theo kịp và chỗ nó tuột.
Ba câu nhanh
Rút ngẫu nhiên từ bộ câu hỏi của bài; lần sau sẽ khác.
Xong chưa?
Nhận email khi có bài mới
Bài mới nằm trong bản tin hằng tuần, chỉ gửi vào tuần có bài. Bạn xác nhận qua email trước; hủy đăng ký chỉ với một lần bấm.
Đọc thêm
Nguồn
- https://huggingface.co/distilbert/distilgpt2 (model card, checked 2026-10-22; no update date): DistilGPT2 “has 82 million parameters, was developed using knowledge distillation” with “the supervision of the 124 million parameter version of GPT-2”; WikiText-103 test perplexity 16.3 for GPT-2 and 21.1 for DistilGPT2
- Next-word odds in the picture and the role: GPT-2 small and DistilGPT2 weights from Hugging Face, computed 2026-10-22 with scripts/explain-data/distill.ts (GPT-2 “floor” 0.0764 matches app/lib/explain/data/sampling.json)
- https://arxiv.org/abs/1503.02531 (Hinton, Vinyals, Dean, 2015-03-09): training a small model on the teacher’s “soft targets” (its class probabilities)
- https://blog.google/technology/ai/google-gemini-update-flash-ai-assistant-io-2024/ (2024-05-14, checked 2026-10-22): 1.5 Flash “has been trained by 1.5 Pro through a process called distillation”
- https://arxiv.org/abs/2507.06261 (Gemini 2.5 technical report, v6 2025-12-19, checked 2026-10-22), §2.1: “The smaller models in the Gemini 2.5 series — Flash size and below — use distillation”, approximating “the teacher’s next token prediction distribution” with a k-sparse distribution
- https://huggingface.co/deepseek-ai/DeepSeek-R1 (checked 2026-10-22; no update date): DeepSeek-R1 671B total parameters (37B activated), AIME 2024 pass@1 79.8; distilled from R1 samples: R1-Distill-Qwen-32B 72.6, R1-Distill-Qwen-1.5B 28.9
- https://ai.google.dev/gemini-api/docs/pricing (updated 2026-10-19, checked 2026-10-22): Gemini 3.8 Flash and Gemini 3.5 Flash-Lite “Free of charge” on the free tier; Gemini 3.1 Pro Preview and Gemini 4 Argon “Not available”
- aifree.dev catalog: google-gemini-developer-api-free-tier verified 2026-10-12, models include gemini-3.8-flash and gemini-3.5-flash-lite
- https://arxiv.org/abs/2001.08361 (Kaplan et al., submitted 2020-01-23): forward-pass compute per token is about 2 × parameters, the rule of thumb behind “a third less work”
Đăng Oct 22, 2026 · cập nhật Oct 22, 2026