Vì sao DeepSeek rẻ (và mô hình 671B vẫn nhanh)?
Mixture of Experts: tham số hoạt động và tổng tham số · Cơ bản · 5 phút · llm, transformer · học sau Kích thước mô hình, gói miễn phí và gói trả phí, Chưng cất kiến thức (mô hình thầy và mô hình trò), Lượng tử hoá (quantization, số bit mỗi trọng số), Bộ nhớ của mô hình: số tham số × số byte, cộng KV cache
Mô hình Mixture of Experts chia các tầng thành nhiều expert, và một router gửi mỗi token tới chỉ vài expert. DeepSeek-V3 lưu 671B tham số nhưng mỗi token chỉ dùng 37B, nên chạy như một mô hình nhỏ hơn nhiều.
1 Đoán trước
2 Xem
Many experts, few at a time
1 / 5Mixtral layout: 8 experts per layer, the router picks 2 per token
token “def” → router → experts 2 and 5
E1E2E3E4E5E6E7E86 of 8 experts do nothing for this token. Next token, the router picks again.
Which experts light up here is illustrative; the real picks per token are in the Mixtral paper, figure 8.
Hugging Face configs and model cards, DeepSeek-V3 and Mixtral papers, Mistral, Groq · checked 2026-10-22
Tap a token. The router sends it to 2 of the 8 experts; the other 6 stay idle.
Why the total still needs memory: vram · free DeepSeek API · DeepSeek peak hours
Router gửi mỗi token tới vài expert, nên tốc độ và giá đi theo số tham số dùng cho mỗi token, còn bộ nhớ vẫn phải giữ tất cả.
Một expert (chuyên gia) là một khối feed-forward trong một tầng; tầng MoE có nhiều khối đặt cạnh nhau. Router (bộ định tuyến) là một tầng nhỏ đã học, chấm điểm các expert cho từng token và giữ vài cái cao nhất. Tổng tham số là mọi thứ được lưu; tham số hoạt động là phần một token đi qua.
4 Bạn là model
Bạn là router. Gửi một dòng code, một câu hỏi toán và một câu thơ tới các expert, rồi xem router của Mixtral thật sự đã làm gì.
sentence 1 of 3 · Python code · you are the router
def total(self, items):
Mixtral of Experts paper (arXiv 2401.04088), §5 Routing analysis
Where would you send it? Then see what Mixtral’s router did.5 Kiểm tra
Chất lượng cũng không đi theo số tham số hoạt động. Mixtral dùng 13B mỗi token mà vẫn bằng hoặc hơn Llama 2 70B (dense) ở mọi benchmark trong bài báo của nó: router có thể dùng tới cả 47B. Nhưng rẻ mỗi token không có nghĩa là rẻ để tự chạy: cả 47B vẫn phải nằm trong bộ nhớ.
7 Nói lại bằng lời bạn
8 Nhiệm vụ · 5 phút
Trên gói miễn phí của Groq, gửi cùng một prompt (“Explain recursion in 150 words”) tới openai/gpt-oss-120b và openai/gpt-oss-20b. Với mỗi mô hình, chia usage.completion_tokens cho usage.completion_time. Bản 120b lớn gấp 5,6 lần về tổng tham số nhưng chỉ gấp 1,4 lần về tham số hoạt động: độ chậm hơn của nó gần tỷ lệ nào hơn?
Ba câu nhanh
Rút ngẫu nhiên từ bộ câu hỏi của bài; lần sau sẽ khác.
Xong chưa?
Nhận email khi có bài mới
Bài mới nằm trong bản tin hằng tuần, chỉ gửi vào tuần có bài. Bạn xác nhận qua email trước; hủy đăng ký chỉ với một lần bấm.
Đọc thêm
Nguồn
- https://arxiv.org/abs/2412.19437 (checked 2026-10-22): “DeepSeek-V3 comprises 671B total parameters, of which 37B are activated for each token”; 61 layers, all FFNs except the first three replaced by MoE; “Each MoE layer consists of 1 shared expert and 256 routed experts”, “8 experts will be activated for each token”; full training 2.788M H800 GPU hours
- https://huggingface.co/deepseek-ai/DeepSeek-V3 config.json and safetensors totals (checked 2026-10-22): n_routed_experts 256, n_shared_experts 1, num_experts_per_tok 8, first_k_dense_replace 3; 680,571,043,840 F8_E4M3 + 3,918,786,560 BF16 parameters (684.5B incl. 14B multi-token prediction module) → 680.6 GB + 7.8 GB ≈ 688 GB of weights (arithmetic)
- https://mistral.ai/news/mixtral-of-experts (checked 2026-10-22): “Mixtral has 46.7B total parameters but only uses 12.9B parameters per token. It, therefore, processes input and generates output at the same speed and for the same cost as a 12.9B model.” Per expert (46.7 − 12.9) ÷ 6 ≈ 5.6B and shared ≈ 1.6B are arithmetic from these two numbers
- https://arxiv.org/abs/2401.04088 (checked 2026-10-22): 8 experts per layer, router selects two per token; “each token has access to 47B parameters, but only uses 13B active parameters”; “outperforms or matches Llama 2 70B and GPT-3.5 across all evaluated benchmarks”; §5: “we do not observe obvious patterns in the assignment of experts based on the topic”, ArXiv, PubMed and PhilPapers distributions “very similar”, DM Mathematics “marginally different”, “‘self’ in Python and ‘Question’ in English often get routed through the same expert”, indentation tokens “always assigned to the same experts”, consecutive tokens often share experts at layers 15 and 31
- https://huggingface.co/Qwen/Qwen3-235B-A22B (checked 2026-10-22): 235B in total and 22B activated; 94 layers; 128 experts, 8 activated
- https://huggingface.co/openai/gpt-oss-120b and /gpt-oss-20b, model cards and config.json (checked 2026-10-22): 117B parameters with 5.1B active, 128 experts, 4 per token, runs on a single 80GB GPU; 21B with 3.6B active, 32 experts, 4 per token, runs within 16GB of memory
- https://console.groq.com/docs/models (checked 2026-10-22): speed llama-3.3-70b-versatile 280 T/sec, openai/gpt-oss-120b 500, openai/gpt-oss-20b 1000
- aifree.dev catalog, groq-free-tier (verified 2026-10-12): Free plan includes openai/gpt-oss-120b and openai/gpt-oss-20b, 30 RPM, 1K RPD, 8K TPM
- The per-token expert picks in the first picture are illustrative, labelled as such; ratios 117 ÷ 21 ≈ 5.6 and 5.1 ÷ 3.6 ≈ 1.4, and 671 ÷ 37 ≈ 18, are arithmetic
- Arithmetic from the DeepSeek-V3 and Mixtral sources above: 61 layers − 3 dense = 58 MoE layers; 256 routed + 1 shared = 257 experts, 8 + 1 = 9 woken per token; Mixtral’s name “8x7B” read naively is 8 × 7B = 56B, against 46.7B real. The mission prompt “Explain recursion in 150 words” is an example
Đăng Oct 22, 2026 · cập nhật Oct 26, 2026