Vì sao model 30 GB chạy được trên laptop của tôi?
Lượng tử hoá (quantization, số bit mỗi trọng số) · Thực hành · 5 phút · llm, transformer · học sau Training: loss và gradient descent
Quantization (lượng tử hoá) lưu mỗi trọng số của model bằng ít bit hơn, ví dụ 4 thay vì 16, nên file và bộ nhớ nhỏ đi khoảng bốn lần. Chất lượng gần như không đổi đến 4 bit và sụp dưới mức đó; ngữ cảnh cần thêm bộ nhớ.
1 Đoán trước
2 Xem
Same model, fewer bits
1 / 4Gemma 3 27B: one model, three downloads
16-bit55 GB8-bit30 GB4-bit17 GBdownload sizes: ollama.com/library/gemma3/tags (checked 2026-10-21)
One model, three downloads: 55 GB, 30 GB, 17 GB. Same weights, stored with fewer bits.
Kích thước file = số trọng số × số bit: từ 16 xuống 4 bit, model nhỏ đi khoảng bốn lần, mất vài điểm ở 4 bit, sụp ở 3 bit, và ngữ cảnh cần thêm bộ nhớ.
Một trọng số (weight) là một con số model học được, thường lưu bằng 16 bit. Quantization làm tròn mỗi trọng số xuống ít bit hơn: 8 bit gần như không mất gì, 4 bit mất một chút. Việc làm tròn làm một lần, trước khi bạn tải về. Tag như `q8_0` hay `q4_K_M` trên Ollama là tên cách làm tròn; `fp16` là file chưa làm tròn.
4 Bạn là model
Bạn chọn bản tải về. Với mỗi laptop, chọn file Gemma 3 mạnh nhất mà vẫn còn chỗ trống: ưu tiên nhiều tham số trước, rồi nhiều bit hơn.
laptop 1 of 3 · keep the download under 75 % of RAM
A laptop with 8 GB of RAM
sizes: ollama.com/library/gemma3/tags (checked 2026-10-21) · the 75 % rule is an illustrative rule of thumb
Pick the most capable download that still fits: more parameters first, then more bits.5 Kiểm tra
6 Nói lại bằng lời bạn
7 Nhiệm vụ · 5 phút
Cài Ollama (miễn phí), rồi chạy: ollama pull gemma3:270m và ollama pull gemma3:270m-it-fp16 (292 MB và 543 MB). So kích thước bằng ollama ls, hỏi cả hai cùng một câu bằng ollama run, và xem bộ nhớ bằng ollama ps. Rồi thử bản vừa nhất với laptop của bạn từ phần đóng vai.
Ba câu nhanh
Rút ngẫu nhiên từ bộ câu hỏi của bài; lần sau sẽ khác.
Xong chưa?
Đọc thêm
Nguồn
- https://ollama.com/library/gemma3/tags (checked 2026-10-21): 27b-it-fp16 55GB, 27b-it-q8_0 30GB, 27b q4_K_M 17GB; 12b 24/13/8.2GB; 4b 8.6/5.0/3.4GB; 1b 2.0/1.1GB; 270m (q8_0) 292MB, 270m-it-fp16 543MB
- https://developers.googleblog.com/en/gemma-3-quantized-aware-trained-state-of-the-art-ai-to-consumer-gpus/ (2025-04-18, checked 2026-10-21): weights-only memory BF16 → int4: 27B 54 → 14.1 GB, 12B 24 → 6.6, 4B 8 → 2.6, 1B 2 → 0.5; “Running the model also requires additional VRAM for the KV cache”
- https://arxiv.org/abs/2505.02214 (Zheng et al., 2025-05-04; checked 2026-10-21): Table 4, Qwen3-8B MMLU, per-group (128) PTQ: FP16 74.7; AWQ 8-bit 74.5, 4-bit 69.3, 3-bit 33.2, 2-bit 25.3; GPTQ 4-bit 73.4
- https://docs.ollama.com/cli (checked 2026-10-21): ollama pull, ollama ls, ollama run, ollama ps
- The 75 % fit rule in the role and the weights/cache split in the picture are illustrative, labelled as such
Đăng Oct 21, 2026 · cập nhật Oct 21, 2026