Vì sao chạy được Llama trên laptop mà không chạy được GPT?
Mô hình open weights và mô hình API đóng, cùng giấy phép mô hình · Cơ bản · 5 phút · llm, training · học sau Kích thước mô hình, gói miễn phí và gói trả phí, Lượng tử hoá (quantization, số bit mỗi trọng số), Chưng cất kiến thức (mô hình thầy và mô hình trò)
Mô hình là một file chứa các con số gọi là trọng số (weights). Nhà cung cấp open weights như Meta công bố file đó, nên nó chạy được trên laptop của bạn hoặc trên bất kỳ máy chủ nào. Nhà cung cấp mô hình đóng giữ file trên server của họ và bán câu trả lời qua API.
1 Đoán trước
2 Xem
Two boxes: one locked, one a file
1 / 5your promptthe answerclosed · locked
GPT in ChatGPT, Claude, Gemini
the file stays on the vendor’s servers
you see
- your text
- the answer
- the price per token
you never see
- the file
- how many numbers it holds
- where it runs
model cards on Hugging Face, Ollama library, OSI definition 1.0 · checked 2026-10-22
A closed model is a locked box. Text goes in, text comes out; the model itself never leaves the vendor.
Too big for your memory? quantization · why small models are good: distillation · run one locally · where to use gpt-oss-20b free
Mô hình đóng là chiếc hộp bạn chỉ có thể trò chuyện cùng; mô hình open weights là một file bạn chép được, nên nó chạy trên laptop của bạn hoặc trên máy chủ bất kỳ, theo điều khoản giấy phép của nó.
Trọng số (weights) là các con số mà quá trình huấn luyện tạo ra: hàng tỉ con số, ngoài ra không có gì khác. Open weights nghĩa là nhà cung cấp công bố file đó. Mã nguồn mở, theo định nghĩa của Open Source Initiative, còn cần code huấn luyện và đủ thông tin về dữ liệu huấn luyện để dựng lại mô hình. Llama chỉ phát hành file, theo giấy phép riêng của Meta.
4 Bạn là model
Bốn việc, bốn ràng buộc. Với mỗi việc, chọn nơi mô hình nên chạy.
job 1 of 4 · pick where the model runs
Summarise private notes that must never leave your 16 GB laptop.
model cards on Hugging Face, Ollama library, OSI definition 1.0 · checked 2026-10-22
Pick where this job should run.5 Kiểm tra
Vì sao lại giữ file? Báo cáo GPT-4 của OpenAI nêu “the competitive landscape and the safety implications” (bối cảnh cạnh tranh và các hệ quả về an toàn) để không công bố cả kích thước mô hình. Bán câu trả lời qua API chính là mô hình kinh doanh. Gói miễn phí thì có lợi theo cả hai cách: các bên như Groq và Cloudflare phục vụ mô hình mở miễn phí được vì ai cũng có quyền chạy file đó.
7 Nói lại bằng lời bạn
8 Nhiệm vụ · 5 phút
Trên gói miễn phí của Groq, hỏi openai/gpt-oss-20b: “In one sentence, what is a model’s weights file?” Rồi mở huggingface.co/openai/gpt-oss-20b và tìm hai thứ API không bao giờ cho bạn thấy: giấy phép và số tham số. Chính file đó chạy được trên laptop 16 GB bằng lệnh “ollama run gpt-oss:20b”.
Ba câu nhanh
Rút ngẫu nhiên từ bộ câu hỏi của bài; lần sau sẽ khác.
Xong chưa?
Nhận email khi có bài mới
Bài mới nằm trong bản tin hằng tuần, chỉ gửi vào tuần có bài. Bạn xác nhận qua email trước; hủy đăng ký chỉ với một lần bấm.
Đọc thêm
Nguồn
- https://huggingface.co/openai/gpt-oss-20b (model card, checked 2026-10-22): license apache-2.0; “21B parameters with 3.6B active parameters”; can “run within 16GB of memory”; “If you are trying to run gpt-oss on consumer hardware, you can use Ollama”
- https://huggingface.co/meta-llama/Llama-3.3-70B-Instruct (checked 2026-10-22): “Llama 3.3 Community License Agreement”, “a custom commercial license”; over “700 million monthly active users” a licensee must request a license from Meta; gated (“You need to agree to share your Hugging Face information to access this model”); pretrained on “~15 trillion tokens of data from publicly available sources”
- https://huggingface.co/google/gemma-4-31b-it (checked 2026-10-22): License Apache 2.0, 31B parameters
- https://ollama.com/library/llama3.2, /gpt-oss, /llama3.3 (checked 2026-10-22): llama3.2:3b 2.0GB; gpt-oss:20b 14GB, Apache 2.0; llama3.3:70b 43GB (default 4-bit tag)
- https://opensource.org/ai/open-source-ai-definition (OSAID 1.0, checked 2026-10-22): requires data information, “the complete source code used to train and run the system” and the model parameters, under OSI-approved terms
- https://arxiv.org/abs/2303.08774 (GPT-4 Technical Report, submitted 2023-03-15, §2 Scope and Limitations): “Given both the competitive landscape and the safety implications of large-scale models like GPT-4,” the report gives no details of architecture, size, hardware, compute, dataset or training method
- https://developers.cloudflare.com/workers-ai/platform/pricing/ (updated 2026-10-20, checked 2026-10-22): 10,000 Neurons per day free; @cf/meta/llama-3.3-70b-instruct-fp8-fast listed
- aifree.dev catalog: groq-free-tier verified 2026-10-12, models include openai/gpt-oss-20b and openai/gpt-oss-120b; cloudflare-workers-ai-free-tier lists @cf/meta/llama-3.3-70b-instruct-fp8-fast
- Weight values in the picture’s “inside the file” state are illustrative, labelled as such
Đăng Oct 22, 2026 · cập nhật Oct 22, 2026