Bên trong cái hộp đó có gì?
Transformer · Thực hành · 5 phút · transformer, attention, llm · học sau Self-attention
Transformer là một chồng các layer (tầng) giống hệt nhau. Mỗi layer chạy attention (ai quan trọng với ai), rồi một bước "suy nghĩ" nhỏ trên từng token, và cả chồng lặp lại như vậy hàng chục lần trước khi ra tỉ lệ cho token tiếp theo.
1 Đoán trước
2 Xem
The same trick, twelve times
1 / 3itOne piece — "it" — enters the first layer carrying only what it is: a word and a position.
Qua mỗi vòng, một token lại đổi màu: vẫn hai thao tác đó, lặp lại, viết lại ý nghĩa của token trong câu này.
Attention cho mỗi token (mảnh chữ) gom thông tin từ các token khác; bước "suy nghĩ" (một mạng neural nhỏ, gọi là MLP) xử lý những gì vừa gom được. Xếp chồng như vậy chừng chục lần, mỗi token sẽ mang theo ngữ cảnh của cả câu. Cuối cùng, layer cuối biến nó thành tỉ lệ cho token tiếp theo.
4 Bạn là model
Xếp bốn khối theo thứ tự mà một token đi qua, rồi bấm "Check".
- Think (MLP)work on what attention found
- Next piece oddsthe loaded wheel
- Embeddingpiece → numbers
- Attentionwho matters to whom
× 12: the middle two repeat, layer after layer
Put the four blocks in the order a piece meets them.5 Kiểm tra
6 Nói lại bằng lời bạn
7 Nhiệm vụ · 2 phút
Quay lại Journey, gõ một câu của riêng bạn rồi cuộn thật chậm qua trạm layers. Đếm số vòng và xem token đổi màu ra sao.
Ba câu nhanh
Rút ngẫu nhiên từ bộ câu hỏi của bài; lần sau sẽ khác.
Xong chưa?
Đọc thêm
Nguồn
Đăng Oct 20, 2026 · cập nhật Oct 20, 2026