Sao nó biết "king" gần với "queen"?
Embedding · Cơ bản · 5 phút · embeddings, llm · học sau Token
Embedding (vector nghĩa) là dãy số mà mô hình dùng làm vị trí của một từ trong một không gian hàng nghìn chiều. Những từ hay xuất hiện trong ngữ cảnh giống nhau sẽ nằm gần nhau, và quan hệ giữa các từ trở thành những hướng có thể cộng trừ.
1 Đoán trước
2 Xem
Where words live
1 / 3real gpt2 embedding positions, PCA to 2-D (#220)
Every piece becomes a point in a space with thousands of dimensions — squashed here to two.
Các từ tự tụm thành cụm mà không ai sắp xếp, và mũi tên king→queen cũng chính là mũi tên man→woman.
Mỗi mảnh chữ được đổi thành một dãy số, dài hàng trăm hoặc hàng nghìn số. Coi dãy số đó là tọa độ thì mỗi từ là một điểm. Quá trình huấn luyện xê dịch dần các điểm cho đến khi những từ hay đi chung ngữ cảnh nằm sát nhau.
4 Bạn là model
Chạm vào một ngôi sao để xem các từ lân cận. Sau đó kéo mũi tên xanh sao cho đuôi nằm trên "man", rồi xem đầu mũi tên chỉ tới đâu.
Tap a star to see its neighbours. Then drag the green arrow onto "man".5 Kiểm tra
6 Nói lại bằng lời bạn
7 Nhiệm vụ · 5 phút
Lấy một key embedding miễn phí rồi embed ba từ: "king", "queen", "banana". So khoảng cách giữa chúng (cosine similarity) và xem cặp nào gần nhau nhất.
Ba câu nhanh
Rút ngẫu nhiên từ bộ câu hỏi của bài; lần sau sẽ khác.
Xong chưa?
Đọc thêm
Nguồn
- https://arxiv.org/abs/1301.3781 (Mikolov et al., 2013)
- https://jalammar.github.io/illustrated-word2vec/
- Positions in the picture are an illustrative layout until E2b (#220)
Đăng Oct 20, 2026 · cập nhật Oct 20, 2026