Sao nó biết "it" đang chỉ cái gì?
Self-attention · Cơ bản · 5 phút · attention, transformer, llm
Self-attention (tự chú ý) là cách mô hình ngôn ngữ quyết định những từ nào quan trọng với mỗi từ: từ nào cũng chấm điểm mọi từ còn lại, và các điểm số đó được học từ văn bản, không phải viết thành luật.
1 Đoán trước
2 Xem
Who does "it" point at?
1 / 40%The83%animal0%didn0%'0%t0%cross0%the5%street0%because0%it0%was0%too5%tiredreal bert-base-uncased attention, one head (#220)
The sentence as pieces in a theatre. "it" is down front with the light. No scores yet.
Đổi một từ là ánh đèn chuyển từ "animal" sang "street": điểm số phụ thuộc cả câu, không phải danh từ gần nhất.
Nó không đọc từ trái sang phải như bạn. Mọi mảnh chữ nhìn mọi mảnh khác cùng một lúc, và mỗi cặp được chấm một điểm. Điểm cao nghĩa là cần chú ý. Không ai gõ điểm vào; chúng tự hình thành sau khi mô hình đọc một lượng văn bản khổng lồ.
4 Bạn là model
Bạn cầm đèn. Chạm vào chỗ ngồi bạn nghĩ ánh đèn sẽ dừng, bấm "Sweep", rồi đổi "tired" thành "wide" và thử lại.
0%ittap the seat where you think the light will settle
5 Kiểm tra
Sao lại gọi là "self"? Vì câu văn tự chấm điểm chính nó: không có trợ giúp bên ngoài, không tra cứu gì. Đó cũng là lý do nó theo được cả một đoạn văn chứ không chỉ một dòng: mảnh nào cũng với tới mọi mảnh khác chỉ trong một bước.
7 Nói lại bằng lời bạn
8 Nhiệm vụ · 2 phút
Mở một chatbot miễn phí. Dán câu "The animal didn’t cross the street because it was too tired" và hỏi "it" chỉ cái gì. Rồi dán bản "too wide". Sau đó thử "The dog chased the cat because it was fast" và xem nó trả lời lấp lửng ra sao.
Ba câu nhanh
Rút ngẫu nhiên từ bộ câu hỏi của bài; lần sau sẽ khác.
Xong chưa?
Đọc thêm
Nguồn
- https://research.google/blog/transformer-a-novel-neural-network-architecture-for-language-understanding/ (the animal/street example)
- https://arxiv.org/abs/1706.03762 (Vaswani et al., 2017)
- Weights in the picture are illustrative until E2b (#220) lands GPT-2 small numbers
Đăng Oct 20, 2026 · cập nhật Oct 20, 2026