Nó có lên kế hoạch trước cho câu trả lời không?
Dự đoán token tiếp theo · Cơ bản · 3 phút · sampling, llm · học sau Token
Một language model viết từng token một: nó tính tỉ lệ cho token tiếp theo, rút ra một token, nối vào cuối, rồi làm lại từ đầu. Không có kế hoạch cho cả câu, lần nào cũng chỉ có token tiếp theo.
1 Đoán trước
2 Xem
One piece at a time
1 / 2The cat sat on the ___
mat60%sofa20%floor16%moon3%temperature 1.0
odds illustrative
Draw. The piece lands at the end of the sentence, and the whole trip runs again for the next one — with new odds.
Mỗi lần bấm "Draw", một token được nối thêm và tỉ lệ cho token sau thay đổi: câu được xây dần, không phải lấy ra từ đâu đó.
Vòng lặp: đọc mọi thứ đã có → tính tỉ lệ cho token (mảnh chữ) tiếp theo → rút một token → nối vào cuối → lặp lại cho đến khi rút trúng token dừng. Câu trả lời dài mà vẫn mạch lạc là nhờ tỉ lệ ở mỗi bước rất tốt, không phải nhờ kế hoạch.
4 Bạn là model
Bạn đi trước: chọn token tiếp theo. Rồi bấm "Draw" xem vòng quay ra gì. Chơi ba lượt.
The cat sat on the ___
mat60%sofa20%floor16%moon3%temperature 1.0
You first: pick the next piece.5 Kiểm tra
6 Nói lại bằng lời bạn
7 Nhiệm vụ · 2 phút
Đưa cho một chatbot miễn phí nửa câu "The best thing about living in Hanoi is" và gửi năm lần, mỗi lần mở cuộc trò chuyện mới. Đếm xem bạn nhận được bao nhiêu kiểu kết khác nhau.
Ba câu nhanh
Rút ngẫu nhiên từ bộ câu hỏi của bài; lần sau sẽ khác.
Xong chưa?
Nguồn
- https://arxiv.org/abs/2005.14165 (GPT-3 paper, autoregressive generation)
- Odds in the picture are illustrative until E2b (#220)
Đăng Oct 20, 2026 · cập nhật Oct 20, 2026