Sao cùng một prompt mà lại ra câu trả lời khác nhau?
Temperature và lấy mẫu · Cơ bản · 3 phút · sampling, llm
Một language model không chọn từ tiếp theo tốt nhất; nó tung một con xúc xắc đã được "chỉnh" tỉ lệ trên mọi từ có thể đứng tiếp. Temperature (độ "nóng") định hình lại con xúc xắc đó: thấp thì lựa chọn hàng đầu gần như luôn thắng, cao thì từ ít khả năng cũng có cơ hội thật.
1 Đoán trước
2 Xem
The loaded wheel, three ways
1 / 3The cat sat on the ___
floor53%bed24%couch9%ground8%edge5%temperature 0.2
real GPT-2 small odds for this prompt (#220)
Cold (0.2): the balls barely move and nearly all are "floor". Draw five times — same answer every time.
Cùng một bộ tỉ lệ, ba mức nhiệt: lạnh thì lần rút nào cũng ra cùng một từ, nóng thì gần như lần nào cũng ra từ khác.
Thứ model cho ra không phải một từ mà là các tỉ lệ: chẳng hạn "floor" (sàn nhà) 8%, "bed" (giường) 7%, "couch" (ghế sofa) 5%, cứ thế xuống hết danh sách năm mươi nghìn token (mảnh chữ). Sau đó một token được rút ra. Temperature kéo giãn hoặc ép dẹt các tỉ lệ đó trước khi rút.
4 Bạn là model
Chỉnh nhiệt sao cho ba lần rút liên tiếp ra ba từ khác nhau. Rồi làm cho nó nhàm chán: ba lần giống hệt.
The cat sat on the ___
floor26%bed22%couch18%ground18%edge16%coldhotGoal: three different pieces in a row.5 Kiểm tra
6 Nói lại bằng lời bạn
7 Nhiệm vụ · 5 phút
Lấy một API key miễn phí, gửi cùng một prompt ở temperature 0 và 1.5, mỗi mức ba lần. Đếm xem mỗi mức cho ra bao nhiêu câu trả lời khác nhau.
Ba câu nhanh
Rút ngẫu nhiên từ bộ câu hỏi của bài; lần sau sẽ khác.
Xong chưa?
Đọc thêm
Nguồn
- https://huggingface.co/blog/how-to-generate
- https://ai.google.dev/gemini-api/docs/text-generation (temperature parameter)
- Odds in the picture are illustrative until E2b (#220) lands model numbers
Đăng Oct 20, 2026 · cập nhật Oct 20, 2026