Sao nó lịch sự (và dè dặt) đến vậy?
RLHF · Thực hành · 5 phút · training, safety, llm · học sau Training: loss và gradient descent
RLHF là bước sau pretraining: con người xếp hạng các câu trả lời của mô hình, một mô hình thứ hai học lại gu đó, rồi mô hình ngôn ngữ được chỉnh về phía câu trả lời gu ấy chấm cao. Sự lịch sự và dè dặt là sở thích học được, không phải quy tắc cài sẵn.
1 Đoán trước
2 Xem
The panel
1 / 3"My laptop won’t turn on. What should I do?"
- #1 · true, useless
Laptops are electronic devices used for computing.
- #2 · helpful
Hold the power button 10 seconds, then plug in the charger and try again. If the light stays off, the charger or battery is the first suspect.
- #3 · rude
Buy a new one lol
green = how much the model now prefers this kind of answer
After pretraining the model can write all three. It has no preference: all are plausible text.
Cùng ba câu trả lời, ban đầu "ngang nhau", sau đó "câu hữu ích lên đầu" khi các bảng xếp hạng của con người thành một gu mà mô hình được chỉnh theo.
- #1 · true, useless
Người chấm xem một prompt (câu lệnh) và vài câu trả lời, rồi xếp hạng chúng. Hàng nghìn bảng xếp hạng như vậy huấn luyện ra một reward model (mô hình chấm thưởng): một cái máy đo gu. Sau đó mô hình ngôn ngữ được chỉnh (vẫn vòng đoán, đo, chỉnh) để máy đo gu chấm nó điểm cao hơn. Đó là RLHF: học tăng cường từ phản hồi của con người.
4 Bạn là model
Bạn là người chấm. Xếp hạng ba câu trả lời, rồi bấm "Submit" để xem bảng xếp hạng của bạn so với số đông thế nào.
"My laptop won’t turn on. What should I do?"
- #1
Laptops are electronic devices used for computing.
- #2
Hold the power button 10 seconds, then plug in the charger and try again. If the light stays off, the charger or battery is the first suspect.
- #3
Buy a new one lol
You are the judge. Rank the three answers, then Submit.- #1
5 Kiểm tra
6 Nói lại bằng lời bạn
7 Nhiệm vụ · 5 phút
Hỏi cùng một câu hơi “gắt” ("roast my code style", chê thẳng phong cách code của tôi) với hai chatbot miễn phí khác nhau. So xem mỗi bên nói vòng, từ chối hay đùa ra sao. Khác biệt đó là hai nhóm người chấm khác nhau.
Ba câu nhanh
Rút ngẫu nhiên từ bộ câu hỏi của bài; lần sau sẽ khác.
Xong chưa?
Nguồn
Đăng Oct 20, 2026 · cập nhật Oct 20, 2026