Nó học được tất cả những thứ này bằng cách nào?
Training: loss và gradient descent · Thực hành · 8 phút · training, llm · học sau Dự đoán token tiếp theo
Training (huấn luyện) là một vòng lặp: mô hình đoán mảnh tiếp theo của một đoạn văn bản thật, điểm loss đo xem nó đoán sai bao xa, rồi mọi con số bên trong được đẩy nhẹ theo hướng xuống dốc. Hàng tỉ cú đẩy nhỏ, không có quy tắc, không có thầy nào giảng giải.
1 Đoán trước
2 Xem
Guess, measure, nudge
1 / 3learning rate 0.4 · steps 0
The model starts as a ball dropped somewhere random. Height is loss: how wrong its guesses are on the training text.
Quả bóng mỗi lần chỉ lăn xuống dốc một chút, vậy mà vẫn tìm được đáy thung lũng, trừ khi cú đẩy quá mạnh làm nó văng ra ngoài.
Lấy một câu trong dữ liệu huấn luyện, che mảnh tiếp theo, cho mô hình đoán. Loss (độ sai) cho biết xác suất nó đưa ra lệch khỏi đáp án thật bao xa. Sau đó chỉnh từng con số trong hàng tỉ con số một chút xíu, theo hướng làm loss giảm. Lặp lại với câu tiếp theo. Liên tục trong nhiều tháng.
4 Bạn là model
Chọn độ lớn cú đẩy (learning rate, tốc độ học), rồi bấm "Step" để đưa quả bóng xuống dốc. Hãy tới đáy thung lũng mà không để bóng văng ra.
tinyhugePick a nudge size, then step the ball down. Reach the valley without flying out.5 Kiểm tra
Vì vậy mà kiến thức của nó đôi khi mơ hồ: chẳng có gì được lưu lại dưới dạng một sự thật. Những con số khiến "Paris" có khả năng xuất hiện sau "capital of France" cũng chính là những con số làm mọi việc khác, và chúng được chỉnh cùng lúc.
7 Nói lại bằng lời bạn
8 Nhiệm vụ · 5 phút
Lấy một gói GPU miễn phí và chạy thử một notebook training nhỏ (tutorial "train a character-level model" nào cũng được). Ngồi xem con số loss giảm dần trong năm phút. Con số đang giảm đó chính là bài học này.
Ba câu nhanh
Rút ngẫu nhiên từ bộ câu hỏi của bài; lần sau sẽ khác.
Xong chưa?
Đọc thêm
Nguồn
Đăng Oct 20, 2026 · cập nhật Oct 20, 2026