Vì sao nó đếm sai số chữ r trong "strawberry"?
Token · Cơ bản · 3 phút · tokens, llm
Token (mảnh chữ) là đơn vị văn bản mà mô hình ngôn ngữ thật sự đọc: một từ, một phần của từ hoặc một dấu câu, mỗi mảnh được đổi thành một con số. Mô hình đếm, tính tiền và giới hạn mọi thứ theo token, và không bao giờ thấy các chữ cái bên trong một token.
1 Đoán trước
2 Xem
"strawberry", two ways
1 / 3strawberryletters10r's3pieces—Your eyes: ten letters, three of them r. Easy.
Why the same sentence costs more tokens in Vietnamese or Spanish: tokens and languages
Đổi sang mắt mô hình: các chữ cái bạn đếm biến mất, chỉ còn những mảnh có đánh số, và chữ r nằm khuất bên trong.
Trước mọi thứ, văn bản bị cắt thành từng mảnh theo một công thức cố định, rồi mỗi mảnh thành một con số. Từ thông dụng được giữ nguyên, từ hiếm bị cắt nhỏ. Mô hình không bao giờ thấy chữ cái, nên câu "đếm số chữ r" là câu nó phải trả lời trong lúc bị bịt mắt.
4 Bạn là model
Gõ một từ bất kỳ. Đoán xem mô hình sẽ thấy bao nhiêu mảnh, rồi đổi sang mắt mô hình để so. Thử tên của bạn, sau đó thử một từ dài và hiếm.
raspberryletters9r's3pieces—Guess how many pieces the model sees, then switch eyes.5 Kiểm tra
6 Nói lại bằng lời bạn
7 Nhiệm vụ · 2 phút
Hỏi một chatbot miễn phí xem "strawberry" có bao nhiêu chữ r. Sau đó bảo nó đánh vần từ này, mỗi dòng một chữ cái, rồi đếm lại. Xem câu trả lời thứ hai đúng ra sao.
Ba câu nhanh
Rút ngẫu nhiên từ bộ câu hỏi của bài; lần sau sẽ khác.
Xong chưa?
Đọc thêm
Nguồn
- https://platform.openai.com/tokenizer
- https://ai.google.dev/gemini-api/docs/tokens
- Pieces come from a demo tokenizer until you type, then from GPT-2’s tokenizer reduced to its first 16,000 of 50,000 merges (rare words may split finer); other models cut differently
Đăng Oct 20, 2026 · cập nhật Oct 20, 2026