Vì sao nó không đếm được đồ vật trong ảnh của tôi?
Đếm đồ vật: mô hình vision tóm ảnh lại thành các token patch rồi viết ra một con số tổng mà không chỉ vào từng món, nên những thứ chạm nhau hay chồng lên nhau bị nhoè vào nhau · Cơ bản · 5 phút · tokens, llm · học sau Vision: ảnh thành token
Mô hình vision không chỉ vào từng thứ rồi đếm. Nó tóm ảnh lại thành các token patch rồi viết ra một con số tổng, nên những vật chạm nhau hay chồng lên nhau bị nhoè vào nhau. Cắt ảnh, bắt đánh số từng món, hoặc dùng code thì đếm đúng hơn.
1 Đoán trước
2 Xem
Seven rings, counted the way a vision model counts
1 / 4You: 7, one ring at a time
rings illustrative · 28 px patches as in the vision lesson
You count by pointing: one ring, the next, the next, until all 7 have a number. Each ring gets touched once.
Mô hình không bao giờ chỉ vào vòng 1, rồi vòng 2: nó nhận các patch đã tóm thành token, trong đó những vòng cắt nhau nằm chung một patch, và viết ra một con số tổng từ bản tóm tắt đó.
Mô hình vision cắt ảnh thành các patch và tóm mỗi patch thành một token, như trong bài về cách AI đọc ảnh. Bạn đếm bằng cách chỉ tay: cái này, rồi cái tiếp theo. Mô hình không có ngón tay để chỉ. Nó đọc mọi bản tóm tắt patch cùng một lúc rồi viết ra một con số, giống đoán số hạt đậu trong lọ hơn là đếm.
4 Bạn là model
Bạn là mô hình, đếm từ các bản tóm tắt patch của mình. Trả lời ba bức ảnh: những vòng tròn chồng nhau, một khay đồng xu chạm nhau, rồi cũng chỗ đồng xu đó cắt làm hai kèm yêu cầu đánh số từng đồng.
round 1 of 3 · A user sends six overlapping rings: “How many circles?”
What do you most likely answer?
pictures and replies illustrative; numbers from BlindTest and CountQA
You are the model. Pick what you would most likely answer.5 Kiểm tra
Chạm nhau và chồng lên nhau làm mọi thứ tệ hơn. Chỗ hai vật cắt nhau, một patch chứa một phần của cả hai và đường viền giữa chúng bị nhoè. Ảnh thật thì toàn là đống đồ, đám đông và kệ hàng: với 1.528 câu hỏi trên ảnh thật, mô hình giỏi nhất trong 15 mô hình chỉ đếm đúng chính xác 42,9%, được 60,3% khi có 1 đến 5 vật và 13,9% khi có hơn 50.
Vậy hãy cho nó ít thứ phải đếm cùng lúc. Cắt hoặc chia ảnh ra và hỏi từng phần. Bắt nó đánh số từng món trong một danh sách kèm vị trí, để chỗ bỏ sót hay đếm trùng lộ ra. Với số lượng lớn, dùng code hoặc công cụ đếm đánh dấu từng vật, hoặc tự đếm những thứ quan trọng.
8 Nói lại bằng lời bạn
9 Nhiệm vụ · 5 phút
Bày 20 đến 40 vật nhỏ chạm nhau (đồng xu, nui, mảnh LEGO), tự đếm rồi chụp ảnh. Trong Google AI Studio (miễn phí), chọn Gemini 3.8 Flash, tải ảnh lên và hỏi “How many are there?” (Có bao nhiêu cái?). Sau đó hỏi “Number each one in a list with where it is, then give the total.” (Đánh số từng cái trong một danh sách kèm vị trí, rồi cho tổng số.) Cuối cùng, gửi ảnh đã cắt làm hai nửa. Lần đếm nào đúng?
Ba câu nhanh
Rút ngẫu nhiên từ bộ câu hỏi của bài; lần sau sẽ khác.
Xong chưa?
Nhận email khi có bài mới
Bài mới nằm trong bản tin hằng tuần, chỉ gửi vào tuần có bài. Bạn xác nhận qua email trước; hủy đăng ký chỉ với một lần bấm.
Đọc thêm
Nguồn
- Rahmanzadehgervi, Bolton, Taesiri, Nguyen, “Vision language models are blind: Failing to translate detailed visual features into words” (arXiv:2407.06581, v6 2025-03-27, https://arxiv.org/abs/2407.06581, checked 2026-10-23): BlindTest, GPT-4o, Gemini-1.5 Pro, Claude 3 Sonnet, Claude 3.5 Sonnet; Table 1 mean accuracy counting 5–9 overlapping circles 39.44%, overlapping pentagons 30.99%, nested squares (2–5) 74.99%; GPT-4o 41.25% on circles; “All four models are at least 83% accurate in counting 5 circles. Yet, surprisingly, increasing the number of circles by only one causes accuracy to dip substantially to near zero for all models, except Sonnet-3.5”; Gemini-1.5 “predicts “5” 99.74% of the time regardless of the actual number of circles” when wrong on more than 5; Sec. 5.2, shapes pushed apart: “both Sonnet-3 and Sonnet-3.5 reach ≥ 96%”; image resolution “does not influence” line-intersection counts and “different resolutions have no impact on most VLMs’ performance” on the Olympic-like task
- Tamarapalli, Grover, Pande, Yerramilli, “CountQA: How Well Do MLLMs Count in the Wild?” (arXiv:2508.06585, v2 2025-09-09, https://arxiv.org/abs/2508.06585, checked 2026-10-23): 1,528 questions on 1,001 real photos with clutter and occlusion, 15 MLLMs; best Gemini 2.5 Pro 42.93% exact match (RA@10% 58.34%); 1–5 objects 60.3%; over 50 objects 13.9%; models “often retain an approximate sense of quantity”; divide-and-conquer systems such as LVLM-Count “break a single image into smaller patches to be counted individually”
- Patch counts computed for the drawn picture: 280 × 224 px in 28-px patches = 10 × 8 = 80 patches; the seven ring outlines pass through 38, and 20 of those hold parts of two rings
- The seven rings, six rings, 23 coins, the halves of 12 and 11, the model replies, the crowd, jar and coin examples are illustrative, not measured outputs
- aifree.dev catalog, google-gemini-developer-api-free-tier (verified 2026-10-12, read-only API check 2026-10-23): Gemini API free tier and Google AI Studio, Flash models with image input
Đăng Oct 23, 2026 · cập nhật Oct 23, 2026