Token là gì và vì sao ảnh hưởng chi phí AI

TL;DR: Token là đơn vị nhỏ mà LLM dùng để đọc input và sinh output. Bạn không cần đếm token thủ công mỗi ngày, nhưng phải hiểu token để biết vì sao prompt dài tốn tiền hơn, context bị giới hạn, và output nhiều có thể làm workflow chậm hoặc đắt.

Cập nhật 31/07/2026: Không dùng bảng giá cố định trong bài training này. Giá token, quota và subscription thay đổi theo nhà cung cấp; luôn kiểm tra pricing/docs chính thức trước khi tính chi phí cho khách hoặc nội bộ.

Token là gì?

Token là mảnh nhỏ của văn bản. Một token có thể là một từ ngắn, một phần của từ, dấu câu, khoảng trắng, hoặc một đoạn ký tự trong code. Khi bạn gửi prompt cho AI, model không đọc “trang tài liệu” như con người; nó đọc chuỗi token.

Ví dụ đơn giản:

Vì sao token quan trọng?

Token ảnh hưởng bốn thứ: chi phí, tốc độ, context window và chất lượng đầu ra.

• Chi phí: nhiều input/output token hơn thường tốn nhiều tiền hơn trên API.
• Tốc độ: context dài làm model đọc lâu hơn và phản hồi chậm hơn.
• Context window: mỗi model có giới hạn lượng token có thể xử lý trong một lượt.
• Chất lượng: nhồi quá nhiều thông tin không liên quan làm model khó tập trung.

Có nên tối ưu token bằng cách viết prompt cực ngắn không?

Không. Prompt quá ngắn thường làm AI đoán, và đoán sai thì chi phí sửa còn cao hơn. Tối ưu token đúng nghĩa là đưa đủ context liên quan, bỏ phần nhiễu.

Cách làm tốt:

1. Đưa mục tiêu và tiêu chí hoàn thành trước.
2. Trích đúng đoạn tài liệu hoặc file cần xử lý.
3. Dùng link/path/source rõ ràng thay vì paste cả vault.
4. Yêu cầu AI hỏi lại nếu thiếu dữ kiện quan trọng.
5. Với tài liệu dài, chia thành bước: summarize, extract, then decide.

Token trong coding khác gì token trong content?

Code thường tốn token theo cách khó thấy hơn văn bản thường. Một file TypeScript nhiều import, type, JSX, test case và error log có thể chiếm rất nhiều context. Vì vậy agent coding giỏi không phải là agent đọc toàn bộ repo, mà là agent biết tìm đúng file.

Ở Diginno, vòng lặp nên là:

Khi nào cần tóm tắt context?

Cần tóm tắt khi conversation dài, transcript dài, hoặc task chuyển pha. Tóm tắt tốt không phải là rút gọn cho đẹp; nó phải giữ các quyết định, ràng buộc, file đã sửa, test đã chạy, lỗi còn lại và next action.

Template tóm tắt:

Mục tiêu: ...
Đã làm: ...
Quyết định: ...
File/doc liên quan: ...
Kiểm chứng đã chạy: ...
Còn thiếu/rủi ro: ...
Next action: ...

Bài học cần nhớ

Token là “ngân sách chú ý” của AI. Muốn dùng AI hiệu quả, đừng chỉ nghĩ cách giảm token; hãy nghĩ cách tăng mật độ thông tin hữu ích trong mỗi token. Context ít nhưng đúng thường tốt hơn context rất dài nhưng nhiễu.