import { Alert } from '@/components/mdx/alert';

Token Là Gì — Đơn Vị Tiền Tệ Của LLM

TL;DR: Token là đơn vị nhỏ nhất mà LLM xử lý — khoảng 4 ký tiếng Anh hoặc 0.7 từ tiếng Việt. Mọi thứ bạn trả cho AI đều tính bằng token: input (prompt) và output (response). Hiểu token = hiểu chi phí + giới hạn + cách tối ưu khi làm việc với AI.

---

Token Là Gì?

Token không phải là từ (word). Token là mảnh nhỏ của text mà LLM chia ra để xử lý.

Text: "Hello world, this is AI"
Tokens: ["Hello", " world", ",", " this", " is", " AI"]
→ 6 tokens

Token trong tiếng Việt

Tiếng Việt phức tạp hơn tiếng Anh vì có dấu, ghép từ, và cấu trúc khác biệt.

Text: "Xin chào, tôi là AI assistant"
Tokens: ["Xin", " chào", ",", " tôi", " là", " AI", " assistant"]
→ 7 tokens ≈ 5 từ tiếng Việt

ℹ️ Info: Quy tắc ngón tay cái:

• Tiếng Anh: 1 token ≈ 4 ký tự ≈ 0.75 từ
  
• Tiếng Việt: 1 token ≈ 1 từ (vì có dấu và từ phức)
  
• 1000 tokens ≈ 750 từ tiếng Anh ≈ 700 từ tiếng Việt

---

Tại Sao Token Quan Trọng?

1. Token = Tiền 💰

Mọi LLM đều tính phí theo token. Bảng giá tham khảo (2026):

AI Coding Tools — Subscription Model

Ngoài per-token pricing, một số AI coding tools dùng subscription model (trả phí hàng tháng, không giới hạn token):

ℹ️ Info: So sánh: Per-token model tốt khi bạn dùng ít nhưng cần nhiều providers khác nhau. Subscription model tốt khi bạn code nhiều, dùng unlimited — không phải tính tiền từng prompt.

⚠️ Warning: Lưu ý: Output thường đắt gấp 3-5x Input. Vì model phải "nghĩ" để sinh ra response — tốn nhiều compute hơn đọc input.

Ví dụ tính cost thực tế

Bạn yêu cầu Claude viết email marketing:

Prompt của bạn: 200 tokens
Email Claude viết: 800 tokens
Total: 1,000 tokens

Cost (Claude Sonnet 4.6):
  Input: 200 × $3/1M = $0.0006
  Output: 800 × $15/1M = $0.012
  Total: $0.0126 ≈ 320 VNĐ

→ 1 email ≈ 320 VNĐ. Rẻ! Nhưng scale lên 10,000 emails = 3.2 triệu VNĐ.

---

2. Token = Tốc Độ 🚀

Nhiều token = chậm hơn. LLM phải process từng token một — sequential, không parallel được.

3. Token = Giới Hạn Bộ Nhớ 🧠

Mỗi LLM có context window — số token tối đa nó "nhớ" được trong 1 conversation:

ℹ️ Info: Context window KHÔNG phải là bộ nhớ dài hạn. Khi conversation mới, AI "quên" hết conversation cũ. Context = bộ nhớ ngắn hạn trong 1 session.

---

Input vs Output Tokens

Max Output Tokens

Ngoài context window, LLM còn có giới hạn max output tokens — số token tối đa nó có thể sinh ra trong 1 response:

→ Nếu bạn yêu cầu "viết sách 100 trang", AI sẽ cut giữa chừng vì vượt quá max output tokens.

---

5 Tips Tối Ưu Token (Tiết Kiệm Tiền)

Tip 1: Prompt ngắn gọn

❌ Tốn token:

Bạn là một trợ lý AI rất thông minh và hữu ích, được thiết kế để giúp đỡ người dùng trong mọi tình huống. Hôm nay tôi muốn nhờ bạn giúp tôi viết một cái email để gửi cho khách hàng của tôi về việc...
(~50 tokens, 90% là filler)

✅ Tiết kiệm:

Viết email gửi khách hàng: thông báo delay shipment 3 ngày, xin lỗi, đền voucher 10%.

Tip 2: Dùng model rẻ cho task đơn giản

Tip 3: Chia task lớn thành nhiều task nhỏ

Thay vì gửi 1 prompt 50K tokens → chia thành 5 prompts 10K tokens:

• Prompt 1: Tóm tắt chương 1-3
• Prompt 2: Tóm tắt chương 4-6
• ...

Tip 4: Không gửi conversation history không cần thiết

Khi conversation dài, history chiếm nhiều token. Thỉnh thoảng nên:

• Tóm tắt conversation cũ
• Start conversation mới với context đã compress

Tip 5: Dùng temperature thấp cho task cần chính xác

Temperature = 0.1 → Output nhất quán, ít token waste
Temperature = 0.9 → Output creative, có thể dài hơn cần thiết

---

Token trong Công Việc Tại Diginno

---

Bài Tập Thực Hành

Task 1: Đếm token

1. Mở tiktokenizer.com hoặc tool đếm token tương đương
2. Paste đoạn text tiếng Việt 100 từ
3. Check xem có bao nhiêu tokens → so sánh với ước tính 1 token ≈ 1 từ

Task 2: Tính cost

1. Viết 1 prompt yêu cầu AI generate 1 email (khoảng 200 từ)
2. Đếm input tokens + output tokens
3. Tính cost theo bảng giá Claude Sonnet 4.6

Task 3: Test optimization

1. Viết 1 prompt dài (50+ từ) → count tokens
2. Rewrite prompt ngắn gọn (15 từ) → count tokens
3. So sánh output của 2 prompts → có khác nhau không?

---

Tóm Tắt

---

Bài Tiếp Theo

→ Bài 3: Context — Bộ Nhớ Của AI

← Bài 1: LLM — Bộ Não Đứng Sau AI

---

Liên hệ tư vấn

• Hotline: 0816226086
• Email: contact@diginno.net
• Website: diginno.net