Token
L1 入门核心 / 基础模型：关联成本、上下文、计费
① 一句话定义
Token（令牌/词元）是大语言模型处理文本的最小语义单元——它不是"字"也不是"单词"，而是模型将文本切分后的基本处理单位。一个中文字通常等于 1-2 个 Token，一个英文单词约等于 1-3 个 Token。
② 为什么重要
Token 是理解 AI 成本和能力的"第一性原理"：
- 计费单位：所有 LLM API 都按 Token 数量收费，输入和输出 Token 分别计价。理解 Token 就是理解你用 AI 花了多少钱。
- 上下文窗口的度量：GPT-4 的 128K、Claude 的 200K——这些数字指的都是 Token 数量上限，决定了模型能"看"多长的内容。
- 性能天花板：一次对话的 Token 总量直接影响延迟、成本和回答质量。超出上下文窗口的内容会被截断或遗忘。
③ 核心机制
Token 化的过程叫 Tokenization（分词），由模型专属的 Tokenizer 完成：
1. 文本切分：Tokenizer 将原始文本按照词表（Vocabulary）进行子词级切分。常见方法包括 BPE（Byte Pair Encoding）和 SentencePiece。例如 " Tokenization" 可能被切分为 ["Token", "ization"]。
2. 映射为数字：每个子词对应词表中的一个唯一 ID，文本变成一维数字序列。
3. 嵌入向量：数字 ID 再被映射为高维向量（Embedding），进入 Transformer 网络计算。
一个关键事实：不同模型的 Tokenizer 不同，同样的文本在 GPT-4 和 Claude 中 Token 数量可能不同。中文在大多数 Tokenizer 中效率较低（同样语义需要更多 Token），这也是中文 API 成本偏高的原因之一。
④ 典型应用场景
成本估算：在调用 API 前先计算 Token 数量预估费用。
上下文管理：设计 RAG 系统时精确计算检索文本+Prompt+历史消息的 Token 总量，确保不超出窗口。
中英文选择：对于超长文档处理，英文通常比中文 Token 消耗少 30-50%，在成本和延迟敏感的场景需要权衡。
⑤ 常见误区
误区：1 个 Token = 1 个汉字或 1 个英文单词
✅ 实际上：Token 是子词级别。常见英文单词如 "apple" 是 1 个 Token，但 "unbelievable" 可能是 2-3 个 Token（un-believ-able）。中文"你好吗"可能是 3-6 个 Token 取决于 Tokenizer。
误区：Token 越多模型理解越准确
✅ 实际上：Token 数量不等于信息量。冗余的 Prompt 不仅浪费成本，还可能导致模型注意力分散，输出质量反而下降。
「Token 是大模型世界的"最小单位"——理解 Token，你就理解了 AI 的成本结构、能力边界和优化方向。
」