知识蒸馏（Distillation）

知识蒸馏解决了大模型部署的核心矛盾——"能力 vs 成本"：

• 以小博大：DeepSeek-R1 用 671B 教师模型蒸馏出的小模型（7B/14B 等），在推理任务上远超同体量独立训练的模型。
• 端侧部署：把大模型的能力压缩到手机、IoT 等资源受限设备上。
• 推理成本大降：一个小型蒸馏模型提供 API 服务的成本，可能是大模型的 1/100。

知识蒸馏的核心思想是"除了标准答案，还要学老师的思考方式"：

1. Soft Labels（软标签）：普通训练只告诉学生"正确答案是 B"（硬标签）。蒸馏训练中，教师模型输出完整的概率分布——"A: 2%, B: 78%, C: 15%, D: 5%"。这个分布包含了教师的"知识"——哪些错误选项是"比较合理的干扰项"，哪些是完全不沾边的。学生从这个分布中学到比单一正确答案更丰富的信息。

2. Temperature 参数：通过提高 Softmax 的温度 T，让概率分布更"平滑"——原本 99% 概率集中在正确答案上的分布，在 T>1 时变为更分散的分布，让错误选项之间的细微差异也能被学生感知。

3. 损失函数：学生同时学习两个目标：(a) 与真实标签的交叉熵损失（硬目标），(b) 与教师软标签的 KL 散度（软目标）。两者的加权和是最终的训练目标。

4. 数据蒸馏 vs 模型蒸馏：数据蒸馏（如 DeepSeek-R1 的做法）是用教师模型生成大量高质量训练数据，再用这些数据训练学生模型；模型蒸馏是直接在训练过程中使用教师的输出分布。

推理模型蒸馏：DeepSeek-R1 蒸馏出 7B/14B/32B/70B 系列小模型，推理能力大幅领先同体量模型。

端侧 AI：Google 将 Gemini 的能力蒸馏到 Nano 模型，在 Pixel 手机上离线运行。

企业部署：用 GPT-4 作为教师，蒸馏出领域专用的小模型，在私有云中以更低的成本提供服务。

误区：蒸馏 = 压缩，一定会损失能力
✅ 实际上：精心设计的蒸馏过程，学生模型在特定任务上甚至可能超过教师模型（因为学生更加专注于特定任务，而教师是通才）。当然在通用能力上学生不如教师。

误区：蒸馏和微调是一回事
✅ 实际上：微调是用领域数据训练模型适应特定任务；蒸馏是用大模型的"知识"来训练小模型。微调关注的是"任务适配"，蒸馏关注的是"能力传递"。