微调（Fine-tuning）

微调是让通用模型变成专用模型的关键手段：

• 任务性能提升：经过微调的模型在特定任务上表现通常显著优于通用模型。
• 成本效率：微调一个 7B 模型做特定任务，可能比 prompt 一个 405B 通用模型更便宜且效果更好。
• 风格定制：想让 AI 用特定品牌语调、特定领域术语来写作？微调是最直接的手段。
• RAG 的互补：RAG 提供"查资料"的能力，微调提供"内化"的能力，两者结合效果最佳。

微调的技术演进从全量到高效：

1. 全量微调（Full Fine-tuning）：更新模型的所有参数。效果最好，但需要大量 GPU 显存（7B 模型全量微调需要约 100GB+ 显存）。适合资源充足的企业级场景。

2. 参数高效微调（PEFT）：只更新模型的一小部分参数。主流方法包括 LoRA（在注意力层注入低秩矩阵）、Adapter（插入小型可训练模块）、Prefix Tuning（在输入前加可训练的前缀向量）。只需要全量微调 1-10% 的显存。

3. 指令微调（Instruction Tuning）：用"指令-回答"格式的数据训练模型，使其学会"遵循指令"而不是简单续写。这是 ChatGPT、Claude 等对话模型能力的关键来源。

4. 数据质量 > 数据数量：1000 条高质量标注数据的效果，往往优于 10000 条噪音数据。微调数据的精心筛选和校验是成功的关键。

客服机器人：用公司历史客服对话数据微调，让模型掌握公司特有的业务知识和话术。

法律文档分析：用法律文书数据微调，让模型理解法律术语和逻辑。

代码补全：用公司代码仓库微调，让模型遵循内部代码规范。

多语言翻译：针对特定语言对或垂直领域术语进行微调。

误区：微调能"教会"模型新事实
✅ 实际上：微调更适合教模型"怎么做"（风格、格式、推理模式），而不是"是什么"（新的事实知识）。注入新知识更适合用 RAG。

误区：微调 = 重新训练
✅ 实际上：微调是在预训练模型的"肩膀"上继续学习。预训练消耗了数千 GPU 月的算力，微调通常只需要几小时到几天。

误区：微调过的模型一定更好
✅ 实际上：微调不当可能导致"灾难性遗忘"——模型在目标领域变好了，但通用能力下降了。需要平衡通用数据和领域数据的比例。