监督微调（SFT）
SFT 是用人工标注的"问题-理想回答"对来训练模型学会"对话"——它把预训练基座模型从"续写器"变成"助手"。这是 ChatGPT 从 GPT-3 "蜕变"的关键一步。
① 一句话定义
SFT（Supervised Fine-Tuning，监督微调）是微调的一种具体形式：使用人工标注的"输入-标准输出"数据对来训练模型，使模型学会按照给定示例的方式回答。它是将"预训练基座模型"转变为"对话助手"的关键步骤——ChatGPT 和 Claude 之所以能对话，SFT 是第一步也是最基础的一步。
② 为什么重要
SFT 是让模型"学会听话"的核心技术：
- 对话能力的来源：基座模型只会续写文本。经过 SFT，模型学会了"用户问 → 我回答"的交互模式。
- 格式与风格控制：通过 SFT 数据中的格式示例，模型学会输出 JSON、Markdown、表格等结构化内容。
- 安全对齐的前置步骤：SFT 是 RLHF 的前置条件——先用 SFT 让模型学会基本行为规范，再用 RLHF 精细化调整。
③ 核心机制
SFT 的技术流程：
1. 数据准备：构建"输入-理想输出"对的数据集。格式通常是 [用户问题, 期望的助手回答]。高质量 SFT 数据需要人工标注，成本较高——这也是为什么高质量 SFT 数据集是各 AI 公司的核心竞争力。
2. 训练目标：与预训练不同，SFT 只在"输出部分"计算损失（Loss）。模型看用户问题时不更新参数，只在生成答案时学习——这叫"教师强制"（Teacher Forcing）。
3. 数据多样性：好的 SFT 数据应覆盖多种任务类型——问答、摘要、翻译、代码、推理、创意写作——确保模型获得全面的指令跟随能力。
4. 与 RLHF 的关系：SFT 是 RLHF 的"冷启动"。先用 SFT 训练一个"基本能对话"的模型，再用强化学习优化。单独 SFT 的模型已经可用，RLHF 让它更好。
④ 典型应用场景
构建对话助手：将任何开源基座模型（LLaMA、Qwen）通过 SFT 变成可用的聊天机器人。
领域专家模型：用医学问答对做 SFT，让模型掌握专业回答风格。
格式统一：用 SFT 让模型始终以特定的 JSON 结构输出。
多语言适配：用中文 SFT 数据增强模型的中文能力。
⑤ 常见误区
误区：SFT 数据越多越好
✅ 实际上：SFT 数据的质量和多样性远比数量重要。研究表明，几千条精心筛选的 SFT 数据（如 LIMA 数据集）就能让模型获得显著的指令跟随能力。
误区：SFT 能替代 RLHF
✅ 实际上：SFT 让模型"会做"，RLHF 让模型"做好"。SFT 训练的模型能回答问题，但可能在安全性、有用性和无害性上表现不佳。
「SFT 是"教 AI 学规矩"——通过大量标准问答示例，把只会"续写"的基座模型训练成能"对话"的助手。
」