RLHF

RLHF 解决了 LLM 的"对齐"难题——让模型不仅"能力强"，而且"懂规矩"：

• 从"续写"到"有帮助"：基座模型只会续写文本。SFT 让它学会对话形式。RLHF 让它学会"怎么回答才是好的"——安全、有用、真诚。
• 塑造 ChatGPT 体验：ChatGPT 之所以让人惊艳，不只是因为 GPT 的模型能力强，更是因为 RLHF 让它学会了"友好且有帮助地对话"的风格。
• 减少有害输出：RLHF 教会模型拒绝回答有害请求，比单纯写规则有效得多。

RLHF 是三个阶段的流水线：

阶段一：SFT（监督微调）：用人类标注的高质量"问答对"微调基座模型，获得一个基本可对话的策略模型。这是 RLHF 的起点。

阶段二：训练奖励模型（Reward Model, RM）：让人类对同一个 Prompt 下的多个模型输出进行偏好排序（比如 A > B > C）。用这些排序数据训练一个奖励模型，它能输入"Prompt + 回答"，输出一个分数，代表人类对这个回答的偏好程度。这一步的本质是用人类偏好来建模"什么是好回答"。

阶段三：PPO 强化学习：用奖励模型作为"裁判"，通过 PPO（Proximal Policy Optimization）算法优化 LLM。模型生成一个回答 → 奖励模型打分 → 根据分数更新模型参数 → 重复。同时加入 KL 散度惩罚项（KL Penalty），防止模型偏离原始分布太远（避免它"只讨好奖励模型"而丧失多样性）。

对话助手对齐：让模型学会友好、有帮助、无害地回答。ChatGPT 和 Claude 的核心训练流程都包含 RLHF。

安全内容过滤：训练模型拒绝有害请求（暴力、色情、非法）。

风格定制：用特定人群的偏好数据训练奖励模型，让 AI 适应特定的沟通风格。

减少幻觉：在 RLHF 中惩罚含虚假信息的输出，让模型更倾向于说"我不确定"。

误区：RLHF 是唯一有效的对齐方法
✅ 实际上：RLHF 成本很高（需要大量人工标注 + 强化学习训练）。DPO（Direct Preference Optimization）是一种更简单的替代方案，直接从偏好数据中优化，省去了奖励模型训练和 PPO 的复杂性。Claude 的训练就大量使用了 Constitutional AI（宪法式 AI），不完全依赖 RLHF。

误区：RLHF 让模型"道德化"
✅ 实际上：RLHF 让模型对齐的是"标注人员的偏好"，不一定是普世道德。不同文化背景的标注者会产生不同的偏好，这可能导致模型行为的地域性差异。