DPO
DPO（直接偏好优化）是 RLHF 的轻量级替代方案——不需要训练单独的奖励模型，直接利用偏好数据优化模型。更简单、更稳定、更便宜。
① 一句话定义
DPO（Direct Preference Optimization，直接偏好优化）是一种不需要显式训练奖励模型的对齐方法。它直接在偏好数据（"回答A比回答B好"）上优化 LLM，将偏好信号转化为模型的训练损失。DPO 用一次训练取代了 RLHF 的"训练奖励模型 + 强化学习"两步流程。
② 为什么重要
RLHF 虽然效果好，但工程复杂度高——需要单独训练奖励模型、需要调 PPO 的超参数、训练不稳定（奖励模型和策略模型之间互相博弈容易发散）。DPO 用一个巧妙的数学技巧绕过了奖励模型：直接从偏好数据推导出一个损失函数，让模型在同一轮优化中既学会"什么更好"又学会"做得更好"。DPO 的训练流程显著简化——不需要维护两个模型（LLM + 奖励模型）、超参数更少、收敛更稳定。
③ 核心机制
DPO 的数学推导大概是：在 RLHF 的最优策略公式中，奖励模型可以表示为"当前策略概率 / 参考策略概率"的函数。DPO 直接将这个关系代入偏好损失，消去了显式的奖励模型。最终 DPO 的损失函数只依赖：当前模型的输出概率、参考模型的输出概率、和人类的偏好标注。训练时，DPO 增加"被偏好的回答"的生成概率，降低"不被偏好的回答"的概率。
⑤ 常见误区
误区：DPO 在任何场景下都优于 RLHF——DPO 在偏好数据充足且质量高时效果好。但在偏好数据稀缺、需要在线探索（不断生成新数据）时，RLHF 的在线版本仍然有其优势。两者不是替代关系，是不同场景下的互补方案。
更多
DPO 由 Stanford 在 2023 年 5 月提出，论文在 AI 圈引起轰动——"不再需要 RLHF 的复杂两步流程了？"随后 Meta 在 Llama 3 的训练中大规模使用 DPO，证明了它在生产级规模下同样有效。到 2025 年，DPO 已经成为最主流的对齐方法之一，尤其是对于想要自己做对齐但不想维护强化学习基础设施的团队。
「DPO 是 RLHF 的"简化工程版"——用一次优雅的数学推导省去了奖励模型和强化学习，让对齐训练从"需要专业团队"变成了"会写训练循环就能做"。
」