大语言模型

概念解析——DPO 直接偏好优化

想让大模型说话更像"人话"——有礼貌、有条理、不惹事——你需要把它"对齐"到人类的偏好上。主流方法 RLHF 要单独训练一个打分器,再用强化学习反复试错。DPO 跳过了这些中间步骤,直接用"人更喜欢哪个回答"的成对数据来训练模型。2023 年提出以来,它凭"简单、省钱、稳定"三个标签,成了对齐领域最受关注的方法之一。


1. 什么是 DPO:一条偏好数据就够了

DPO 全称 Direct Preference Optimization(直接偏好优化),2023 年由斯坦福团队提出1。它的输入是一堆偏好对:同一个问题下,人类标注员选出的"更好"回答和"更差"回答。训练的目标是让模型更倾向写出好的那种回答,同时避免为了迎合偏好而扭曲太大。

DPO 的核心洞察是:偏好信号可以通过模型的输出概率直接表达。如果一个回答在训练后应该比另一个回答更受偏好,那模型对它每个词的条件概率之和就应该更高。DPO 不需要一个额外的模型来给回答打分,而是直接比较模型自己认为"哪些词更可能出现"。

偏好对示例
问题:"怎么礼貌拒绝一个临时会议?"
chosen(被选):"今天的安排已经排满了,我先看会议纪要;若有需要我决策的部分,可以单独发我。"
rejected(落选):"我不参加,没时间。"

训练时,DPO 同时做两件事:增大模型对 chosen 回答的生成概率,降低它对 rejected 回答的生成概率。与此同时,它还留着一份训练前冻结的参考模型,实时对比自己改了多少——步子不能迈太大,否则模型原有的语言能力会被冲淡。

DPO = 跳过奖励模型和强化学习环路,直接用偏好对做损失函数。简单、省钱、稳定,但也不是全无代价。

2. 先补三个词

理解 DPO 前要摸清三个基础概念。它们在论文和日常讨论里反复出现。

偏好对

Preference Pair

同一条 prompt 下的 chosen 回答和 rejected 回答组成一个偏好对。这是 DPO 训练数据的最小单元。数据来源:人工标注、用户反馈、更强的模型打分。质量直接决定对齐效果的上限。

回答倾向

Response Tendency / 生成概率

模型对一份回答的"倾向程度",近似等于模型生成这条回答时各词概率的累加。训练前,模型对 chosen 和 rejected 可能差不多倾向;训练后,chosen 的倾向应该明显上升。DPO 的损失函数就是在这个差异上做文章。

参考模型

Reference Model

训练开始前冻住的一份原模型。它不参与参数更新,只负责回答一个问题:"新模型比原模型改了多少?"如果新模型偏离参考模型太远,DPO 的损失函数会拉它回来。β 超参数控制这个约束的强度。


3. 两条训练路线:经典 RLHF 与 DPO

同一批偏好数据,可以走两条完全不同的训练路线。

经典 RLHF 分三步走。第一步:用偏好数据训练一个奖励模型,学会打分。第二步:让聊天模型不断生成新回答,由奖励模型给出分数。第三步:用 PPO 算法根据分数微调模型,然后回到第二步——在线迭代,直到收敛。这套路线效果好,但工程成本高:奖励模型本身要单独训练和维护,在线的 PPO 训练容易出现 instability,学习率、KL 惩罚系数、奖励归一化,每个超参数都得精调。

DPO 只有两步。第一步:准备偏好对。第二步:像常规微调一样做批量梯度下降,直接优化偏好损失函数。

RLHF:偏好数据 → 训练奖励模型 → PPO 在线迭代 → 对齐模型。DPO:偏好数据 → 直接损失函数 → 对齐模型。

DPO 省掉的不只是一个奖励模型,更是整套在线强化学习的基础设施。不维护奖励模型意味着少一个 neural network 在 GPU 上跑来跑去;不搞在线生成意味着训练数据可以提前准备好、随时复用。这对于团队规模和 GPU 预算有限的情况尤其有吸引力。


4. DPO 的训练机制

虽然 DPO 表面上走了条捷径,但它背后有一套完整的数学推导。

简单来说,DPO 的损失函数做了这样一件事:它同时看当前模型和参考模型对同一个偏好对的输出概率,计算两者的相对变化。如果当前模型对 chosen 的回答倾向上升得比 rejected 快,损失就小;如果反了过来,损失就大。

训练信号示意
DPO 需要四组数值:当前模型对 chosen 的倾向度,当前模型对 rejected 的倾向度,参考模型对 chosen 的倾向度,参考模型对 rejected 的倾向度。Loss 关心的是:当前模型相比参考模型,在 chosen 和 rejected 之间的差距有没有拉大。

关键是这个损失函数直接从偏好数据中提取信号,不需要中间人打分。原论文证明了这种训练方式等价于在 KL 约束下最大化偏好——和 RLHF 的优化目标在数学上可以对齐1。

训练过程看起来和 SFT 几乎一样:准备好 batch,前向传播算 loss,反向传播更新参数。不需要生成新回答,不需要维护奖励模型在 GPU 上做 inference。这也是 DPO 在开源社区迅速流行的原因——你把 SFT 的代码改几行 loss function 就能跑 DPO。


5. β 超参数:约束的松紧带

DPO 只有一个关键超参数:β(beta),控制模型对参考模型的偏离程度。β 越大,约束越紧,模型更新越保守;β 越小,约束越松,模型更新越激进。

β 的作用原理:它在损失函数中充当 KL 散度的权重系数。KL 散度衡量了当前模型和参考模型输出分布的差距。β 高,KL 散度项权重大,模型不敢偏离太远;β 低,DPO 可以更用力地追偏好数据中的信号。

β 像是训练笼头的阀门:开小了模型改不动,开大了模型可能"转型"太快,把通用能力也冲走了。实践中 β 一般在 0.1-0.5 之间调。

β 的选择没有一层不变的标准。直觉上:你的偏好数据量大、质量高,把 β 调低一点,让模型学得更充分;偏好数据量少或者噪声大,把 β 调高一点,让模型稳住别跟着错误信号走。刚开始跑的时候可以从 β=0.3 起步,观察训练 loss 的过度拟合趋势再调整。


6. DPO 的优势与劣势

DPO 不是没有代价的简化。它的优势和弱点来自同一个源头:跳过了奖励模型和在线 RL。

优势

  • 更简单:不需要训练和维护独立的奖励模型。不需要 PPO 的实现和调参。一个 loss function 替换 SFT 的 cross-entropy loss 就行。代码改动量通常在 100 行以内。
  • 更省钱:省掉奖励模型意味着省掉同样大小的一个 neural network 的前向和后向传播。在线 PPO 的训练环节需要实时生成新回答,DPO 只需要静态数据集做批量训练。显存占用和训练时间都下降。
  • 更稳定:没有 PPO 那种 reward hacking、模型 collapse、奖励信号尺度漂移的问题。训练曲线容易监控,训练结果可复现。
  • 更容易扩展:偏好数据可以像 SFT 数据一样离线构造、反复复用。联合多个数据源做混合训练也很自然。

劣势

  • 没有显式的奖励信号:DPO 看不到训练数据的"绝对值"——chosen 可能是 95 分对 20 分,也可能是 55 分对 45 分。这两种情况在 DPO 的 loss 里几乎一样,但实际意义完全不同。
  • 缺乏在线探索:训练数据是静态的、提前收集的。模型在训练过程中不会产生新回答来被评估。这就意味着:如果模型出错的方式在训练数据中没有对应的偏好对,那 DPO 就教不了它。
  • 偏好数据质量比数量重要:如果标注员对"更好回答"的标准不一致——左边标注员觉得 A 好,右边标注员觉得 B 好——DPO 会学到"最好两边都别得罪"的保守策略。
  • 容易过拟合:静态数据上反复迭代会放大训练集中微小的措辞偏好,导致模型输出的多样性下降。
DPO 的哲学是:用结构换取简单。放弃在线探索和显式奖励,换来低门槛和稳定性。这对 90% 的团队来说是一个值得做的取舍。

7. 2026 年的生态

DPO 从 2023 年论文发表后,迅速从学术研究进入工程实践。到 2026 年,它已经是对齐流程中不可跳过的一块拼图。

主流训练框架全部原生支持 DPO。Axolotl、LLaMA-Factory、Unsloth、HuggingFace TRL 都内置了 DPO trainer。你只需要把偏好数据格式化为 JSONL(每条包含 prompt、chosen、rejected 三字段),配好 β,就能跑起来。

数据格式已经标准化。OpenAI 的 evals 项目和 Anthropic 的 HH-RLHF 数据集都提供了可复用的偏好对基准。HuggingFace Hub 上有上百个偏好数据集可以直接下载。

DPO 变体也在涌现。KTO 去掉了偏好对的配对要求,只用人喜欢/不喜欢的分类标签也能训。ORPO 把偏好优化和 SFT 合成了单阶段训练。SimPO 用一个简单的参考点替代了参考模型。这些变体都在 DPO 的基础上各自松动一个前提假设,扩展适用范围。

和 SFT 的关系已经理清:SFT 让模型学会"回答问题",DPO 让模型学会"选择更好的回答方式"。绝大多数对齐 pipeline 的标配变成了 SFT → DPO(或 RLHF)的两阶段流程。先让模型能好好回答问题,再让它学会挑体面方式回答。

2026 年还有一个趋势值得注意:偏好数据开始从人工标注向AI 反馈(Constitutional AI / Self-play)迁移。模型自己生成多个回答,再由更强的模型(或规则评判)选出最好的——这种"自举"方式大幅降低了数据成本。DPO 天然适配这种 AI 打分数据,因为它不要求偏好对的打分来自人类还是 AI。


8. 相邻概念

DPO 不是孤立存在的。下面这些概念和它紧密相关:

  • RLHF(基于人类反馈的强化学习):DPO 的"对门邻居"。同一条偏好数据,RLHF 走奖励模型 + PPO 路线,DPO 走直接损失路线。
  • 奖励模型:RLHF 中负责给回答打分的模型。DPO 不需要它,但如果需要显式分数或在线探索,奖励模型仍有不可替代的价值。
  • SFT(监督微调):让模型学会"回答问题"的第一步。DPO 通常接在 SFT 之后使用。
  • 大语言模型(LLM):DPO 训练的目标对象。理解 LLM 的基本原理(自回归生成、概率预测)有助于理解 DPO 的损失函数设计。

参考资料

  1. Rafailov et al. "Direct Preference Optimization: Your Language Model is Secretly a Reward Model." arXiv:2305.18290, 2023.
  2. Rafailov et al. "Efficient Preference Optimization Relaxations." arXiv:2406.02900, 2024.
  3. Ethayarajh et al. "KTO: Model Alignment as Prospect Theoretic Optimization." arXiv:2402.01306, 2024.
  4. Hong et al. "ORPO: Monolithic Preference Optimization without Reference Model." arXiv:2403.07691, 2024.
  5. Meng et al. "SimPO: Simple Preference Optimization with a Reference-Free Reward." arXiv:2405.14734, 2024.
  6. Bai et al. "Constitutional AI: Harmlessness from AI Feedback." arXiv:2212.08073, 2022.
  7. Ouyang et al. "Training language models to follow instructions with human feedback." arXiv:2203.02155, 2022.
  8. Schulman et al. "Proximal Policy Optimization Algorithms." arXiv:1707.06347, 2017.
概念解析 · 人工智能ABC