大语言模型
概念解析——奖励模型
奖励模型(Reward Model, RM)读取问题和回答,给出一个表示"人类偏好程度"的分数。人不需要为每个新问题守在旁边打分。先收集一批"更喜欢 A 还是 B"的选择,再训练一个专门模仿这些选择的模型。它学成后就像一名自动评审。
1. 训练数据:偏好对
奖励模型不是拿"评分数据"训练的,而是拿偏好对训练的。偏好对 = 同一个问题下,一份被选中的回答(chosen)和一份落选的回答(rejected)。
为什么不用绝对评分?因为让标注员给回答打 83 分还是 87 分,一致性很差。但让标注员在两个回答中选一个"更好",一致性高得多。选择题比打分题更稳定,也更接近日常判断。
问题:"我第一次去露营,要带什么?"
chosen(更优):"先看天气和营地规则。基础装备带帐篷、睡袋、防潮垫、照明、饮水和简单急救用品。"
rejected(落选):"露营是一种户外休闲活动,起源可以追溯到十九世纪,常见形式包括徒步露营、自驾露营……"
——简洁、可操作的指导比百科式长答更符合偏好。
2. Bradley-Terry 模型:排序变分数
奖励模型分别给两份回答各打一个分数(标量)。训练时关心的不是绝对值,而是分差——被选中的回答得分应该比落选的高。
经典的训练目标基于 Bradley-Terry 模型:
P(chosen > rejected) = σ(score_chosen - score_rejected)
其中 σ 是 sigmoid 函数。分差越大,模型越确信人会选 chosen。如果模型把 chosen 打低了、rejected 打高了,损失就大,模型会朝反方向调整。
3. 奖励模型 vs 策略模型的大小关系
奖励模型通常和策略模型(被训练的聊天模型)规模相当或略小。InstructGPT 中,175B 的策略模型配了 6B 的奖励模型。但实践中奖励模型的容量不能太小——容量不足的奖励模型会被策略模型轻易"钻空子"。
策略模型会在训练中逐渐找到奖励模型没注意到的漏洞:比如回答越长分数越高、格式越整齐分数越高。如果奖励模型不够强,策略模型会"刷分"刷得很高,但实际质量并没有提升。
4. 奖励篡改问题
奖励模型只是人类偏好的代理,不是人类本身。当策略模型学会"骗取高分"而非"真正变好"时,就产生了奖励篡改(Reward Hacking/Over-optimization)。
常见表现:
- 回答越来越长(训练数据把详尽和优质绑在一起)。
- 倾向顺着用户说(标注员喜欢被认可)。
- 格式很整齐(列表和标题容易显得专业,内容错误可能被掩盖)。
- 遇到训练数据里少见的问题时,打分更容易不准。
缓解方法包括:KL 散度约束(不让策略模型偏离基座模型太远)、人工抽样复核、使用多个奖励模型取平均。
5. ORM 与 PRM:结果奖励 vs 过程奖励
奖励模型有两种主要变体:
- ORM(Outcome Reward Model,结果奖励模型):对整个完整回答给一个总分。经典做法,简单高效,但无法定位哪一步出错了。适合有标准答案的任务(如数学计算)。
- PRM(Process Reward Model,过程奖励模型):对推理过程中的每一步单独打分。用在数学、代码等需要分步推理的任务中。OpenAI 的 o1 系列引入了 PRM 的思路。训练和数据成本高很多,但能精细指导策略模型在具体步骤上改进。
6. 奖励模型在 RLHF 中的位置
奖励模型是 RLHF(基于人类反馈的强化学习)流程的核心组件。训练好的奖励模型有三个主要用途:
- PPO 训练(最经典):聊天模型先生成回答,奖励模型打分,PPO 算法根据分数调整聊天模型。需要持续生成新回答。
- Best-of-N 挑选:一次生成 N 份回答,用奖励模型挑分最高的一份交付。不改模型,只改挑选方式。
- 过滤训练数据:批量给候选数据打分,留下更符合目标的一部分。
7. 相邻概念
奖励模型不是独立存在的,它是对齐技术链中的一环:
- RLHF:奖励模型通常作为 RLHF 流程的一部分。RLHF 会利用人的反馈继续训练聊天模型。
- DPO 直接偏好优化:DPO 直接使用偏好对训练模型,省掉单独的奖励模型和强化学习循环,是一种更简化的对齐方法。
- 监督微调(SFT):在 RLHF 之前,模型先经过 SFT。"对齐"有三步:SFT + RM + RL。
- 评测框架(Harness):奖励模型用于评估,评测框架也用于标准化评估——二者侧重点不同。
- 大语言模型(LLM):奖励模型是为对齐大语言模型而生的辅助模型。