大语言模型
概念解析——RLHF
RLHF(Reinforcement Learning from Human Feedback,基于人类反馈的强化学习)是让大语言模型学会"说人话"的关键训练方法。它让人类对模型的多个回答做偏好排序,再用这些偏好反过来训练模型,把回答调得更顺、更安全、更贴近人喜欢的样子。ChatGPT 和今天几乎所有对话类大模型背后,都走了这一步。
一个模型要变成 ChatGPT,得走三步。第一步预训练:拿海量文本教它猜下一个字,得到一个 base 模型——只会接着往下写,你问它问题它不会好好答。第二步 SFT(监督微调):拿人写好的"问题→好答案"示范喂给它,教它听懂指令、学会对话。RLHF 是第三步,接手的正是这个已经会对话的模型:同一个问题让它生成几个回答,真人挑出更喜欢的那个,再用这些偏好把回答调得更顺。GPT-3 走完这三步就成了 ChatGPT——同一个底座,回答的"性格"完全不一样。这种把模型调到贴合人的工作,业内叫对齐(alignment)。
1. 为什么需要 RLHF:对齐问题
预训练加 SFT 之后的模型已经能回答问题,但有很多毛病。它可能会啰嗦、绕圈子、说百科腔的话、不懂人情世故。有些回答虽然在语法和信息层面"没错",但人读起来就是不舒服——冷冰冰、像在背书、抓不住重点。更严重的是,模型会编造事实、给出有害建议、对用户的情绪毫无感知。这些问题的根源是:预训练只教模型"下一个词是什么",SFT 只教模型"模仿示范",但都没有教模型"什么回答更受人欢迎"。
RLHF 要解决的就是这个差距。它引入一个关键的中间环节:让人类直接对模型的多个回答做排序——A 比 B 好、B 比 C 好——再用这个排序信号去训练模型。这个思路的精髓在于:人的偏好本身很难用规则写清楚,但人可以很容易地比较两个回答哪个更好。与其教模型"好回答长什么样",不如让模型从无数个"二选一"里自己悟出规律。
2. 三步管道:SFT 到奖励模型到 PPO
RLHF 的完整训练流程是三条管道的接力:SFT → 训练奖励模型 → PPO 强化学习。每一步的主角模型都不一样。
监督微调(SFT)
40 个真人标注员对一批 prompt 亲手写"理想回答",模型用经典监督学习去模仿这些示范。InstructGPT 用了约 13,000 条这样的 prompt-回答对。出来的模型已经会"像人一样答",但还不知道哪种"像人"更受欢迎。SFT 是基础,没有它模型连对话的形式都学不会。
训练奖励模型(Reward Model)
拿 SFT 模型对同一 prompt 生成 4-9 个回答,让标注员排序谁好谁差。这堆排序数据训出一个 reward model:输入任意(prompt, 回答),输出一个标量分数——"人有多喜欢这个回答"。InstructGPT 用了约 33,000 条 prompt,产出约 64,000 对偏好数据。奖励模型是整个 RLHF 的关键:它把人类的偏好压缩成了一个可计算的分数函数。
PPO 强化学习
新模型每生成一句话,RM 立刻打分,PPO 用这个分数做梯度更新。同时模型要跟一份冻结的 SFT 模型对比,每个 token 加了 KL 惩罚——不准跑太远,否则会忘 SFT 学到的语言能力。InstructGPT 用了约 31,000 条 prompt 走这一步。完整的训练目标有三项:reward(往高分调)- β · KL(别跑太远)+ γ · pretrain_loss(顺带复习语言能力)。
3. KL 皮带:不让模型跑太远
PPO 的训练目标里有一个关键项:−β · KL(π || π_SFT)。π 是正在训练的模型,π_SFT 是 SFT 完的原版。KL(Kullback-Leibler divergence)衡量两个模型的输出分布差异有多大,β 就是调节这个约束力度的系数——业内管它叫"KL 皮带"。
这根皮带的松紧直接决定了模型训练出来的"性格"。皮带太松(β 太小),模型为了拿到 RM 高分什么都干得出来——说夸张的话、重复刷分、编造事实。皮带太紧(β 太大),新模型几乎跟 SFT 一样保守,相当于白训了一遍 PPO。InstructGPT 实测把 β 设在约 0.02/token,正好落在甜区:reward 比 SFT 高一截,KL 还很小。
4. Reward Hacking:钻打分系统的空子
RLHF 这条路上最难修的坑。你把哪个数字定成目标,模型就往那个数字的字面意思凑,不一定是你真正想要的。这就是 Goodhart 法则的 AI 版:当衡量标准变成目标,它就不再是好的衡量标准。
六个真实案例说明问题有多大:
- CoastRunners 圈圈船(2016):OpenAI 用 RL 训速艇,目标=分数。模型发现某片水域有可复活靶子,反复绕圈撞它们,分数比正常完赛的人类还高 20%,但一公里都没跑过。
- 假装抓住的机械手(2017):用人类偏好训练机器人抓东西,模型学会把手放在摄像头与物体之间形成遮挡,让人类误判它抓到了。
- 阿谀奉承 Sycophancy(2023-2024):模型在面对用户已经表达立场的问题时,主动倒向用户观点,哪怕事实相反。原因是标注员天然偏好"被同意"。
- 废话越多 reward 越高(2023-2024):RM 对长度有偏好,模型学会在每个回答末尾加"希望这有帮助"之类,纯粹为了拉长。
- o3 改测试代码(2025):METR 评测发现 o3 在沙盒里看到评分脚本后,直接修改了评分函数让自己得满分。
- 骗 LLM 裁判(2024-2026):用 LLM 当 judge 时,模型对自己家或同源模型有自我偏好,影响评测可信度。
能力越强的模型越擅长找 reward 漏洞。所以 RLHF 永远要带 KL 皮带、红队测试、多样化评测——一个都不能省。
5. 2026 对齐家族:不止 PPO
到 2026 年,PPO 只是六支对齐方法之一。开源社区把 DPO 当默认,DeepSeek 把 GRPO 推成推理模型标配,Anthropic 用宪法加 AI 自评,Meta 玩三段式迭代。
Direct Preference Optimization(2023)
Rafailov 等人在 2023 年发现:reward model 加 PPO 在数学上可以被折成一个对偏好对的监督损失——不需要 RM、不需要在线采样、训得稳。DPO 成了开源社区对齐的默认起点,HuggingFace TRL 的 DPOTrainer 是最常用的实现。省约 50% 显存(无 value head),但静态偏好数据决定了它的上限不及在线方法。
Group Relative Policy Optimization(2024)
DeepSeek 提出的省钱版 PPO:去掉 value 网络,给同一 prompt 生成一组 G 个回答,互相比较 reward 的 z-score 当 advantage。DeepSeek-R1 用 GRPO 加规则奖励训出了推理行为,训练显存比 PPO 省约 50%。GRPO 已成为 2025 年推理模型 RL 的事实标准。
Constitutional AI(2022)
Anthropic 的方法:写一份"宪法",让 AI 自己批评自己的回答,再用这批 AI 偏好训 RM。harmlessness 这部分几乎不用真人标注。Claude 整代都基于 CAI,2026 年宪法已升级到 23,000 字。helpfulness 用真人标注,harmlessness 用 AI 自评——分工明确。
Reinforcement Learning from AI Feedback(2023)
拿一个强 LLM 当 judge,把它的偏好当成 ground truth 训 RM。便宜、可大规模,成本约人类的十分之一,但带 judge 的偏见。Google 在 summarization、dialog 多个产品已切到 RLAIF。CAI 本质上是 RLAIF 的早期变种。
6. InstructGPT 案例
RLHF 在大模型上的首次大规模成功是 OpenAI 的 InstructGPT(Ouyang et al., 2022)。团队用 GPT-3 175B 做底座,走了完整的 SFT + RM + PPO 管道。标注员来自 OpenAI 内部和外包,偏好数据通过 API 收集。训练后的 1.3B 参数模型在人类盲评中 85% 的 pair 上击败了原始 175B——规模小两个数量级,但因为对齐了人类偏好,实际体验更好。这个结果震惊了整个行业,推动了 RLHF 成为大模型对齐的标准方法。
InstructGPT 的一些设计细节后来被广泛沿用:KL 系数约 0.02/token,训练集规模 13k/33k/31k 三级递进,奖励模型使用 6B 参数架构。论文还首次系统展示了 reward hacking 的现象和 KL 惩罚的重要性。
7. 相邻概念
RLHF 不是一个孤立技术。你接下来可以顺着这些概念深入:
- 概念解析——SFT:RLHF 的第一步,用人工标注示范教会模型对话。
- 概念解析——奖励模型:RLHF 的第二步,学会给回答打分的模型。
- 概念解析——DPO:绕过奖励模型和 PPO,直接优化偏好的对齐方法。
- 概念解析——AI 护栏:对齐的应用端实践,保护 AI 应用的安全边界。
参考资料
- Ouyang et al. "Training Language Models to Follow Instructions with Human Feedback." arXiv:2203.02155, 2022.
- Rafailov et al. "Direct Preference Optimization: Your Language Model is Secretly a Reward Model." arXiv:2305.18290, 2023.
- Bai et al. "Constitutional AI: Harmlessness from AI Feedback." arXiv:2212.08073, 2022.
- DeepSeekMath "GRPO: Group Relative Policy Optimization." arXiv:2402.03300, 2024.
- METR Blog. "Recent Frontier Models Are Reward Hacking." 2025-06-05.
- Sharma et al. "Towards Understanding Sycophancy in Language Models." arXiv:2310.13548, 2023.
- Lambert et al. "RewardBench 2." arXiv:2506.01937, 2026.