大语言模型
概念解析——DeepSeek-R1
2025 年 1 月,中国的深度求索(DeepSeek)发布了一个叫 R1 的大模型。跟当时市面上的其他模型最不一样的地方是:你问它一道数学题,它不会直接甩答案,而是先在一对 <think> 标签里自言自语一大段——列方程、试错、自己喊停、推翻、重来——最后才给结果。而且这篇自言自语,不是谁教它的,是它自己练出来的。
1. DeepSeek-R1 是什么
R1 是一个推理增强的大语言模型。底基是 DeepSeek-V3——一个 671B 总参数、每次只激活 37B 的混合专家(MoE)模型。R1 在 V3 之上加了一层强化学习训练,让模型学会了在回答之前先展开推理轨迹(reasoning trace)——用自然语言把思考过程写出来,再给最终答案。
它的规格:671B 参数总量、37B 激活参数(每次推理只唤醒 MoE 中的一部分专家),128K 上下文窗口。2025 年 1 月 20 日以 MIT 许可证开源在 Hugging Face 上,权重可下载、可商用。论文同步发表在 arXiv(编号 2501.12948)。
当时最直接的竞品是 OpenAI 的 o1 系列——也是走「先想再答」路线的推理模型。R1 在多道数学竞赛(AIME 2024、MATH-500)和代码评测(LiveCodeBench)上打平甚至超过了 o1,而且开源了。
2. 另类起点:R1-Zero 与「跳过 SFT」
大多数模型走的是「SFT 先教一遍 → RL 再调一遍」的路线。DeepSeek 的第一步走得极端:他们拿 DeepSeek-V3-Base(一个没经过对话微调的原始模型),直接丢进强化学习,连一条人工写好的示范答案都没给。
这个版本叫 R1-Zero。训练方法叫 GRPO(Group Relative Policy Optimization),奖励只有两条硬规则:答对加分,格式对了(写了 <think> 标签)也加分。没有人类打分器,没有人工标注偏好数据。
结果出人意料:AIME 2024 数学竞赛的 pass@1(每道题只答一次)从 15.6% 一路涨到 71.0%,而且在训练过程中,模型自己的「思考轨迹」里开始出现拟人化的自我反思——它会说 "Wait, wait. Wait.",然后退回去重做。论文把这叫 Aha Moment(啊哈时刻):没人教它反思,是「答对加分」这条规则训着训着逼出来的。
两边平方:a - √(a + x) = x²,移项:√(a + x) = a - x²。
再平方得四次方程……这是四次方程,Vieta 让所有根之和为 0……
Wait, wait. Wait. 这里好像不对,让我退回去。
原方程左边 √(...) ≥ 0,所以 x ≥ 0;那些负根都得扔掉。
用 a = 2 校验一下……对得上。
3. GRPO:一个省掉打分器的 RL 方法
传统的强化学习方法(如 PPO)需要额外训练一个批评家(critic)模型来估算每个答案的价值——这个价值模型本身就是一大坨训练成本。GRPO 换了个思路:同一道题让模型写出一组答案(比如 6 个或 64 个),在组内互相比较就够了。
组内标准化
每个候选答案先按规则打分——答对 +1、格式对再 +0.5。然后计算这组得分的均值(mean)和标准差(std)。每个答案的 advantage(优势值) = (自己的分 − 均值) / 标准差。分高于平均的,参数往那个方向多推一点;低于平均的,参数往反方向压。
这个计算不需要额外的神经网络,不需要 critic,只靠一组答案的统计量。GRPO 最早是在 DeepSeek-Math(2024)论文里提出来的,R1 把它用到了推理场景。
想象一个班级考同一道题。老师不按绝对分数打分,而是看谁的分数比全班平均高——高出越多越该被表扬。这样就算题目很难、全班都不及格,得分最高的那个仍然能拿到正反馈。GRPO 做的事就是这个「全班比较」。
4. Aha Moment:模型学会了自己反思
前面提到 R1-Zero 训练到某个阶段,模型的思考轨迹里出现了 "Wait, wait. Wait." 这类句子。这在论文里被称作Aha Moment——模型在训练过程中自发展现出了自我反思和自我纠错的行为。
研究人员没预设这个行为,也没在奖励函数里专门鼓励「反思」——模型只是发现:在回答之前多检查一遍、把错的步骤推翻了重来,最终答对的概率更高。它为了拿满分,自己学会了说「让我再想想」。
有趣的是,这种反思行为在不同领域表现不同形态:数学题上它会写 "Wait, wait. Wait.",代码题上它说 "Hmm, hold on",逻辑题是 "But wait",物理题是 "Hmm, however, I should double-check"。同一套能力在不同领域长出了不同的语言表达。
5. 蒸馏:把 671B 的脑子装进 1.5B
纯 RL 训出来的 R1-Zero 推理很强,但可读性差、经常中文英文混杂。为了把 R1 的能力扩散到更多人能用的大小,DeepSeek 做了一套蒸馏:拿正式版 R1 生成了 80 万条带 <think> 标记的完整推理轨迹(reasoning trace),然后用这些数据对 6 个现成的小底座模型做 SFT(监督微调)。
这 6 个模型覆盖了 1.5B 到 70B 的尺寸范围,底座分别来自 Qwen2.5 系列(1.5B、7B、14B、32B)和 Llama-3 系列(8B、70B)。注意 R1-Distill 全程只做了 SFT,没再加 RL——论文里有一个对照实验:直接在 32B 底座上跑 RL(R1-Zero-Qwen-32B)只有 AIME 47.0,远不如蒸馏出来的 72.6。
最夸张的是 1.5B 的小模型——在 AIME 2024 上拿到了 28.9 分,同期 GPT-4o 只有 9.3 分。7B 版本拿到 55.5 分,是 GPT-4o 的 6 倍。14B 版本追平了 OpenAI o1-mini。
R1-Distill-1.5B → 28.9(GPT-4o 仅 9.3)
R1-Distill-7B → 55.5
R1-Distill-14B → 69.7(追平 o1-mini)
R1-Distill-32B → 72.6
满血 R1 → 79.8
6. R1 的完整训练流水线
R1-Zero 虽然推理强,但输出可读性差。正式版 R1 在 R1-Zero 的基础上加了两段额外的训练,一共跑了四个阶段:
Cold-start SFT
从 R1-Zero 生成的样本里挑出质量好的,请真人重写成「先思考再回答」的标准格式。用这几千条数据对 V3-Base 做监督微调,给它一个会写 <think> 的起手势。解决 R1-Zero 可读性差、语言混乱的问题。
Reasoning RL
跟 R1-Zero 一样大规模做 GRPO 强化学习,只不过起点已经是上一阶段热好身的模型。再加一条「语言一致性奖励」——中文题别夹英文。把推理能力捅到顶,同时保住可读性。
Rejection-sampling SFT
把阶段二的模型在大量 prompt 上采样生成推理轨迹,用 DeepSeek-V3 当裁判过滤掉答错的、啰嗦的、语言混杂的。剩下的约 60 万条推理 trace 混上 20 万条通用任务数据,再做一次 SFT。这一步解决「只会做数学/代码」的窄能力问题,补回写作和角色扮演。
All-domain RL
最后一轮强化学习,使用混合奖励:推理题继续用规则打分(答对/答错),开放题(写作、闲聊)改用人类喜好打分——跟 RLHF 那套一样。加一根 KL 散度的绳子拴着,防止模型跑飞。最终产出就是正式版 DeepSeek-R1——既会推理又能聊天的模型。
7. 开源理念与影响
DeepSeek-R1 以 MIT 许可证发布——比 Meta 的 Llama 用的社区许可更宽松,允许商用、允许修改、允许再分发。权重文件在 Hugging Face 上开放下载。这在推理模型领域是当时最开放的大模型之一。
R1 的影响力不只体现在跑分上。论文发表后,Hugging Face 发起 Open R1 项目完整复刻 R1 的三阶段训练;伯克利的研究者在 3B 小模型上跑 GRPO + 倒计时游戏,仅用 30 美元算力就复现了 Aha Moment,证明反思涌现不需要 671B 参数。之后 SimpleRL-reason、Open Reasoner Zero 等开源复现项目相继涌现,验证了「规则奖励 + 强化学习」这条路线的通用性。
R1 之后,DeepSeek 没有再单独推出一个叫「R2」的推理模型,而是把思考能力收进了后续的 V3.1、V3.2 系列中,走向「想不想都行」的混合模式。到 2026 年 4 月的 V4 Preview,推理已变成默认能力之一。
8. 相邻概念
DeepSeek-R1 位于多条技术线的交汇点。你接下来可以顺着这些概念深入:
- 大语言模型(LLM):R1 的底层仍然是 LLM 那种接龙生成模型,差别在训练方法。
- 混合专家模型(MoE):R1 底基 V3 的架构——671B 参数但每次只激活 37B,靠稀疏门控实现。
- 知识蒸馏(Distill):R1 把能力蒸馏到小模型的方法——用 80 万条 trace 做 SFT,不是传统概率蒸馏。
- RLHF:R1 阶段四开放题部分用的就是 RLHF 那套——让人类喜好来打分。
- 思维链(CoT):R1 的推理轨迹本质上就是 CoT 的一种形式——把推理步骤写出来再答。
- 强化学习(RL):R1 区别于普通 LLM 的核心——不是靠更多数据,而是靠奖励信号自己练出推理能力。
参考资料
- DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning, arXiv:2501.12948, 2025.1.
- DeepSeekMath: Pushing the Limits of Mathematical Reasoning, arXiv:2402.03300, 2024.(GRPO 原始论文)
- DeepSeek-V3 Technical Report, arXiv:2412.19437, 2024.
- Open R1 项目, huggingface.co/open-r1, 2025.
- TinyZero, github.com/Jiayi-Pan/TinyZero, 2025.(30 美元复现 Aha Moment)
- SimpleRL-reason, github.com/hkust-nlp/simpleRL-reason, 2025.