大语言模型
概念解析——监督微调(SFT)
监督微调(Supervised Fine-Tuning,SFT)是用人写好的「问题-答案」对,把只会续写的预训练模型调成能按指令对话的助手。这是训练流水线的第二阶段:第一段预训练产出 base model,这一步教它听懂指令,第三段 RLHF 用人类偏好教它哪种回答更好。
1. SFT 是什么
预训练产出的 base model 本质上是一台「续写机」:你给它一句开头,它按照统计规律接下一句。你问「今天天气怎么样?」,它接着写「今天天气怎么样?我看了一下手机,外面好像在下雨。」——因为它从头到尾只学过一件事:预测下一个 token。它根本没意识到你在问它。
SFT 打破了这个模式。它拿几千到几十万条人写的(提问,回答)示范,在 base model 上继续训练。训练完的模型看到用户提问,不再把它当文章开头往下续,而是直接给出回答。
问「Python 怎么读 JSON 文件?」
base 续写:「Python 怎么读 JSON 文件?这是一个常见的问题。在本文中,我们将介绍 3 种方法……」
SFT 后:「import json\nwith open('data.json', 'r') as f:\n data = json.load(f)」
SFT 也叫指令微调(Instruction Tuning)。它的核心原料就是人工编写的(instruction, response)对——用户写一个提问,标注员写一个理想的回答。模型在这些数据上做标准的监督学习,最小化预测和真实回答之间的差距。
2. Chat Template:SFT 真正在做的事,是把文本包起来
SFT 训练时,每一条(instruction, response)不能直接喂给模型。必须要用一组特殊符号把 system 设定、用户提问、助手回答三段拼成一条完整的字符串。这组拼法就叫 chat template(对话模板)。
OpenAI / Qwen 系列
用 <|im_start|> 标记 turn 开始,<|im_end|> 收尾。角色名紧跟在起始符后面:<|im_start|>system、<|im_start|>user、<|im_start|>assistant。这是 2023 年以来事实上的行业标准。
Meta Llama 系列
用 <|start_header_id|> 和 <|end_header_id|> 包裹角色名,<|eot_id|> 结束一个 turn。开头加 <|begin_of_text|> 标记序列起点。Llama-Factory 默认使用这套模板。
学术论文常见
纯文本格式:前面加「Below is an instruction that describes a task. Write a response.」,用 ### Instruction: 和 ### Response: 作分隔符,结尾加 </s>。2023 年 Stanford Alpaca 论文让它广泛流传,现在实践中已被 ChatML 取代,但学术论文仍高频出现。
Google Gemma 系列
用 <start_of_turn> 和 <end_of_turn> 包裹每一段,角色名是 user 和 model(不是 assistant)。Gemma 没有独立的 system 角色,system 提示要拼到 user 内容里。开头加 <bos>。
3. Loss Mask:只学该学的
SFT 训练时有一条容易被忽略的规则:整个序列中只有 assistant 那部分的 token 该算 loss,其他位置——system 提示、用户提问、特殊控制符——都必须跳过。
原因很直接。如果不做 loss mask,模型会学到「先完整复述一遍用户的提问,再给出回答」。这显然在浪费计算资源,而且会让输出变啰嗦——用户已经把问题发过来了,模型不需要学会再写一遍。
<|im_start|>system<|im_end|> —— 不算 loss你是简洁助手。<|im_end|> —— 不算 loss<|im_start|>user<|im_end|> —— 不算 loss员工年假怎么算?<|im_end|> —— 不算 loss<|im_start|>assistant<|im_end|> —— 不算 loss(角色名也不学)★ 入职满 1 年起,每年 5 天。<|im_end|> —— 算 loss(这才是模型要学的输出)
技术上实现很简单:把不需要计算 loss 的位置的 label 设成 -100,PyTorch 的 CrossEntropyLoss 会自动跳过这些位置。HuggingFace TRL 库提供了 DataCollatorForCompletionOnlyLM,指定 response_template 就能自动做这件事。
Loss mask 带来的三个好处:省算力(prompt 部分有时占整段 80%,跳过损失一大半梯度更新)、防错学(不会让模型复读用户提问)、专心学回答(所有梯度集中在「应该说什么」上)。
4. 数据量谜题:1000 条好数据 vs 50000 条普通数据
2023 年 Meta 发表了 LIMA 论文,核心结论极富冲击力:65B LLaMA 只用 1000 条精挑细选的(提问,回答),人类盲测中有 43% 的回答不输给 GPT-4。这被称为「表面对齐假说」(Superficial Alignment Hypothesis)——模型的知识在预训练阶段就已经学完了,SFT 只是在教对话的格式和风格。1000 条高质量示范足以教会格式。
对比组是 Stanford 的 Alpaca:用 GPT-3.5 自动合成了 52000 条数据,效果反而不如 LIMA 的 1000 条。核心差异在质量——LIMA 的每条数据经过了严格的去重、格式统一、事实核查,Alpaca 则是机器批量生成,质量参差不齐。
三年过去,LIMA 假说大体成立,但 2026 年的主流配方已经走向了「数十万条 + 严格过滤」的中道路线。纯粹的 1000 条精品路线在学术上成立,但工业生产中需要覆盖更多场景和能力维度。
5. 真实 SFT 配方
从 1000 条到 1.5M 条,从手写到模型自动合成,公开的 SFT 配方代表了几条不同路线。
极小极精路线 · Meta AI 2023
1000 条数据,750 条从 Stack Exchange、wikiHow、Reddit 精挑,250 条手写。学习率 1e-5,训练 15 个 epochs。证明了极少量高质量数据就能调出可用的指令跟随模型。
海量多源混合路线 · Teknium 2024
约 100 万条,把公开的合成数据(GPTeacher、Airoboros、WizardLM、Capybara 等)大杂烩到一起,去重、去脏话、去拒绝回答的样本。代表了「合成数据 + 多源混合」的下限保证。虽无理论创新,但胜在稳——出来的模型是 2024 年开源社区 SFT 的事实基线。
自抽取零种子路线 · Univ. of Washington 2024
300K 精选(从 4M 原始中筛出),核心 trick 是给 aligned 模型只喂模板前半段,让它自动续写出 instruction 和 response,不需要任何 seed 示例。用 Llama-3-70B-Instruct 自生自采。ICLR 2025 论文,AlpacaEval 2 上超过了 Llama-3-8B-Instruct 官方版(后者用了 10M SFT + DPO)。
工业级多技能桶路线 · AllenAI 2024
939,343 条,从 23,327,961 条候选 prompt 精筛而来。分 9 个技能桶:math 334K、coding 142K、safety 111K、multilingual 100K、knowledge 105K、general 117K、precise IF 30K。每桶来源不同方法不同。代表了 2026 主流大厂的做法——不再赌 1000 条神话,而是认真分类堆量,严格去 benchmark 污染。
蒸馏 + 人工审核路线 · DeepSeek 2024
1.5M 条,推理类用内部 DeepSeek-R1 生成 + rejection sampling 过滤,非推理类用 DeepSeek-V2.5 生成 + 人工核验。训练只跑了 2 个 epochs。代表了「用大模型蒸数据训自己」的 2026 主流路线。
6. Alignment Tax:SFT 之后,有些能力会掉
SFT 不是免费的。学界把这个现象叫作 alignment tax 或 catastrophic forgetting——模型为了「听话」,悄悄丢掉了一些预训练阶段学到的本事。
用 Llama 3 8B 的 base vs instruct 实测数据来看:
- 指令遵循从 IFEval 18% 涨到 78%,这是 SFT 的本职工作。
- 对话流畅度(AlpacaEval 2)从 4% 涨到 27%,续写机变对话机。
- 数学推理(GSM8K)从 56% 涨到 80%,前提是 SFT 数据里包含了 CoT 样本。
- 代码生成(HumanEval)从 33% 涨到 62%,取决于 SFT 数据中代码样本的比例。
- 事实知识(TriviaQA)从 73% 降到 70%,微降。这是 alignment tax 的轻症。
- 输出多样性(self-BLEU)从 22 涨到 41(越高越同质),模型说话更像同一个人了。
缓解 alignment tax 有两个常用手段:一是 SFT 时混入 5-10% 的通用语料(预训练数据的子集),知识保留率会明显回升;二是控制训练轮数——2 到 3 个 epochs 通常就够,再多就是在用 instruction 数据当预训练用,本末倒置。
7. SFT 实战规则
做 SFT 时 90% 的精力都花在数据上。下面几条规则在实际操作中不容妥协。
规则一:训练和推理用同一套 chat template。 如果用 ChatML 训练,推理时换成 Llama 3 的模板拼 prompt,同一个权重、说话立刻翻车。Chat template 决定了模型怎么解析输入序列。
规则二:Loss mask 必须只覆盖 assistant 段。 只让模型学自己该回答的那段。用户和 system 的 token 全设成 -100 跳过。否则模型会学到「先复读一遍用户提问再回答」。
规则三:Epochs 不超过 3,学习率不超过 5e-5。 比预训练小一到两个数量级。多训一轮,预训练学到的知识就掉一截。这是 alignment tax 最直接的来源。
规则四:宁要 1 万条干净的,不要 10 万条脏的。 事实错误、格式不遵照、风格漂移、benchmark 污染——每一类有害样本不只是「少帮助」,还会主动教坏模型。
事实错:用户问「莎士比亚哪年出生?」,回答里把 1616 年去世写成 1644。错的 SFT 数据会让模型自信地胡说。
格式不照做:用户要求用 markdown 列三个排序算法,回答用了散文——这种样本会教模型忽略格式约束。
过度拒绝:完全能答的问题(推荐电影)被回答「无法提供」。大量这种样本会让模型变得保守无用。
风格漂移:整批数据里有几条是特殊语气,如果比例不够大会让模型困惑,比例够大就直接带偏整体风格。
Benchmark 污染:训练数据里混进了评测集的题目,跑分会虚高、实际能力不变。
8. 相邻概念
SFT 不是孤立的技术。你接下来可以顺着这些概念深入:
- 微调(Fine-tuning):SFT 是微调的一个子类——特指用监督学习的方法微调。广义的微调还包括 DPO、RLHF 等非监督方法。
- LoRA:参数高效微调方案。冻结原权重、只训练少量低秩适配器参数,大幅降低显存需求。大模型 SFT 的事实标配。
- RLHF:SFT 的下游步骤。SFT 教模型基本对话格式,RLHF 用人类偏好让回答更好、更安全。
- DPO:RLHF 的简化替代方案。不需要训练奖励模型,直接用偏好数据做优化。近年来越来越流行。
- 预训练(Pretrain):SFT 的上游步骤。预训练从零练出 base model,SFT 在此基础上教它对话。预训练决定知识的广度和深度,SFT 决定知识的表达方式。