基础概念
概念解析——知识蒸馏
知识蒸馏(Knowledge Distillation,简称 KD)是一种模型压缩技术:用一个已经训练好的大模型当老师,教一个小模型学会它的能力。小模型跑得快、占内存少,效果却出人意料地接近大模型。今天很多手机上的 AI、浏览器里的翻译、开源社区的小模型,背后都用了蒸馏。
1. 知识蒸馏是什么
拆开来理解。知识指大模型已经学会的东西;蒸馏是把这些知识浓缩出来传递给小模型。大模型叫 teacher(老师),小模型叫 student(学生)。
传统训练里,学生学的是数据集里的标准答案——「这张图是金毛,别的都是 0」。蒸馏换了一种学习对象:学生学的是老师的完整输出——「这张图,金毛 85%、狼 8%、狐狸 5%」。那些「次要选项也有几分」的信息,论文里叫暗知识(dark knowledge)。
老师可以是一个大模型、一个模型集成(多个模型投票),甚至是一整套管道的组合输出。学生通常小得多——几十分之一的参数——但只要能学到老师概率分布里的结构,就能跑出接近老师的水平。
2. 为什么需要蒸馏
大模型效果好,但好是有代价的。
GPT-4 级别的模型,推理一次可能需要几百 GB 显存、几十毫秒。手机放不下,浏览器跑不动,智能音箱更没戏。你想在边缘设备上跑 AI——离线翻译、实时语音、端侧图像识别——就必须把模型变小。
缩小的办法有三条路:
- 量化(Quantization):同一个模型,把权重的数字精度从 32 位降到 4 位或 8 位。
- 剪枝(Pruning):砍掉不重要连接或层,模型结构不变,参数变少。
- 蒸馏(Distillation):换一个更小的模型,让大模型当老师教它。
三条路不互斥。实际部署时经常蒸馏 + 量化一起上:先蒸小,再压精度。这样损失最小、收益最大。
3. 蒸馏的工作原理
3.1 软标签 vs 硬标签
分类模型最后一层输出叫 logits——一组没归一化的分数。经过 softmax 转换成概率:哪个类别概率最高,模型就选谁。
硬标签(hard label)就是 one-hot 向量:正确答案是 1,其余是 0。比如「金毛 = 1,狼 = 0,狐狸 = 0」。这种标签丢失了所有次要信息。
软标签(soft label)保留完整的概率分布:金毛 85%、狼 8%、狐狸 5%、猫 1.5%、雪豹 0.5%。学生从这份分布里学到的不仅是「答案是什么」,还有「金毛和狼在老师眼里有点接近」——这层结构信息就是暗知识。
3.2 温度(Temperature)
为了让暗知识更明显,Hinton 在 2015 年的论文里引入了一个参数:温度 T。公式很简单:把 logits 除以 T 再做 softmax。
T = 1 就是标准的 softmax;T 越大,输出分布越平滑,高概率压低、低概率拉高,次要类别的信息就暴露出来了。Hinton 推荐 T 在 3 到 5 之间——太小暗知识出不来,太大正确答案都被淹没了。
T = 1 → 金毛 97.6%,狼 1.9%,狐狸 0.4%……(暗知识几乎看不见)
T = 4 → 金毛 70.1%,狼 14.4%,狐狸 8.2%……(次要类别露出来了)
3.3 蒸馏的训练流程
训练学生分为两步。先把老师的 logits 除以 T 得到软化的概率分布;然后让学生同时学两个东西:软标签里的暗知识(匹配老师的分布),以及硬标签里的正确答案(不把正确答案丢掉)。
学生训练完成后,推理时 T 回到 1——不需要再软化,直接输出标准概率。
4. 两个损失函数:学生同时被两根绳子拉
蒸馏的损失函数有两部分,学生被两条绳同时拽着。
KL 散度(Kullback-Leibler divergence)
衡量学生的概率分布和老师的概率分布有多「远」。KL 越小,学生的分布越接近老师。这部分让学生学到暗知识——那些「5% 像狼、3% 像狐狸」的结构。
交叉熵损失(Cross-entropy loss)
标准的分类损失,用硬标签监督。让学生不要只盯着老师的分布看,还得确保最终答案是正确的那一个。
总损失 = α · KL 散度 + (1 − α) · 交叉熵。α 控制两根绳的松紧:α 大就偏重学老师的暗知识,α 小就偏重硬标签的标准答案。Hinton 推荐 α 在 0.5 到 0.9 之间,具体数值看老师的质量——老师越强,α 可以越大。
5. 真实世界的成功案例
蒸馏不是一个实验室里的花招。过去十年,它养出了好几个知名模型家族。
DistilBERT
Hugging Face 把 BERT(1.1 亿参数)蒸馏成一个 6600 万参数的学生。砍掉 40% 参数,保留 97% 的 GLUE 分数,推理速度快了 60%。方法很简单:除了老师的软标签,还加了「词向量方向要接近」和「遮词猜词」两股绳一起拉。至今仍是 Hugging Face 下载量最大的模型之一。
Alpaca · 自指令蒸馏
Stanford 用 GPT-3.5 生成 5.2 万条指令数据,喂给 LLaMA-7B 做微调。严格说这不是概率蒸馏,而是把老师生成的输出当训练数据——但思想一致:用大模型的知识教小模型。Alpaca 之后,Vicuna、WizardLM、Orca 全是同一个套路。
Phi 系列 & TinyLlama
Microsoft 的 Phi-1/Phi-2 用了「教科书级数据」策略:用 GPT-3.5/4 生成教学质量的代码和文本数据来训练 1.3B–2.7B 的小模型,在小学数学和编程任务上逼近 7B 模型。TinyLlama(1.1B)则走传统蒸馏路线,从 Llama-2 7B 蒸馏,目标是手机端运行。
DeepSeek R1 蒸馏家族
DeepSeek 把 R1 在数学/代码题上的完整思考轨迹(trace)整理成 80 万条数据,用来 SFT 训练 Qwen2.5 和 Llama3 的 6 个尺寸(1.5B 到 70B)。结果 7B 版本在 AIME 2024 数学竞赛上拿到 55.5 分——是 GPT-4o(9.3 分)的 6 倍。14B 已经追平 OpenAI o1-mini。这条路和 Hinton 的概率蒸馏不完全一样(学生学的是推理文字,不是概率表),但「大模型教小模型」的核心相同。
6. 蒸馏的局限
蒸馏不是免费的。以下三个问题在实践中最常见。
Over-smoothing(过度平滑)。T 太大,老师的输出被拉成均匀分布,正确答案都被埋没了。学生既学不到 top-1,也学不到次序。T 别超过 6。
Capacity gap(能力差距)。70B 的老师教 1B 的学生?学生太小,消化不了那么复杂的分布。中间可以插一个 TA(Teacher Assistant)模型分级蒸馏——老师先教中等模型,中等模型再教小模型。
Self-distill drift(自蒸馏漂移)。学生再当下一轮的老师,每一代丢一点尾部分布。低概率类别被反复抹除,几代之后模型只剩最安全的输出。Shumailov 等人在 Nature 上称之为 model collapse(模型崩塌)。保留一定比例的真人数据当锚能缓解。
7. 相邻概念
蒸馏不是孤立的技术。你接下来可以顺着这些概念深入理解:
- 量化(Quantization):同一条压缩路上的另一条分支——把权重的数字精度降低,模型结构不变。
- 预训练(Pretrain):大模型在通用数据上先学一遍,蒸馏通常从预训练好的老师开始。
- 微调(Finetune):在预训练模型上用领域数据做二次训练,蒸馏可以和微调同步做。
- 部署(Deploy):蒸馏的直接驱动力——把大模型变成能在手机、浏览器、IoT 设备上运行的形式。
- 模型推理(Model Inference):蒸馏后的小模型推理更快、成本更低,是落地到产品端的关键步骤。