基础概念
损失函数是什么?——模型学得好不好,靠它打分
1805 年,法国数学家勒让德发明了最小二乘法。那是人类历史上第一个损失函数——比第一个神经网络早了一百五十年。今天大模型训练用的交叉熵,底层逻辑一模一样:量误差,罚偏差,参数跟着调整。没有损失函数(Loss Function),训练就没有方向。
1. 什么是损失函数
形式化地说,损失函数 L(y, ŷ) 接受两个输入——真实答案 y 和模型预测 ŷ——输出一个数字。数字越大,预测错得越离谱。数字降到零附近,说明预测已经足够准。
换个说法:损失函数是一把尺子,量"当前这套参数有多差"。每套参数对应一个损失值,训练就是找让这个值最小的那套参数。问题本质上是优化。
不同任务用不同的尺子。猜数字(回归)和猜类别(分类),"错"的含义不一样,损失函数也不一样。下面第三节展开。
2. 训练 = 最小化损失
把参数空间想象成一片地形。每套参数对应一个海拔高度——损失值。训练就是在这片地形里找海拔最低的那个点。
找法叫梯度下降(Gradient Descent)。站在当前位置,摸一摸哪个方向最陡、海拔降得最快,往那儿迈一步。到了新位置,再摸、再迈。重复几万到几百万次,走到谷底为止。
迈步的幅度叫学习率(Learning Rate)。步子太小,走到天黑也到不了。步子太大,一步跨过谷底跑到对面山腰上——损失反而飞了。
这个循环就是训练的全部:前向传播算损失,反向传播算梯度,沿梯度方向更新参数。三件事反复做,损失从剧烈摆动到平稳收敛。没有这个循环,学习就不存在。
3. 常见的损失函数
回归任务:MSE 与 MAE
回归任务的输出是连续数值——房价、温度、股价。主流工具有两个:MSE(均方误差,Mean Squared Error)和MAE(平均绝对误差,Mean Absolute Error)。
MSE 对误差取平方:偏 2 个单位罚 4 分,偏 10 个单位罚 100 分。误差越大,惩罚以平方级暴涨。模型拼命去修"大错"——几个离群点就能把整个训练方向带偏。数据里混了标错样本,MSE 会为它们耗费大量精力。
MAE 对误差取绝对值,惩罚跟误差线性增长,不会被离群点牵着走。代价是梯度处处一样大——接近最优解时不会自动收小步伐,收敛不如 MSE 平滑。
工程上常用 Huber Loss 折中:误差小时像 MSE(光滑、收敛快),误差大时切到 MAE(抗离群点)。大部分回归框架默认用它。
分类任务:交叉熵(Cross-Entropy)
分类任务的输出是"每种类别的概率"。交叉熵(Cross-Entropy, CE)是分类任务的标准选择,几乎没有替代品。
CE 的核心逻辑:模型给正确答案分配的概率越低,惩罚越重。模型 95% 确信图片是猫、它也确实是猫,CE 几乎不罚。模型只给了正确答案 5% 的概率——自信猜错——CE 的惩罚大到一次更新就能把参数大幅拉回来。
大语言模型训练用的就是 CE——对每个输出 token 算一次,再取平均,也叫负对数似然(NLL)。各种 LLM 训练曲线上的 loss 值就是这么来的。
4. 损失地貌(Loss Landscape)
损失函数在参数空间里形成的起伏地形叫损失地貌。一个模型少则几千万、多则几万亿参数——损失函数定义在超高维空间,人眼看不见,但它的形状决定训练能不能成。
好的地貌:平滑、谷底清晰、从任何起点都能顺利下山。不好的地貌:陡峭悬崖、大片高原、无数浅坑(局部极小值,Local Minima)。模型掉进浅坑就出不来了——loss 看起来不高,但远不是全局最优解。
影响地貌的因素很多:模型架构(Transformer 比 RNN 平滑得多)、激活函数、归一化层。ResNet 和 LayerNorm 这类技术之所以能推动深度学习进步,不是因为直接提升了预测准确率,而是把损失地貌修得更平整,让梯度下降更高效。
5. Loss 越低,模型越强?
直觉是这样。但至少三个例外。
过拟合。训练 loss 一路下降,验证 loss 却开始反弹。模型把训练集背下来了,但没学会泛化。这时候 loss 的好消息是假的——及时停下才是对的。
数据泄露。验证集样本不小心混进训练集,或者特征里包含了未来信息。loss 好看得一塌糊涂,上线立刻现原形。这种"好成绩"一文不值。
评测任务不匹配。模型 A 在公开 benchmark 上 loss 比模型 B 低,实际场景效果反而差。benchmark 的分布跟真实需求有偏差。盯着 loss 和 benchmark 都不靠谱,回到业务场景里看才是正解。
6. 相邻概念
- 学习率(Learning Rate):梯度下降每一步迈多大。太大 loss 震荡甚至发散,太小训到天荒地老。
- 训练数据(Training Data):损失函数在数据上算。数据标错、有偏、有噪声,loss 再低也没用。
- 预训练(Pretrain):LLM 预训练用的就是 cross-entropy loss,每个 token 算一次下一 token 的负对数概率。
- 推理(Inference):推理是训练的反面。参数固定,不再算 loss,只做前向预测。训练盯 loss,推理看输出。
参考
- Legendre, A. M. Nouvelles méthodes pour la détermination des orbites des comètes. 1805. [最早的最小二乘法]
- Rumelhart, D. E., Hinton, G. E., & Williams, R. J. Learning representations by back-propagating errors. Nature, 1986.
- Goodfellow, I., Bengio, Y., & Courville, A. Deep Learning. MIT Press, 2016. [第 5–8 章系统讲解损失函数与优化]
- Li, H., Xu, Z., Taylor, G., Studer, C., & Goldstein, T. Visualizing the Loss Landscape of Neural Nets. NeurIPS, 2018.