基础概念
概念解析——Epoch
Epoch(训练轮数)是深度学习里最基础也最容易被忽略的超参数。一句话:一个 epoch 就是模型把整份训练数据完整看一遍。看几遍,是训练开始前你手填的一个数。这个数字选错了,模型要么学不会,要么死记硬背——两样都很糟糕。
1. Epoch 是什么
训练一个神经网络,你不能把全部数据一次性塞进显卡——显存放不下。于是你把数据切成小块,一块一块喂给模型。每一块叫一个 batch,喂一次叫一个 step。把所有的 batch 都喂过一遍,模型就把整份数据看完了——这就是一个 epoch。
看一遍不够。模型需要反复看同一份数据才能学到其中的规律。问题是看几遍?看太少,模型还没搞懂题型;看太多,模型把训练题背下来了,换了没见过的题就两眼一抹黑——这叫过拟合。
step 数 = 1000 ÷ 100 = 10 步走完一个 epoch。如果设置 epochs = 3,模型一共走 10 × 3 = 30 步。
每一步模型看到 100 张图,更新一次参数。
2. Epoch vs Batch vs Iteration
这三个东西经常一起出现,很多人搞混。理清楚就三句话:
- Batch(批次):一次更新往模型里塞多少条数据。batch size = 32,就是一次看 32 条。
- Iteration(迭代 / step):模型处理完一个 batch,更新一次参数——叫一步。
- Epoch(轮次):全部数据都看过一遍,叫一轮。一个 epoch 里包含多个 iteration。
举个具体的:1 万条数据,batch size = 100。一个 epoch 就是 100 个 iteration。跑 3 个 epoch,就是 300 个 iteration。三个数字的关系很简单:steps_per_epoch = dataset ÷ batch,total_steps = steps_per_epoch × epochs。
注意一点:iteration 决定模型更新的次数,epoch 决定数据被重复使用的次数。你关心的是后者——数据多看几遍到底有没有用。
3. 训多少轮合适
欠拟合
epoch 太少,模型还没学到数据的主要规律。训练损失和验证损失都在高位,两条线没降到底。解决方案很直接:增加 epoch 数。但什么时候才算够?看下一条。
甜区
训练损失还在降,验证损失也还在降——说明模型学到的规律能泛化到没见过的新数据上。这是你最想待的区域。epoch 数落在甜区两边的情况下一节说。
过拟合
训练损失继续下降,但验证损失开始反弹了。模型在背训练题的答案,而不是学规律。这时候再多的 epoch 只有坏处。怎么办?早停(early stopping)就是盯住验证损失,一旦它停止下降就停掉训练,取之前效果最好的 checkpoint。
不同任务的 epoch 数差异巨大。LLM 预训练只看 1 个 epoch(后面会细讲);SFT 微调常见 2 个;LoRA 微调 1 到 3 个;传统视觉任务(比如 ResNet 训 CIFAR-10)跑 30 到 100 个 epoch 是常态;Kaggle 上的表格数据模型甚至能跑到 500 个 epoch,全靠早停救命。
4. 早停——自动帮你选 epoch
既然你不可能站在旁边盯着 loss 曲线喊停,那就让程序替你做这件事。早停(early stopping)的原理很简单:每个 epoch 结束后用验证集算一次 loss,如果连续 N 个 epoch 验证 loss 不再下降,就终止训练,回退到 loss 最低的那个 epoch。
这个 N 叫 patience,一般设为 5 到 10。patience 太小,容易被噪声误导提前停了;patience 太大,停得晚,浪费算力。
实际训练中,早停是最常用的 epoch 选择器。你设一个较大的上限 epoch(比如 50),然后让早停在最佳位置打住。这样你不用猜"到底跑几轮合适"——模型替你找到了那个甜区。
早停之外还有两个小技巧:学习率衰减(cosine annealing)配合 epoch 数来规划衰减周期;模型 checkpoint 只保留验证集上表现最好的那一份,而不是最后一轮。这两样东西加上早停,基本够用了。
5. Epoch 在 LLM 预训练——鸡同鸭讲
上面说的 epoch 逻辑——"跑若干轮,看 loss,在甜区停"——在网上大部分教程里都能看到。但你打开 GPT-4 或者 Llama 3 的技术报告,会发现一个奇怪的事实:预训练阶段只跑了 1 个 epoch。
不是 2 个,不是 3 个。就是 1 个。Llama 3 看了 15 万亿 token,DeepSeek V3 看了 14.8 万亿 token,各只看了一遍。为什么?
答案很简单:数据太多。互联网上能爬到的干净文本大概就在 10 到 20 万亿 token 的量级。把这些数据完整过一遍已经要用几万张 GPU 跑几个月。再跑第二遍,也要再花几个月,但收益远不如第一遍。
Muennighoff 等人 2023 年发表了一篇论文,专门研究了数据重复训练的效果。结论很直观:同一份数据看第二遍学到的东西大概只有第一遍的几分之一;看到第 16 遍时,每多一遍几乎榨不出新东西。他们把这种现象称为"数据的半衰期"——等效的新数据量随重复次数呈饱和曲线增长,上限约是原始数据量的 16 倍。
所以 LLM 预训练的 epoch 计数方式其实已经变了——大家不再说"我跑了 3 个 epoch",而是说"我喂了 15 万亿 token"。数据规模才是真正的标尺,epoch 只是一个过时的概念。在 SFT、RLHF 等小数据阶段,epoch 又回到了 2 到 3 的正常范围——因为数据量小(几万到上百万条),重复几遍的成本可控。
6. 相邻概念
Epoch 不是孤立参数。它和另几个概念绑在一起,理解了它们才算真正理解 epoch:
- Batch Size:每个 step 喂多少条数据。batch size 和 epoch 一起决定总更新次数。
- 学习率(Learning Rate):每步更新参数的步长。epoch 多了学习率通常要配合衰减。
- Loss:模型在训练集和验证集上的错误程度。epoch 选多少全靠盯 loss 曲线。
- 预训练(Pretrain):LLM 从零开始在海量文本上训练,通常只看 1 个 epoch。
- 训练数据集(Training Dataset):epoch 的对象——你决定"看几遍"的那份数据。