S4·模型训练
Epoch
Epoch 是模型完整遍历一次训练数据的单位。太少没学会,太多就过拟合——找到合适的 Epoch 数是训练的基本功。
① 一句话定义
Epoch(训练轮次)是模型完整看过一遍所有训练数据的过程。1 个 Epoch = 训练集中的每个样本都被模型用过一次。预训练通常只做 1-3 个 Epoch(数据量足够大,不需要重复看),微调通常做 3-10 个 Epoch(数据量少,需要反复学习)。
② 为什么重要
Epoch 数直接决定了训练时间和过拟合风险。Epoch 太少→欠拟合(模型还没学好),Epoch 太多→过拟合(模型开始"背"训练数据)。判断最佳 Epoch 数的标准方法是监控验证集上的 Loss——当验证 Loss 不再下降甚至开始上升时,就该停了(早停,Early Stopping)。
⑤ 常见误区
误区:Epoch 越多模型越好——预训练 Epoch 过多反而可能导致性能下降(模型对数据中的噪音"过拟合")。Chinchilla 论文发现 1-2 个 Epoch 对大多数预训练场景已经足够。误区:所有数据集的 Epoch 策略一样——小数据集(几千条)需要多 Epoch(10-20),大数据集(几百万条)1-3 个 Epoch 就够。
「Epoch 是模型"把课本读了多少遍"——预训练读 1-3 遍就够了(课本够厚),微调可能需要读 5-10 遍(课本薄但需要深入理解)。关键是用验证 Loss 来判断什么时候该停。
」