S4·模型训练
过拟合与欠拟合
过拟合和欠拟合是模型训练的"两大致命伤"——一个学得太多（记住了噪音），一个学得太少（没抓住规律）。找到平衡点是训练的核心。
① 一句话定义
过拟合（Overfitting）是模型对训练数据"记得太死"——连噪音和随机波动都学会了，但在新数据上表现很差。欠拟合（Underfitting）是模型"学得太浅"——连训练数据中的基本规律都没抓住。两者是模型训练中需要平衡的两极。
② 为什么重要
过拟合和欠拟合是训练任何 AI 模型时都要面对的核心诊断问题。识别模型处于哪种状态，直接决定了下一步该做什么——是继续训练、增加数据、调整学习率、还是加正则化。
③ 核心机制
识别过拟合：训练损失持续下降但验证损失上升（经典信号）、测试集上的效果远差于训练集。识别欠拟合：训练损失和验证损失都居高不下、模型输出质量整体偏低。解决过拟合：增加数据（或数据增强）、加正则化（Dropout/Weight Decay）、早停（Early Stopping）、减少模型复杂度。解决欠拟合：增加训练时间、提高模型复杂度、降低正则化强度。
⑤ 常见误区
误区：LLM 预训练不需要担心过拟合——预训练数据量巨大（几万亿 Token），确实不太容易过拟合。但微调阶段数据量小（几千到几万条），过拟合非常容易发生。
「过拟合 = 背答案但不会解题，欠拟合 = 连答案都没背下来。训练过程就是在这两者之间找最优平衡点。
」