S4·模型训练
Loss
Loss（损失函数）衡量模型预测与正确答案的差距——它是模型训练的"导航仪"，Loss 越低，模型越好（但不等于泛化能力越强）。
① 一句话定义
Loss（损失函数）是一个衡量模型预测结果与真实答案之间差距的数值。训练的目标就是最小化 Loss——Loss 越小，模型预测越接近正确答案。LLM 最常用的损失函数是交叉熵损失（Cross-Entropy Loss）：对于"预测下一个词"任务，模型输出的概率分布与真实的 one-hot 分布之间的差距。
② 为什么重要
Loss 是训练的"仪表盘"——训练过程中最重要的监控指标。Loss 的下降曲线告诉你模型在不在学习、学得怎么样。训练 Loss 持续下降但验证 Loss 上升→过拟合。训练 Loss 不降→可能是学习率不合适或数据有问题。Loss 突然爆炸→梯度爆炸，需要梯度裁剪或降低学习率。
③ 核心机制
交叉熵损失的工作原理：模型对每个可能的下一个词输出一个概率（如"猫"0.6、"狗"0.3、"车"0.1）；真实答案是"猫"（概率应为 1.0）；交叉熵 = -log(0.6) ≈ 0.51。如果模型给正确答案的概率越高，Loss 越低。如果模型给"猫"的概率只有 0.01（猜错了），Loss = -log(0.01) = 4.6——惩罚很大。
⑤ 常见误区
误区：Loss 越低，模型一定越好——Loss 衡量的是训练集上的拟合程度，不等于泛化能力。过拟合的模型训练 Loss 极低但实际效果差。误区：不同模型之间的 Loss 可以直接比较——不同分词器（词典大小不同）的交叉熵 Loss 不能直接比较。
「Loss 是模型训练的眼睛——它告诉你模型做了多好（或多差）的预测。但 Loss 低不等于模型好，关键看验证集上的表现。
」