S4·模型训练
Learning Rate
Learning Rate 是模型训练中最重要的超参数——它决定了参数更新的"步长"。太大跳过头，太小走不动。
① 一句话定义
Learning Rate（学习率）是梯度下降中参数更新的"步长"。每次计算出梯度（应该往哪个方向调整参数）后，学习率决定"这一步走多大"。LR 太大→训练不稳定甚至发散（Loss 爆炸）；LR 太小→训练太慢甚至卡在局部最优。
② 为什么重要
学习率被广泛认为是训练中最需要调的超参数——甚至比模型架构选择还重要。一个好的学习率策略可以让一个普通架构跑出好结果，一个烂的学习率可以让最好的架构完全无法收敛。现代训练通常使用学习率调度：训练早期用较大 LR（warmup），中期用中高 LR，后期用很小的 LR 精细收敛（余弦衰减）。
更多
预训练 LLM 常用 LR：1e-4 ~ 3e-4（小模型可以更高）。微调常用 LR：1e-5 ~ 5e-5（预训练的 1/10 左右，防止破坏已学知识）。LoRA 微调可以用稍高的 LR：1e-4 ~ 5e-4（因为原始权重冻结）。如果 Loss 突然爆炸→LR 太大；如果 Loss 几小时都不怎么降→LR 太小。
「学习率是模型训练的"步长控制"——它可能是所有超参数中最重要、也最需要实验调整的一个。好的学习率策略 = 前期敢走大步 + 后期精细收敛。
」