S4·模型训练
LoRA Rank
LoRA Rank 是 LoRA 的核心超参数——它决定了"微调的灵活度"。Rank 越大，适配能力越强但训练越慢；Rank 越小越轻量但可能"学不动"。
① 一句话定义
LoRA Rank（r）是 LoRA 中低秩分解矩阵的中间维度——它决定了 LoRA 适配器的"表达能力"。Rank 越高，可训练参数越多，能适配更复杂的任务；Rank 越低，越轻量但可能表达能力不足。
② 为什么重要
Rank 的选择直接影响微调效果和成本。Rank 太低→"学不动"（模型没有足够的自由度来适应新任务）。Rank 太高→"学过头"（过拟合、训练变慢、适配器文件变大）。找到合适的 Rank 需要实验，但有经验法则可以参考。
⑤ 常见误区
误区：Rank 越大效果一定越好——Rank 从 8 提到 16 可能提升显著，从 128 提到 256 通常边际收益极小但训练时间和存储翻倍。大部分任务的"最佳 Rank"在 16-64 之间。
更多
经验法则：简单任务（风格迁移、语气调整）用 r=8~16；中等任务（领域适配、格式控制）用 r=32~64；复杂任务（注入新知识、多任务学习）用 r=128~256。更准确的方法是做 Rank 扫描——用 8/16/32/64/128 分别跑一下，看验证集上的效果曲线，选拐点（边际收益开始下降的点）。
「LoRA Rank 是你给微调适配器分配的"脑容量"——太小了学不动，太大了浪费。对大多数任务 16-64 是性价比最优区间。
」