大语言模型

概念解析——LoRA Rank

r 就是 LoRA 那条窄补丁开多宽——数字越大补丁越胖、能学的改动越复杂,也越吃显存。LoRA 把大模型几十亿个权重冻住不动,旁边挂一条很窄的补丁,只训练这条补丁。它有多宽,就由一个数 r 决定。


1. r 是什么

LoRA 的核心思路:不给整个模型做手术,只在旁边接一条旁路。原权重 W(维度 d×d)冻结,旁路由两个小矩阵 B(d×r)和 A(r×d)组成。r 就是中间那个共享维度——决定了旁路的"宽度"。

输出公式:y = Wx + BAx。原路径 Wx 不动,BAx 是 LoRA 加上的修正。r 越大,B 和 A 越"胖",可训练的参数越多,能表达的变化也越复杂。

关键公式:每层可训参数 = 2 × d × r。
Llama-3-8B 的隐藏维度 d=4096,在全部线性层上挂 LoRA(7 个 module × 32 层): r=8 → 约 7.3M 可训参数(0.09% 全模型);
r=64 → 约 58.7M 可训参数(0.73% 全模型)。

2. r 一动,四个数字跟着变

r 只是一个数字,但一调整它,可训参数量、训练显存、训练时长、表达能力四个指标全跟着变。这是一个牵一发动全身的超参数。

以 Llama-3-8B(d=4096, 32 层, all-linear)为例:

  • 可训参数:公式 2dr × 层数 × module 数。r=8 时约 7.3M,r=64 时约 58.7M。
  • 训练显存:除了 base 模型占用的显存,优化器状态与可训参数成正比。r=8 时额外显存约 2-3 GB。
  • 训练时长:更多可训参数意味着前向+反向计算量增加。r=64 相比 r=8,训练时间大约增加 20-30%。
  • 表达能力:r 越大,ΔW 能捕获的"方向"越多。但超过一定阈值后,新增的方向几乎没有信息量。
r 开太大只是白吃显存,多数任务 r=8 就够。HuggingFace PEFT 的默认值就是 r=8;只有代码、数学这类难任务才需要 r=64+。

3. 不同任务的 r 曲线

分类任务(情感分析、意图识别)的 r-效果曲线很早就趴平——r=8 就接近天花板。SQL 生成和数学推理任务则一直爬到 r=64 才放缓。曲线的形状取决于任务本身的"秩"需求。

各任务推荐 r 值(示意)

  • 指令跟随(MT-Bench):推荐 r=16,差距 vs 全量微调约 0.1 分
  • 情感分类(SST-2):推荐 r=8,差距 vs 全量微调约 0.6 个百分点
  • SQL 生成(Spider):推荐 r=32,差距约 2.8 个百分点
  • 数学推理(GSM8K):推荐 r=64,差距约 5.1 个百分点

4. 为什么 r 大了不再涨

LoRA 论文(Hu et al.)里有一个经典实验:固定其他变量,把 r 从 1 拉到 64,验证集得分从 r=4 之后基本不动了。原因在于微调给模型加的那点改动(ΔW = 微调前后权重的差)本来就只有几个重要方向。r 开再大也塞不进新东西。

业内把这种"真正重要的方向没几个"叫作低秩(rank-deficient)。把 ΔW 做奇异值分解(SVD),前 4-8 个奇异值就占了绝大部分能量,后面的几乎为零。r 超过 16,多出来的维度就花在这些没用的方向上了。

从 r=8 起步训练。效果不够再翻倍。验证集分数不涨就停——加大 r 浪费显存。少数代码、数学、长上下文任务需要 r=64+。

5. 真实配方一览

从 2023 年的 Alpaca-LoRA 到 2026 年的 Unsloth 默认,公开配方里 r 多在 8-64 之间。以下是六份有代表性的配方:

Alpaca-LoRA(Stanford 2023)——基础模型 LLaMA-7B,r=8,α=16,挂 q+v 层。教学经典,全球第一个被广为复现的 LoRA 配方。r=8 是它定下的"默认值"。

QLoRA Guanaco(Dettmers et al. 2023)——LLaMA-65B 4bit,r=64,α=16,挂 all-linear。定义了 r=64 + all-linear + 4bit base 的经典组合。

Tulu 3 LoRA(AI2 2024)——Llama-3.1-8B,r=32,α=16,挂 all-linear。Tulu 系列做了 LoRA vs 全量微调的完整对照,r=32 被认为是指令任务的合理上限。

Magpie-Pro LoRA(2024)——Llama-3-70B,r=16,α=32。α/r = 2 的特色——给 LoRA 旁路一点 boost。

DeepSeek-Coder LoRA(2024)——DeepSeek-Coder 7B,r=128,α=64。代码任务把 r 拉到 128,配 rsLoRA 防发散。

Unsloth 默认(2026)——Llama-3-8B,r=16,α=16。很多人把 r=16 当成新的起步档。


6. r 与 α 的搭配

补丁练完要加回原模型,加回去放大多少倍由 scale 决定:scale = α / r。α 是另一个超参数,控制 LoRA 旁路加回主路径时的缩放比例。五种常见配法:

  • α = r:scale=1,1:1 加回,训练最稳。原论文推荐。
  • α = 2r:scale=2,给小 r 时一个 boost。Magpie、Unsloth 推荐。
  • α = 16 固定:r 越大 scale 越小。HF 早期默认,今天已不推荐。
  • α = 32 固定:Tulu 系列、QLoRA Guanaco 配方。
  • rsLoRA(α/√r):scale 随 √r 衰减,高 r(>=128)训练不退化。arXiv:2312.03732。
10 秒决策:r ≤ 16 用 α = 2r;r = 32~64 用 α = r 或固定值;r ≥ 128 开 rsLoRA。

7. 相邻概念

LoRA rank 不是孤立概念。顺着这些方向可以深入理解微调全景:

  • LoRA 低秩适应:LoRA 全文,讲补丁 A、B 是什么、挂在哪几层、训完怎么部署。
  • 监督微调(SFT):LoRA 最常用的下游任务——用人工标注的对话数据做指令微调。
  • 微调(Fine-tuning):从预训练到微调的完整方法论。
  • 知识蒸馏:另一种参数高效训练方法,容易和 LoRA 搞混。
概念解析 · 人工智能ABC