大语言模型

概念解析——LoRA 低秩适应

想微调一个大模型,又没那么多显存?LoRA 是目前最流行的解法。它在原模型的权重旁边加一条很窄的补丁通道,只练这条补丁——几十 MB 的 adapter 文件就能改模型行为。单张消费级显卡跑得动。


1. 什么是 LoRA:核心思想

LoRA 全称 Low-Rank Adaptation(低秩适应),2021 年由微软团队提出1。这个方法的出发点很务实:大模型有几十亿甚至上千亿参数,全量微调(Full Fine-Tuning)要改全部权重,显存和算力都扛不住。能不能只改一小部分,却达到接近全量微调的效果?

LoRA 的回答是:冻结原模型的所有权重,在旁边插入一条并行的补丁通道。训练时只更新这条补丁,原参数一个不动。推算是把补丁的输出和原权重的输出加起来。

LoRA = 冻住原权重,旁边加一条窄补丁(B×A)。训完补丁单独存成几十 MB 的文件,叫 adapter。

这个方法的好处很直观:要改的参数少了一两个数量级,显存占用降到十分之一左右。训练完成后,补丁文件可以单独保存,换任务就换个 adapter,底模一直在那不用动。


2. 矩阵分解:B×A 补丁

LoRA 的数学不复杂。假设原模型某层有一个权重矩阵 W,尺寸是 d × k(比如 4096 × 4096)。LoRA 不碰 W,而是构造两个小矩阵:B(d × r)和 A(r × k)。

训练时,这一层的实际计算公式变成:

h = Wx + BAx
Wx 是原权重走的主干,BAx 是补丁通道。两个结果相加就是最终输出。

这里的 r(rank)是关键参数,也是 LoRA 唯一需要你拍脑袋决定的东西。r 远小于 d 和 k(通常是 8、16、64),所以 BA 的总参数量只有 d × r + r × k = r × (d + k)——比原来 d × k

补丁越窄(r 越小),参数越省,但能学到的模式也越少。补丁越宽(r 越大),表达力越强,但省下的显存也越少。

3. 为什么 LoRA 能行:本征维度

LoRA 有效不是运气。2021 年 Aghajanyan 等人的研究2发现了本征维度(Intrinsic Dimension)现象:大模型的参数虽然多,但真正解决问题的有效自由度远低于参数数量。换句话说,模型的高维空间中藏着一条低维流形,你只需要沿着这条流形微调就够了。

LoRA 的 B×A 分解正好模拟了这种低维变化。A 把输入从高维压到低维(r 维),B 再把它升回来。这个瓶颈结构迫使模型只学习最重要的方向变化,相当于自带正则化。

实验也印证了这一点:大多数任务上,LoRA 与全量微调的差距在 1-5% 以内。指令跟随、文本分类类任务几乎打平,代码生成、长上下文场景差距稍大,但也完全可以接受。


4. Rank 超参数:补丁多宽才够

r 是 LoRA 最重要的超参数,决定了补丁通道的容量。选多大没有标准答案,但有一些经验规则:

  • r = 8-16:通用推荐值。大多数 SFT(监督微调)任务在此区间效果和效率的平衡最好。
  • r = 32-64:面对复杂任务(数学推理、代码生成)时推荐。更大的 r 带来更强表达力,代价是显存和训练时间增加。
  • r = 1-4:极窄补丁。适用于风格 nudging、分类头,或作为 adapter 组合的基础构件。

还有另一个超参数 alpha(α),控制补丁的缩放系数。经典配置是 α = 2r。α 太大补丁抢主干的主导权,太小补丁不起作用。实践中 α 从 16 起步调就行。

r 是 LoRA 性价比的刻度尺:r 大一倍,补丁参数多一倍,效果涨一点。什么时候收益递减,得试。

5. Adapter 挂在哪

Transformer 模型每一层有很多线性投影层。LoRA 可以选择挂在哪几层上。这个选择影响效果和效率。

原论文只在 self-attention 的 Q 和 V 上挂 adapter,因为作者认为这两层已经能搬动语义。但后来的实践发现,在更多层上挂 LoRA 可以提升效果:

  • Q + V 两层:原版配置。可训参数最少,学术 ablation 常用。2026 年实战已不主流。
  • 所有 attention 层(Q/K/V/O):覆盖整个注意力块。标准 SFT 和指令微调的默认选择。
  • 所有线性层(attention + MLP):最"重"的配置。Unsloth、Axolotl、LLaMA-Factory 的默认选项。代码、数学、推理场景推荐。

挂的层越多,可训参数越多,效果上限越高,但训练速度也越慢。7 层全挂大约增加 0.5% 的可训参数,训练慢 30%,但效果通常有明显提升。


6. 训完怎么部署

LoRA 训完得到一对小矩阵 (B, A)。怎么用它们推理,有两种模式:

Merge 模式:把 BA 直接累加到原权重上,得到一个新模型(W' = W + BA)。推理时跟普通模型一模一样,没有任何额外计算开销。缺点是切换 adapter 要重新加载整个模型。

Hot-Swap 模式:BA 始终单独存放。base 模型常驻 GPU,多个 adapter 按请求换入换出。推理时多了一对矩阵乘法,latency 增加 5-15%,但显存只占一份 base + 多份 adapter。这是多租户 SaaS 的唯一可行架构。

2026 年的主流推理框架(vLLM、LoRAX、SGLang)都原生支持 Hot-Swap。单用途场景首选 Merge,多租户场景必选 Hot-Swap。


7. LoRA 家族:变体一览

LoRA 之后社区涌现了很多变体。每个都在原公式上动了一处,针对不同的痛点。

QLoRA

2023 · 4-bit 量化 + LoRA

先把 base 模型压成 4-bit(NF4 格式),再挂 LoRA 旁路。单张 48GB GPU 可微调 65B 模型。Unsloth 默认走这条路。是目前显存紧张时的首选方案。

DoRA

2024 · 方向 + 长度分别训

把 ΔW 分解为方向(direction)和长度(magnitude)两部分单独训。在低 r(r=4-8)时效果比 LoRA 高 1-3 个点。想在极低参数预算下逼近全量微调时可以考虑。

rsLoRA

2023 · 数学修正 scale

把缩放系数 α/r 改成 α/√r,让 r 加大时不爆。r > 32 时训练更稳,效果随 r 增长不饱和。所有支持 LoRA 的框架都能两行代码切换。

LoRA+

2024 · B 和 A 不同学习率

B 的学习率比 A 大 16 倍,分别走两个 optimizer 组。训练收敛快约 2 倍,最终效果略升。训练时长是瓶颈时的好选择。

PiSSA

2024 · SVD 初始化

用 W 自己的 SVD 主成分初始化 A、B,剩余部分给冻结的 W。收敛比随机初始化快,最终 loss 更低。想从更好的起点出发时可用。

VeRA

2023 · 共享冻结 + 只训缩放

B 和 A 在各层共享一对随机冻结矩阵,只训逐层的缩放向量。可训参数再降 10 倍,adapter 文件不到 1 MB。千个客户每人一个 adapter 的场景很实用。

QLoRA 是量产之王——省显存靠它。DoRA 是精度之王——低 r 下效果最优。两者可以叠加使用。

8. 生态:Hub 上的 adapter

LoRA 的流行催生了庞大的 adapter 生态。HuggingFace Hub 上的 LoRA adapter 已经超过 2 万个3,CivitAI 上有更多面向 Stable Diffusion 的 LoRA 模型。

典型用法:同一个底模(比如 Llama-3-8B 或 Mistral-7B),社区上传了几百个不同的 adapter——SQL 生成、客服分类、古诗续写、JSON 严格输出、医学问答……每个 adapter 只有几十 MB,想用哪个就挂哪个。

Predibase 的 LoRA Land 项目提供了 31 个开源 SOTA adapter 的评测基线,Unsloth 社区也有大量现成的 LoRA 权重可以直接下载使用。


9. 相邻概念

LoRA 不是孤立存在的。下面这些概念和它紧密相关:

  • LoRA Rank(秩):LoRA 补丁的宽度参数,控制微调的表达力与参数量的平衡。
  • 微调(Fine-tuning):在预训练模型上用特定任务数据继续训练的全流程,LoRA 是其中一种微调方法。
  • 监督微调(SFT):用人工标注的指令数据微调模型,LoRA 是 SFT 最常用的手段。
  • 模型量化:降低参数精度的技术。和 LoRA 正交——你先量化底模再用 LoRA 微调(即 QLoRA)。
  • 全量微调:LoRA 的对立面——更新全部参数。效果好但费显存。

参考资料

  1. Hu et al. "LoRA: Low-Rank Adaptation of Large Language Models." arXiv:2106.09685, 2021.
  2. Aghajanyan et al. "Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning." arXiv:2012.13255, 2020.
  3. HuggingFace PEFT documentation, v0.13, 2026. https://huggingface.co/docs/peft
  4. Dettmers et al. "QLoRA: Efficient Finetuning of Quantized Language Models." arXiv:2305.14314, 2023.
  5. Liu et al. "DoRA: Weight-Decomposed Low-Rank Adaptation." arXiv:2402.09353, 2024.
  6. Kalajdzievski. "rsLoRA: A Rank-Stabilized LoRA." arXiv:2312.03732, 2023.
  7. Hayou et al. "LoRA+: Efficient Low-Rank Adaptation of Large Models." arXiv:2402.12354, 2024.
  8. Meng et al. "PiSSA: Principal Singular Values and Singular Vectors Adaptation." arXiv:2404.02948, 2024.
  9. Kopiczko et al. "VeRA: Vector-based Random Matrix Adaptation." arXiv:2310.11454, 2023.
概念解析 · 人工智能ABC