LoRA核心公式

LoRA核心公式

flyfish

低秩矩阵分解如何通过“降维-升维”的线性变换，用极少的参数近似表示复杂的权重更新

原始矩阵 vs 低秩近似

一、基础设定：构造一个高维原始矩阵

假设我们有一个预训练模型的权重矩阵 $W_0$，维度为 $4\times 4$，表示如下（保留两位小数）：
$$W_0=\left[\begin{array}{cccc}0.80& 0.20& 0.30& 0.70\\ 0.40& 0.90& 0.10& 0.60\\ 0.30& 0.50& 0.70& 0.20\\ 0.60& 0.10& 0.80& 0.40\end{array}\right]$$

矩阵观察：

• 这是一个随机生成的矩阵，假设其秩为 4（满秩），意味着所有行/列向量线性无关。
• 在实际大模型中，权重矩阵维度通常为 $d\times d$（如 $d=768$或 $1024$），参数总量为 $d^2$，计算和存储成本极高。

二、低秩分解：用 $r=2$近似原始矩阵

LoRA 引入两个低秩矩阵 $A$（降维矩阵）和 $B$（升维矩阵），设 $r=2$（远小于 $d=4$）：

1. 初始化低秩矩阵

• 降维矩阵 $A\in {\mathbb{R}}^{r\times d}$（随机高斯初始化）：
  $$A=\left[\begin{array}{cccc}0.10& 0.20& 0.30& 0.40\\ 0.50& 0.60& 0.70& 0.80\end{array}\right]$$

  • 每一行代表低维空间的一个基向量，将 4 维输入压缩到 2 维。

• 升维矩阵 $B\in {\mathbb{R}}^{d\times r}$（初始化为零矩阵）：
  $$B=\left[\begin{array}{cc}0.00& 0.00\\ 0.00& 0.00\\ 0.00& 0.00\\ 0.00& 0.00\end{array}\right]$$

  • 初始全零保证训练初期不影响原始权重 $W_0$。

2. 训练后更新低秩矩阵

假设经过下游任务微调，$B$被更新为（示例值）：
$$B=\left[\begin{array}{cc}0.10& 0.20\\ 0.30& 0.40\\ 0.50& 0.60\\ 0.70& 0.80\end{array}\right]$$

3. 计算低秩更新量 $\Delta W=AB$

矩阵乘法过程：

1. 计算 $AB$的第 1 行第 1 列元素：
   $$(AB{)}_{1,1}=A_{1,1}{B}_{1,1}+A_{1,2}{B}_{2,1}+A_{1,3}{B}_{3,1}+A_{1,4}{B}_{4,1}$$
   $$=0.10\times 0.10+0.20\times 0.30+0.30\times 0.50+0.40\times 0.70=0.10+0.06+0.15+0.28=0.59$$

2. 完整计算 $AB$：
   $$AB=\left[\begin{array}{cc}0.59& 0.74\\ 1.39& 1.74\\ 2.19& 2.74\\ 2.99& 3.74\end{array}\right]$$

4. 构造低秩近似矩阵 $W=W_0+AB$

假设缩放因子 $\alpha =r=2$，则 $\alpha /r=1$，最终权重为：
$$W=W_0+AB=\left[\begin{array}{cccc}0.80+0.59& 0.20+0.74& 0.30+0.59& 0.70+0.74\\ 0.40+1.39& 0.90+1.74& 0.10+1.39& 0.60+1.74\\ 0.30+2.19& 0.50+2.74& 0.70+2.19& 0.20+2.74\\ 0.60+2.99& 0.10+3.74& 0.80+2.99& 0.40+3.74\end{array}\right]$$
$$=\left[\begin{array}{cccc}1.39& 0.94& 0.89& 1.44\\ 1.79& 2.64& 1.49& 2.34\\ 2.49& 3.24& 2.89& 2.94\\ 3.59& 3.84& 3.79& 4.14\end{array}\right]$$

三、参数效率对比：低秩分解的“压缩魔力”

• 原始矩阵 $W_0$：

  • 维度：$4\times 4$，参数总量 = $4\times 4=16$。

• 低秩矩阵 $A$和 $B$：

  • $A$维度：$2\times 4$，参数 = $2\times 4=8$；
  • $B$维度：$4\times 2$，参数 = $4\times 2=8$；
  • 总参数 = $8+8=16$（与原始矩阵相同，此例中 $d=4,r=2$，实际大模型中 $r\ll d$时参数会大幅减少）。

• 实际大模型场景（$d=1024,r=8$）：

  • 原始参数：$1024\times 1024=1,048,576$；
  • LoRA 参数：$1024\times 8+8\times 1024=16,384$（压缩率 $\frac{16384}{1048576}=1.56\%$）。

四、低秩近似的几何意义：从“满空间”到“一维流形”

• 原始矩阵 $W_0$：权重分布在 4×4=16 维空间中，参数间可能存在复杂关联。
• 低秩矩阵 $AB$：权重更新被限制在 $r=2$维子空间中，即所有可能的 $AB$矩阵可表示为：
  $$AB=\sum _{i=1}^2{\mathbf{a}}_i{\mathbf{b}}_i^T$$
  其中 ${\mathbf{a}}_i$是 $A$的行向量，${\mathbf{b}}_i^T$是 $B$的列向量。这意味着权重更新只能沿着 ${\mathbf{a}}_i{\mathbf{b}}_i^T$定义的“方向”变化，大幅减少搜索空间。

五、低秩分解的“信息过滤”作用

假设原始矩阵 $W_0$包含：

• 预训练学到的通用知识（如语言模型中的语法规则）；
• 微调需要增强的任务特定知识（如情感分析中的情感极性特征）。

低秩矩阵 $AB$相当于一个“过滤器”：

• 保留 $W_0$中的通用知识（因 $W_0$冻结）；
• 仅学习任务特定知识的低维表示（如情感分析中，$AB$可能强化“积极/消极”相关的权重模式）。

六、直观比喻：用“调色盘”理解低秩近似

• 原始矩阵 $W_0$：相当于一幅已经完成的“预训练画作”，包含丰富的色彩（知识）。
• 低秩矩阵 $AB$：相当于一个“任务特定调色盘”，仅用少数几种颜色（低秩维度 $r$）在原作上叠加新的风格（如将风景画调整为抽象画）。
• 缩放因子 $\alpha$：相当于调色盘的“颜料浓度”，控制新风格的强度，避免覆盖原作的基础构图。

七、误差分析：低秩近似的“损失与收益”

• 近似误差：计算原始矩阵 $W_0$与低秩近似矩阵 $W$的 Frobenius 范数误差：
  $$\Vert W-W_0{\Vert }_F=\sqrt{\sum _{i,j}(W_{i,j}-W_{0,i,j}{)}^2}=\sqrt{0.59^2+0.74^2+\cdots +3.74^2}\approx 8.97$$
  误差大小取决于 $r$的选择：$r$越大，误差越小，但参数越多。

LoRA（Low-Rank Adaptation）的本质是一种参数高效微调技术，其核心思想是通过低秩矩阵分解来近似表示大模型权重的任务特定更新，从而将可训练参数从传统全量微调的数十亿规模降至百万级别。具体来说，LoRA在冻结预训练模型原始权重（$W_0$）的基础上，引入两个低秩矩阵$A$（降维）和$B$（升维），使得权重更新量$\Delta W\approx AB$，最终权重表示为$W=W_0+\frac{\alpha }{r}AB$。这种设计通过数学上的降维操作，将权重更新限制在低维子空间中，既保留了预训练知识的核心结构，又能通过极小的参数量（通常为原模型的0.01%-1%）快速适应新任务，实现了计算效率与模型性能的最优平衡。

LoRA核心公式

一、基础公式解析

LoRA的核心公式由三部分组成：

1. 低秩矩阵分解：$\Delta W\approx AB$
2. 权重组合：$W=W_0+\frac{\alpha }{r}AB$
3. 缩放因子：$\frac{\alpha }{r}$

二、低秩矩阵分解：$\Delta W\approx AB$

1. 数学本质

• 目标：用两个低秩矩阵$A$和$B$的乘积近似表示权重更新量$\Delta W$。
• 矩阵维度：
  • $A\in {\mathbb{R}}^{r\times d}$（降维矩阵）
  • $B\in {\mathbb{R}}^{d\times r}$（升维矩阵）
  • $AB\in {\mathbb{R}}^{d\times d}$（与$W_0$同维度）
• 参数压缩：原始$W_0$的参数量为$d^2$，而$A$和$B$的总参数量为$2dr$。当$r\ll d$时（如$r=8$，$d=1024$），参数量减少98.4%。

2. 几何解释

• 将权重更新$\Delta W$限制在一个$r$维子空间中，而非整个$d^2$维空间。
• 直观理解：假设$W_0$是一个“知识底座”，$AB$则是在这个底座上叠加的“任务特定偏移”，且这个偏移被约束在低维方向上。

三、权重组合：$W=W_0+\frac{\alpha }{r}AB$

1. 预训练权重冻结

• $W_0$保持不变，所有训练仅更新$A$和$B$。这确保了预训练知识不会被破坏，避免“灾难性遗忘”。

2. 增量更新机制

• 最终权重$W$由两部分组成：
  • $W_0$：预训练模型的基础能力（如语言理解、图像特征提取）。
  • $\frac{\alpha }{r}AB$：任务特定的增量知识（如情感分析、医疗命名实体识别）。

3. 前向传播计算流程

假设输入向量为$x$，传统计算为$W_{0}x$，而LoRA的计算分解为：

1. 基础输出：$h_1=W_{0}x$
2. 增量输出：$h_2=\frac{\alpha }{r}ABx$
3. 最终输出：$h=h_1+h_2$

四、缩放因子：$\frac{\alpha }{r}$

1. 设计目的

• 平衡$AB$的梯度量级，确保训练初期增量矩阵的影响不会过大，避免破坏预训练权重的稳定性。

2. 典型设置

• 通常$\alpha =r$，此时$\frac{\alpha }{r}=1$，公式简化为$W=W_0+AB$。
• 当$\alpha \ne r$时，$\frac{\alpha }{r}$作为缩放系数：
  • $\alpha >r$：增强增量矩阵的影响。
  • $\alpha <r$：减弱增量矩阵的影响。

3. 工程实践

• 在训练初期，$\alpha /r$可防止随机初始化的$A$和$B$产生过大扰动。
• 例如，在QLoRA（量化LoRA）中，$\alpha$常被用作超参数调整量化误差与任务适配的平衡。

五、从线性代数视角理解

1. 矩阵乘法的分步解析

计算$ABx$时：

1. 降维：$h_{low}=Ax$，将$x$从$d$维压缩到$r$维。
2. 升维：$h_{high}=B{h}_{low}$，将$h_{low}$从$r$维恢复到$d$维。

2. 低秩矩阵的表达能力

• $AB$的秩最大为$r$，意味着它只能表示$r$个线性无关的方向。
• LoRA的假设：任务特定的权重更新往往集中在低维子空间中，因此$r$维足以捕捉关键信息。

六、初始化策略的数学意义

1. $A$的随机初始化

• 通常用高斯分布$N(0,0.02^2)$初始化$A$，确保其元素具有足够的随机性，打破对称性。

2. $B$的零初始化

• 训练初期$B=0$，则$\Delta W=AB=0$，此时$W=W_0$。
• 随着训练进行，$B$逐渐更新，增量矩阵$\Delta W$从0开始平滑增长，实现对预训练知识的“温和调整”。

七、多任务扩展公式

对于$T$个任务，可共享$W_0$，为每个任务维护独立的$A_t$和$B_t$：
[
W = W_0 + \sum_{t=1}^{T} \frac{\alpha_t}{r_t}A_tB_t
]

• 切换任务时，只需激活对应任务的$A_t$和$B_t$，无需重新训练$W_0$。
• 参数效率进一步提升：总参数量为$W_0+T\times 2dr$，远小于独立训练$T$个模型的成本。

八、公式对比：LoRA vs 传统微调

方法	权重更新公式	可训练参数	预训练知识保留
全量微调	$W=W_0+\Delta W$	$d^2$	部分丢失
LoRA	$W=W_0+\frac{\alpha }{r}AB$	$2dr$	完全保留
Adapter（对比）	$W=W_0+\text{Adapter}(x)$	额外模块参数	完全保留

LoRA巧妙地将大模型微调问题转化为一个低秩矩阵优化问题，在保留预训练知识的同时，以极小的计算代价实现任务适配。

1. 参数效率：参数量与$r$呈线性关系，与$d$呈二次关系。
2. 计算复杂度：前向传播仅增加$O(2dr)$的计算量，远低于$O(d^2)$。
3. 梯度隔离：仅$A$和$B$参与训练，$W_0$的梯度为0，避免干扰预训练知识。
4. 低秩约束：通过限制$r$，隐式引入正则化，防止过拟合。