LoRA（Low-Rank Adaptation）原理详解
LoRA（Low-Rank Adaptation）原理详解
LoRA（低秩适应）是一种参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）技术，旨在以极低的参数量实现大模型在特定任务上的高效适配。其核心思想基于低秩分解假设，即模型在适应新任务时，参数更新矩阵具有低秩特性，可用少量参数近似表示。以下从数学原理、实现步骤、优势分析及变体扩展等方面展开说明。
一、核心数学原理与实现步骤
- 低秩分解假设
- 假设预训练模型权重矩阵 $ W_0 \in \mathbb{R}^{d \times k} $ 的更新量 $ \Delta W $ 可分解为两个低秩矩阵的乘积：
Δ W = B ⋅ A 其中 B ∈ R d × r , A ∈ R r × k , r ≪ min ( d , k ) \Delta W = B \cdot A \quad \text{其中} \quad B \in \mathbb{R}^{d \times r}, \ A \in \mathbb{R}^{r \times k}, \ r \ll \min(d,k)
- 假设预训练模型权重矩阵 $ W_0 \in \mathbb{R}^{d \times k} $ 的更新量 $ \Delta W $ 可分解为两个低秩矩阵的乘积：