深度学习基础——神经网络优化算法

1.1梯度下降法

梯度下降法：函数沿梯度方向有最大的变化率，优化目标损失函数时，根据负梯度方向进行。
$${\theta }_{t+1}={\theta }_t-\eta \cdot {\nabla }_{\theta }L({\theta }_t)$$
其中：
$\eta$为学习率，即每次更新的步长。
${\nabla }_{\theta }$为梯度。

1.2改进的梯度下降法

以下是神经网络梯度下降法中几种经典改进方法的讲解，包括核心思想、公式及适用场景：

---

1. Momentum（动量法）

核心思想：模拟物理中的动量，在参数更新时引入历史梯度方向的加权平均，加速收敛并减少震荡。
公式：
$$\begin{gathered} v_t=\beta v_{t-1}+(1-\beta ){\nabla }_{\theta }L({\theta }_t) \\ {\theta }_{t+1}={\theta }_t-\eta \cdot v_t \end{gathered}$$

• 特点：
  • $\beta$ 为动量系数（通常取0.9），控制历史梯度的权重。
  • 在梯度方向一致时加速更新，梯度方向变化时减少震荡。
• 适用场景：损失函数存在局部最小值或鞍点时效果显著。

---

2. AdaGrad（自适应梯度）

核心思想：为每个参数自适应调整学习率，历史梯度平方的累积值越大，学习率越小。
公式：
$$\begin{gathered} G_t=G_{t-1}+({\nabla }_{\theta }L({\theta }_t){)}^2 \\ {\theta }_{t+1}={\theta }_t-\frac{\eta }{\sqrt{G_t+ϵ}}\cdot {\nabla }_{\theta }L({\theta }_t) \end{gathered}$$

• 特点：
  • 学习率随训练逐步衰减，适合稀疏数据（如自然语言处理）。
  • 缺点：累积梯度平方可能导致学习率过早趋近于零。
• 适用场景：特征稀疏或需要自适应调整学习率的任务。

---

3. RMSProp（均方根传播）

核心思想：改进AdaGrad的累积方式，引入指数衰减平均，避免学习率过早下降。
公式：
$$\begin{gathered} E_t=\beta E_{t-1}+(1-\beta )({\nabla }_{\theta }L({\theta }_t){)}^2 \\ {\theta }_{t+1}={\theta }_t-\frac{\eta }{\sqrt{E_t+ϵ}}\cdot {\nabla }_{\theta }L({\theta }_t) \end{gathered}$$

• 特点：
  • 通过衰减系数 $\beta$（通常取0.9）控制历史梯度的影响。
  • 解决了AdaGrad学习率单调下降的问题。
• 适用场景：非平稳目标函数或需要动态调整学习率的场景。

---

4. Adam（自适应矩估计）

核心思想：结合Momentum和RMSProp，利用梯度的一阶矩（均值）和二阶矩（方差）进行自适应调整。
公式：
$$\begin{gathered} m_t={\beta }_1{m}_{t-1}+(1-{\beta }_1){\nabla }_{\theta }L({\theta }_t)(\text{一阶矩}) \\ {v}_t={\beta }_2{v}_{t-1}+(1-{\beta }_2)({\nabla }_{\theta }L({\theta }_t){)}^2(\text{二阶矩}) \\ {\hat{m}}_t=\frac{m_t}{1-{\beta }_1^t},{\hat{v}}_t=\frac{v_t}{1-{\beta }_2^t}(\text{偏差修正}) \\ {\theta }_{t+1}={\theta }_t-\frac{\eta }{\sqrt{{\hat{v}}_t}+ϵ}\cdot {\hat{m}}_t \end{gathered}$$

• 特点：
  • 超参数 ${\beta }_1$（通常0.9）和 ${\beta }_2$（通常0.999）分别控制一阶和二阶矩的衰减。
  • $ϵ$为一个很小的常数。
  • 偏差修正（Bias Correction）避免初始阶段估计偏差。
  • 综合了动量加速和自适应学习率的优点。
• 适用场景：通用性强，尤其适合大数据集和复杂模型（如深度学习）。

---

总结与对比

方法	核心改进点	优点	缺点
Momentum	引入动量加速收敛	减少震荡，加速平坦区域收敛	对噪声敏感，需调参(\beta)
AdaGrad	自适应学习率（历史梯度平方）	适合稀疏数据	学习率过早下降，需手动设置(\epsilon)
RMSProp	指数衰减的梯度平方累积	解决AdaGrad学习率下降过快问题	超参数(\beta)需调节
Adam	一阶矩+二阶矩自适应	收敛快，适应性强，通用性好	内存占用略高，超参数较多

---

实际应用建议

• 默认选择：优先尝试Adam，因其在大多数任务中表现稳定。
• 特殊场景：稀疏数据可尝试AdaGrad或RMSProp；简单模型可用Momentum。
• 框架实现：

  # PyTorch示例
  optimizer = torch.optim.Adam(model.parameters(), lr=0.001)
  optimizer = torch.optim.SGD(model.parameters(), lr=0.01, momentum=0.9)