Relooking：损失权重λ 、梯度权重α、学习率η

一般多任务，大家都喜欢叠加很多损失，由此产生很多损失权重系数。此外，有的学者直接对梯度进行操作。咋一看，上面三个系数貌似重复多余，直接用其中一个系数代替不行吗？为此，回顾了下神经网络的前向传播和反向求导公式，感觉有点拉大旗作虎皮的意味。标题本来是“Rethinking”，想着会有一些新发现，但随后就改成了“Relooking”蒜鸟。

形式化

直观来说，损失权重$\lambda$ 、梯度权重$\alpha$、学习率$\eta$可以看做是三个标量系数，即trade-off parameter 或 weighting coefficient。
$$\begin{array}{rl}L& ={\lambda }_1{L}_1+{\lambda }_2{L}_2\\ {\nabla }_{\theta }L& ={\alpha }_1\nabla L_1+{\alpha }_2\nabla L_2\\ \theta :& =\theta -\eta \cdot {\nabla }_{\theta }L\end{array}$$

作用：

• 损失权重$\lambda$：对相应任务的损失值进行缩放。$\lambda$越大，表明该项贡献越大（越重要），则要放大其损失值，促使模型对该项的优化。反之，越小，则是该项损失趋近0，贡献被忽略。
• 梯度权重$\alpha$：在反向传播中，直接对梯度值进行缩放。
• 学习率$\eta$：对所有梯度统一缩放，以控制模型参数的更新步长。$\eta$越大，则模型参数的步长越大。

案例讲解

下面以一个神经网络的为例，从底层原理来看它们的作用。

1. 网络结构定义

考虑一个双层网络：

• 输入：$x$
• 参数：$W_1,b_1,W_2,b_2$
• 激活函数：$g(\cdot )$ (如ReLU)
• 输出层未激活

2. 前向传播

流程：Fc1 --> Activation --> Fc2。
KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ z_1 &= W_1 x +…

3. 多任务损失计算

为了方便展示损失任务的权重系数，这里假设两个损失函数。其中，主任务交叉熵损失，辅助任务均方误差损失。
KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ L &= \lambda_1…

4. 反向传播梯度计算

KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ \frac{\partial…

5. 参数更新

$$W_1\leftarrow W_1-\eta \cdot \frac{\partial L}{\partial W_1}$$

即：

$$\Delta W_1=-\eta \left[\stackrel{\text{梯度权重}}{\overbrace{{\alpha }_1}}\left(\stackrel{\text{损失权重}}{\overbrace{{\lambda }_1}}\frac{\partial los{s}_1}{\partial W_1}\right)+\stackrel{\text{梯度权重}}{\overbrace{{\alpha }_2}}\left(\stackrel{\text{损失权重}}{\overbrace{{\lambda }_2}}\frac{\partial los{s}_2}{\partial W_1}\right)\right]$$

总结

• 根据step4可知，一般不需要对梯度进行惩罚操作，且过于复杂，直接对损失函数施加权重具有同样的功能。
• 根据step5可知，学习率全局缩放梯度向量，即调整整体的步长。
• 如梯度裁剪或者梯度归一化等特殊情况才在内部对梯度操作，非必须，一般不作用于梯度。

注：上述情况与GPT 4O交流的结果。以当前本人的水平，还无法体会到更深层次的含义。