当前位置：首页 > news >正文

反向传播.

news 2025/6/16 7:12:25

反向传播（Backpropagation）中求导的核心目的是计算损失函数对模型参数的梯度，从而指导参数优化。这一过程本质上是基于链式法则的数学推导，其逻辑可从以下维度拆解：

模型训练的本质：给定输入数据，模型通过参数（如神经网络的权重 W、偏置 b）计算输出，并与真实标签对比得到损失函数 L（如交叉熵、均方差）。训练需不断调整参数，使 L 最小化。
求导的作用：损失函数对参数的梯度 \(\frac{\partial L}{\partial \theta}\) 表示损失随参数变化的速率。梯度方向是损失增长最快的方向，其反方向（负梯度）是损失下降最快的方向，因此求导是为了确定参数更新的方向和幅度（即梯度下降法：\(\theta \leftarrow \theta - \eta \cdot \frac{\partial L}{\partial \theta}\)，\(\eta\) 为学习率）。

假设一个简单神经网络：输入 x，经线性变换 \(z = Wx + b\)，再通过激活函数 \(a = \sigma(z)\)，输出 a 与标签 y 的损失为 \(L = \frac{1}{2}(a - y)^2\)。

正向传播：计算 \(z \rightarrow a \rightarrow L\) 的过程。
反向传播的核心问题：如何计算 \(\frac{\partial L}{\partial W}\) 和 \(\frac{\partial L}{\partial b}\)？根据链式法则：\(\frac{\partial L}{\partial W} = \frac{\partial L}{\partial a} \cdot \frac{\partial a}{\partial z} \cdot \frac{\partial z}{\partial W}\)
- \(\frac{\partial L}{\partial a} = (a - y)\)（损失对输出的导数）；
- \(\frac{\partial a}{\partial z} = \sigma'(z)\)（激活函数对中间值的导数）；
- \(\frac{\partial z}{\partial W} = x\)（线性变换对权重的导数）。最终梯度为三者的乘积，即：\(\frac{\partial L}{\partial W} = (a - y) \cdot \sigma'(z) \cdot x\) 同理可求 \(\frac{\partial L}{\partial b}\)。这一过程通过链式法则将复杂的梯度分解为多层导数的乘积，实现从输出层到输入层的 “反向” 传递，因此称为反向传播。

若不使用反向传播：直接计算深层网络的梯度（如多层神经网络）会面临计算复杂度爆炸（参数数量随层数指数增长），且无法利用中间层的计算结果。
反向传播的优化：通过缓存中间层的导数（如激活函数的导数、中间值），从最后一层开始逐层向前计算梯度，将时间复杂度从指数级降至线性级（与层数成正比）。例如，对于一个 L 层网络，反向传播的时间复杂度为 \(O(L \cdot N)\)（N 为参数数量），而直接求导可能达到 \(O(N^L)\)。

输入层 \(x \in \mathbb{R}^n\)，隐藏层 \(h \in \mathbb{R}^m\)，输出层 \(o \in \mathbb{R}^k\)；
权重：\(W_1 \in \mathbb{R}^{m \times n}\)（输入→隐藏），\(W_2 \in \mathbb{R}^{k \times m}\)（隐藏→输出）；
激活函数：隐藏层用 ReLU，输出层用 Softmax，损失为交叉熵 L。

计算输出层梯度：\(\frac{\partial L}{\partial o} = o - y \quad (\text{Softmax + 交叉熵的导数特性})\)
反向传递至隐藏层：\(\frac{\partial L}{\partial h} = W_2^T \cdot \frac{\partial L}{\partial o} \cdot \text{ReLU}'(W_1x + b_1)\) （其中 \(\text{ReLU}'(z) = 1\) 当 \(z > 0\)，否则为 0）
计算权重梯度：\(\frac{\partial L}{\partial W_2} = \frac{\partial L}{\partial o} \cdot h^T, \quad \frac{\partial L}{\partial W_1} = \frac{\partial L}{\partial h} \cdot x^T\) 每一步均通过链式法则，将梯度从后往前分解，确保每一层参数的梯度可高效计算。