矩阵微积分的链式法则（chain rule）

矩阵微积分的链式法则（chain rule）与标量情况一样，用于求复合函数的导数，但由于涉及矩阵和向量的求导，维度匹配和布局约定（numerator-layout vs. denominator-layout）必须格外小心。下面给出常见的三种场景，并分别给出链式法则的显式表达。

1. 标量对矩阵的链式法则
   设

• 标量函数 (L) 依赖于矩阵变量 (Y \in \mathbb{R}^{m\times n})；
• 而 (Y) 又是矩阵变量 (X \in \mathbb{R}^{p\times q}) 的函数：(Y = F(X))。
  则

[
\frac{\partial L}{\partial X_{ij}} = \sum_{k=1}^{{m}\sum_{l=1}}{n} \frac{\partial L}{\partial Y_{kl}}\frac{\partial Y_{kl}}{\partial X_{ij}}.
]

写成“向量化”形式（vec 算子按列堆叠）：

[
\frac{\partial L}{\partial \operatorname{vec}(X)} = \left(\frac{\partial \operatorname{vec}(Y)}{\partial \operatorname{vec}(X)}\right)^\top \frac{\partial L}{\partial \operatorname{vec}(Y)}.
]

注意：

• 分子布局（numerator layout）下，(\frac{\partial \operatorname{vec}(Y)}{\partial \operatorname{vec}(X)}) 是 ((mn)\times(pq)) 的 Jacobian；
• 转置的出现取决于你采用的布局约定，务必维度匹配。

2. 向量对向量的链式法则
   设

• 向量函数 (z \in \mathbb{R}^{r}) 依赖于向量 (y \in \mathbb{R}^{m})；
• 而 (y) 又依赖于向量 (x \in \mathbb{R}^{n})：(y = f(x))。
  则

[
\frac{\partial z}{\partial x^\top} = \frac{\partial z}{\partial y^\top} \frac{\partial y}{\partial x^\top},
]

其中

• (\frac{\partial z}{\partial y^\top}) 是 (r \times m)；
• (\frac{\partial y}{\partial x^\top}) 是 (m \times n)；
• 乘积给出 (r \times n) 的 Jacobian (\frac{\partial z}{\partial x^\top})。

若用分母布局（denominator layout），则写作

[
\frac{\partial z}{\partial x} = \left(\frac{\partial y}{\partial x}\right)^\top \frac{\partial z}{\partial y}.
]

3. 矩阵对矩阵的“完全链式法则”
   当外层函数本身也是矩阵值，且内层函数也是矩阵值时，最保险的做法是向量化：

设

• (Z = G(Y)) 且 (Y = F(X))，
  其中 (X \in \mathbb{R}^{p\times q})，(Y \in \mathbb{R}^{m\times n})，(Z \in \mathbb{R}^{r\times s})。
  则

[
\frac{\partial \operatorname{vec}(Z)}{\partial \operatorname{vec}(X)} = \frac{\partial \operatorname{vec}(Z)}{\partial \operatorname{vec}(Y)} \frac{\partial \operatorname{vec}(Y)}{\partial \operatorname{vec}(X)}.
]

• 左侧是 ((rs)\times(pq)) 的 Jacobian；
• 右侧两个因子分别是 ((rs)\times(mn)) 与 ((mn)\times(pq))，维度恰好可乘。

记忆技巧
“维度从左到右连乘”：

• 若使用分子布局，链式法则的 Jacobian 顺序与函数复合顺序相同（类比标量链式法则）。
• 若使用分母布局，需要转置中间 Jacobian。
  无论哪种约定，务必先固定一种，再检查维度是否匹配。

小例子
设

• (L = \tfrac{1}{2}|Y|_F^2)，
• (Y = AXB)，(A,B) 为常数矩阵，
  则
  [
  \frac{\partial L}{\partial X} = A^\top Y B^\top,
  ]
  可直接用上述链式法则验证：
• (\frac{\partial L}{\partial Y} = Y)，
• (\frac{\partial \operatorname{vec}(Y)}{\partial \operatorname{vec}(X)} = B^\top \otimes A)，
• 于是
  [
  \operatorname{vec}!\left(\frac{\partial L}{\partial X}\right) = (B \otimes A^\top)\operatorname{vec}(Y) = \operatorname{vec}(A^\top Y B^\top).
  ]

注： AI写的，请大家审阅！