python打卡训练营打卡记录day48

作业：自己多借助ai举几个例子帮助自己理解即可

广播机制（Broadcasting）在PyTorch中的规则：

广播机制允许在不同形状的张量之间进行运算。它的基本规则是：

1. 从尾部（即维度从后往前）开始对齐，比较两个张量的每一个维度。

2. 两个维度必须相等，或者其中一个为1，或者其中一个不存在（即其中一个张量在该维度上没有大小），才能进行广播。

3. 广播会在缺失的维度（通过unsqueeze）和大小为1的维度上扩展（复制）数据。

例如：

张量A的形状为(3, 1, 5)，张量B的形状为(2, 1)：

从尾部对齐：

A: (3, 1, 5)

B:      (2,1)

将B的形状与A的尾部对齐：即A的第三维（5）和B的第二维（1）对齐，A的第二维（1）和B的第一维（2）对齐，A的第一维（3）没有对应的，所以B要在前面加一个维度。

所以实际上，我们这样看：

A: 3×1×5

B: 1×2×1 (在B前面加了一个1，变成3维：1×2×1)

然后每个维度比较：

第一维：3和1 -> 1可以扩展成3

第二维：1和2 -> 1可以扩展成2

第三维：5和1 -> 1可以扩展成5

所以最终形状为(3,2,5)

规则：如果两个张量在某个维度上相同，或者其中一个为1，那么它们就是兼容的。如果其中一个张量在某个维度上缺失（即维度数少于另一个），那么就在该张量的形状前面补1，直到两个张量的维度数相同。

然后，在运算时，每个维度的大小会取两个张量在该维度上的最大值（前提是它们兼容）。

下面举几个例子：

例1：

A: (8,1,6,1)

B: (7,1,5)

首先，将B的维度数补齐到4维（在B前面加一个1）：(1,7,1,5)

然后，比较每个维度：

dim0: 8和1 -> 8

dim1: 1和7 -> 7

dim2: 6和1 -> 6

dim3: 1和5 -> 5

所以广播后的形状为(8,7,6,5)

例2：

A: (3,1,5)

B: (1,2,1)

广播后形状为(3,2,5)

例3（不兼容）：

A: (3,4)

B: (2,)

首先，将B的维度补齐：(1,2) 然后与A(3,4)比较：

第一维：3和1 -> 3

第二维：4和2 -> 4和2不相等，且都不是1，所以不能广播。

但是，如果B是(4,)呢？

A: (3,4)

B: (4,) -> 补齐为(1,4)

然后比较：第一维3和1 -> 3；第二维4和4 -> 4，所以可以广播成(3,4)

注意：在PyTorch中，我们通常使用加法、乘法等操作时会触发广播。

广播机制要点总结

核心价值：避免不必要的内存复制，提升计算效率

触发场景：所有逐元素操作（+, -, *, / 等）

应用场景：

   归一化操作（张量 ± 标量）

   特征图与偏置项相加

   不同维度的张量运算

@浙大疏锦行