常见的深度学习模块/操作中的维度约定（系统性总结）
🟩 1. 数据张量（特征图）维度
这是我们喂进网络或从网络中出来的“实际数据”。
| 类型 | 维度格式 | 举例 | 说明 |
|---|---|---|---|
| 图像/特征图 | (B, C, H, W) | (4, 3, 32, 32) | PyTorch中最常用的数据布局（NCHW） |
| 图像/特征图（TensorFlow风格） | (B, H, W, C) | (4, 32, 32, 3) | TF/Keras默认的数据格式（NHWC） |
| 序列数据 | (B, T, D) | (4, 100, 512) | B=batch, T=时间步数, D=特征维度（比如RNN、Transformer输入） |
🟨 2. 卷积层的权重张量维度
这些是参数层的权重，不是输入输出数据！
| 类型 | 维度格式 | 举例 | 含义 |
|---|---|---|---|
| 1D 卷积 | (out_channels, in_channels, kernel_size) | (64, 32, 3) | 只沿时间轴卷积 |
| 2D 卷积 | (out_channels, in_channels, kH, kW) | (64, 3, 3, 3) | 最常见 |
| 3D 卷积 | (out_channels, in_channels, D, H, W) | (64, 3, 3, 3, 3) | 用于体积数据/视频等 |
🟦 3. 全连接层（Linear）维度
| 类型 | 权重形状 | 举例 | 含义 |
|---|---|---|---|
| FC 层权重 | (out_features, in_features) | (5, 192) | 5个输出神经元，从192维输入接收信号 |
| 输入数据 | (batch_size, in_features) | (4, 192) | 每个样本是1个向量 |
| 输出数据 | (batch_size, out_features) | (4, 5) | 每个样本输出一个向量 |
🟧 4. 注意力机制中矩阵维度（尤其是 Transformer）
| 矩阵 | 维度格式 | 举例 | 说明 |
|---|---|---|---|
| Query / Key / Value | (B, heads, T, d_k) | (4, 8, 100, 64) | 多头注意力中每一头的特征维度 |
| Attention 权重矩阵 | (B, heads, T_q, T_k) | (4, 8, 100, 100) | 每个query对所有key的注意力分数 |
| Output | (B, T, d_model) | (4, 100, 512) | 每个时间步最终的编码结果 |
🟥 5. RNN / LSTM / GRU 输入输出维度
| 类型 | 维度 | 举例 | 说明 |
|---|---|---|---|
| 输入数据 | (seq_len, batch, input_size) | (100, 4, 128) | PyTorch默认格式 |
| 输出 | 同输入 | (100, 4, hidden_size) | 每一步的输出 |
| hidden / cell | (num_layers × num_directions, batch, hidden_size) | (2, 4, 128) | LSTM/GRU的隐藏状态 |
🟪 6. BatchNorm 层的参数维度
| 类型 | 参数形状 | 说明 |
|---|---|---|
BatchNorm1d | (C,) | 用于线性层或1D卷积输出的每个通道 |
BatchNorm2d | (C,) | 对应于每个图像通道 |
BatchNorm3d | (C,) | 视频/体数据的每个通道 |