简明 | ResNet特点、残差模块、残差映射理解摘要

Deep Residual Learning for Image Recognition

目录

ResNet特点

Residual残差模块

残差模块映射

实线残差模块

虚线残差模块

---

ResNet特点

• 使用BN（Batch Normalization）层加速训练，解决梯度消失/梯度爆炸问题
• 引入residual残差结构，减轻退化问题，可以搭建超深度网络结构(超1000层)。

Residual残差模块

残差神经网络实际存在两类残差模块（单元），姑且称为（实线）残差模块与虚线残差模块。 

残差模块映射

残差模块包含两种映射，identity mapping和residual mapping，综合形成

identity mapping实际基于skip connection跳跃连接理论

residual mapping残差可以理解为，即

实线残差模块

左图模块用于浅层网络（ResNet34），右图模块用于深层网络（如ResNet101）

右侧模块中，能够减少参数和运算量，1*1的卷积和用于升维/降维。

输入channel为256的特征矩阵，左侧模块需要1170648个参数，右侧模块需要69632个参数。

虚线残差模块

左图模块用于浅层网络（ResNet34），右图模块用于深层网络（如ResNet101）

虚线残差结构在跳跃连接分支上加入1*1卷积核进行降维

注意虚线残差模块中各层步距stride与实线残差模块的区别