【python深度学习】Day 54 Inception网络及其思考
知识点:
1.传统计算机视觉发展史:LeNet–>AlexNet–>VGGNet–>nceptionNet–>ResNet
之所以说传统,是因为现在主要是针对backbone-neck-head这样的范式做文章
2.inception模块和网络
3.特征融合方法阶段性总结:逐元素相加、逐元素相乘、concat通道数增加等
4.感受野与卷积核变体:深入理解不同模块和类的设计初衷
作业:一次稍微有点学术感觉的作业:
1.对inception网络在cifar10上观察精度
2.消融实验:引入残差机制和cbam模块分别进行消融
一、 inception网络介绍
Inception 网络,也被称为 GoogLeNet,是 Google 团队在 2014 年提出的经典卷积神经网络架构。它的核心设计理念是 “并行的多尺度融合”,通过在同一层网络中使用多个不同大小的卷积核(如 1x1、3x3、5x5)以及池化操作,从不同尺度提取图像特征,然后将这些特征进行融合,从而在不增加过多计算量的情况下,获得更丰富的特征表达。
Inception 模块是 Inception 网络的基本组成单元。
在同样的步长下,卷积核越小,下采样率越低,保留的图片像素越多;卷积核越大,越能捕捉像素周围的信息。
一个典型的 Inception 模块包含以下几个并行的分支:
- 1x1 卷积分支:用于降维,减少后续卷积操作的计算量,同时提取局部特征。(像素下采样率低,但是可以修改通道数)
- 3x3 卷积分支:捕捉中等尺度的特征。
- 5x5 卷积分支:捕捉较大尺度的特征。
- 池化分支:通常使用最大池化或平均池化,用于保留图像的全局信息。
二、 inception网络架构
2.1 定义inception模块
import torch
import torch.nn as nnclass Inception(nn.Module):def __init__(self, in_channels):"""Inception模块初始化,实现多尺度特征并行提取与融合参数:in_channels: 输入特征图的通道数"""super(Inception, self).__init__()# 1x1卷积分支:降维并提取通道间特征关系# 减少后续卷积的计算量,同时保留局部特征信息self.branch1x1 = nn.Sequential(nn.Conv2d(in_channels, 64, kernel_size=1), # 降维至64通道nn.ReLU() # 引入非线性激活)# 3x3卷积分支:通过1x1卷积降维后使用3x3卷积捕捉中等尺度特征# 先降维减少计算量,再进行空间特征提取self.branch3x3 = nn.Sequential(nn.Conv2d(in_channels, 96, kernel_size=1), # 降维至96通道nn.ReLU(),nn.Conv2d(96, 128, kernel_size=3, padding=1), # 3x3卷积,保持空间尺寸不变nn.ReLU())# 5x5卷积分支:通过1x1卷积降维后使用5x5卷积捕捉大尺度特征# 较大的感受野用于提取更全局的结构信息self.branch5x5 = nn.Sequential(nn.Conv2d(in_channels, 16, kernel_size=1), # 大幅降维至16通道nn.ReLU(),nn.Conv2d(16, 32, kernel_size=5, padding=2), # 5x5卷积,保持空间尺寸不变nn.ReLU())# 池化分支:通过池化操作保留全局信息并降维# 增强特征的平移不变性self.branch_pool = nn.Sequential(nn.MaxPool2d(kernel_size=3, stride=1, padding=1), # 3x3最大池化,保持尺寸nn.Conv2d(in_channels, 32, kernel_size=1), # 降维至32通道nn.ReLU())def forward(self, x):"""前向传播函数,并行计算四个分支并在通道维度拼接参数:x: 输入特征图,形状为[batch_size, in_channels, height, width]返回:拼接后的特征图,形状为[batch_size, 256, height, width]"""# 注意,这里是并行计算四个分支branch1x1 = self.branch1x1(x) # 输出形状: [batch_size, 64, height, width]branch3x3 = self.branch3x3(x) # 输出形状: [batch_size, 128, height, width]branch5x5 = self.branch5x5(x) # 输出形状: [batch_size, 32, height, width]branch_pool = self.branch_pool(x) # 输出形状: [batch_size, 32, height, width]# 在通道维度(dim=1)拼接四个分支的输出# 总通道数: 64 + 128 + 32 + 32 = 256outputs = [branch1x1, branch3x3, branch5x5, branch_pool]return torch.cat(outputs, dim=1)
inception模块中不同的卷积核和步长最后输出同样尺寸的特征图,这是经过精心设计的,才能在空间上对齐,才能在维度上正确拼接(concat)。
2.2 特征融合方法
这里我们注意到,它是对把不同尺度的特征融合在一起。concat这种增加通道数的方法是一种经典的特征融合方法。通道数增加,空间尺寸(H, W)保持不变,每个通道的数值保持独立,没有加法运算。相当于把不同特征图 “并排” 放在一起,形成更 “厚” 的特征矩阵。
在深度学习中,特征融合的尺度有以下方式:
- 逐元素相加:将相同形状的特征图对应位置的元素直接相加,比如残差连接:
output = x + self.residual_block(x)
不改变特征图尺寸和通道数,计算高效,但需保证输入形状一致。
-
逐元素相乘:通过乘法对特征进行权重分配,抑制无关特征,增强关键特征。比如注意力机制、门控机制(如 LSTM 中的遗忘门、输入门),例如
attention = self.ChannelAttention(features) # 生成通道权重 weighted_features = features * attention # 逐元素相乘
2.3 InceptionNet网络定义
class InceptionNet(nn.Module):def __init__(self, num_classes=10):super(InceptionNet, self).__init__()self.conv1 = nn.Sequential(nn.Conv2d(3, 64, kernel_size=7, stride=2, padding=3),nn.ReLU(),nn.MaxPool2d(kernel_size=3, stride=2, padding=1))self.inception1 = Inception(64)self.inception2 = Inception(256)self.avgpool = nn.AdaptiveAvgPool2d((1, 1))self.fc = nn.Linear(256, num_classes)def forward(self, x):x = self.conv1(x)x = self.inception1(x)x = self.inception2(x)x = self.avgpool(x)x = torch.flatten(x, 1)x = self.fc(x)return x
inception网络有着很多变体,Inception v1版本就是 GoogLeNet,他还有v2到v4,还版本,还可以引入残差连接,如 Inception-ResNet-v2 在 ImageNet 上 top-1 准确率达 96.4%
三、卷积核的变体
3.1 感受野
我们发现,经常会有不同尺寸的卷积核来在特征图上滑动进一步提取信息,那么卷积核的尺寸如何选取比较合适呢?在思考这个问题前,你需要理解下感受野的概念。
感受野是指在卷积神经网络(CNN)中,神经元在原始输入图像上所对应的区域大小。通俗来说,卷积层中的每个输出特征图上的一个像素点,其信息来源于输入图像中的某个特定区域,这个区域的大小就是该像素点的感受野。
假设我们有一个 3×3 的卷积核,对一张 5×5 的图像进行步长为 1 的卷积操作:
输出特征图的每个像素点,都由输入图像中 3×3 的区域计算得到,因此该层的感受野为 3×3。
如果再叠加一层 3×3 卷积(步长 1),第二层的每个像素点会融合第一层 3×3 区域的信息,而第一层的每个区域又对应原始图像的 3×3 区域,因此第二层的感受野扩展为 5×5(即 3+3-1=5)
为了方便大家理解这个5怎么来的,可以观看下面连接中视频方便理解:
感受野的理解视频解析
所以,在对应同等感受野的情况下,卷积核尺寸小有2个显著的优势:
- 能让参数变少,简化计算
- 能够引入更多的非线性(多经过几次激活函数),让拟合效果更好
这也是为什么像 VGG 网络就用多层 3×3 卷积核替代大卷积核,平衡模型性能与复杂度 。
3.2 卷积的变体
卷积也是有很多变体的,除了我们之前说过的基础的卷积,还有空洞卷积、幻影卷积等等变体。我们以空洞卷积举例:
-
空洞卷积(也叫扩张卷积、膨胀卷积 ),是对标准卷积的 “升级”—— 在卷积核元素间插入空洞(间隔),用 空洞率(dilation rate,记为d) 控制间隔大小。
-
标准卷积(d=1):卷积核元素紧密排列,直接覆盖输入特征图相邻区域。
-
空洞卷积(d>1):卷积核元素间插入 d-1 个空洞,等效扩大卷积核的 “感受野范围”,但不增加参数数量(仅改变计算时的采样间隔)。也就是无需增大卷积核尺寸或叠加多层卷积,仅通过调整 d,就能指数级提升感受野。
对比池化(Pooling)或下采样,空洞卷积不丢失空间信息,能在扩大感受野的同时,维持特征图尺寸,特别适合语义分割、目标检测等需要精准像素 / 目标定位的任务。
所以不同的设计,其实是为了不同的任务,比如你虽然可以捕捉不同尺度的信息,但是对于图像分类这个任务来说没用,我的核心是整个图像的类别,如果你是目标检测,对于小目标的检测中小尺度的设计就很有用。
3.3 空洞卷积示例
代码上仅仅也是多了一个参数
self.conv2 = nn.Conv2d(16, 32, kernel_size=3, padding=2, dilation=2)
完整代码
import torch
import torch.nn as nn
import torchvision
import torchvision.transforms as transforms
from torch.utils.data import DataLoader# 数据预处理
transform = transforms.Compose([transforms.ToTensor(), # 转为张量transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)) # 归一化
])# 加载CIFAR-10数据集
trainset = torchvision.datasets.CIFAR10(root='./data', train=True,download=True, transform=transform)
trainloader = DataLoader(trainset, batch_size=128, shuffle=True)testset = torchvision.datasets.CIFAR10(root='./data', train=False,download=True, transform=transform)
testloader = DataLoader(testset, batch_size=128, shuffle=False)# 定义含空洞卷积的CNN模型
class SimpleCNNWithDilation(nn.Module):def __init__(self):super(SimpleCNNWithDilation, self).__init__()# 第一层:普通3×3卷积,捕捉基础特征self.conv1 = nn.Conv2d(3, 16, kernel_size=3, padding=1) # 第二层:空洞卷积,dilation=2,感受野扩大(等效5×5普通卷积感受野)self.conv2 = nn.Conv2d(16, 32, kernel_size=3, padding=2, dilation=2) # 第三层:普通3×3卷积,恢复特征对齐self.conv3 = nn.Conv2d(32, 64, kernel_size=3, padding=1) self.pool = nn.MaxPool2d(2, 2) # 池化层self.relu = nn.ReLU()# 全连接层,根据CIFAR-10尺寸计算:32×32→池化后16×16→...→最终特征维度需匹配self.fc1 = nn.Linear(64 * 8 * 8, 256) self.fc2 = nn.Linear(256, 10) def forward(self, x):# 输入: [batch, 3, 32, 32]x = self.conv1(x) # [batch, 16, 32, 32]x = self.relu(x)x = self.pool(x) # [batch, 16, 16, 16]x = self.conv2(x) # [batch, 32, 16, 16](dilation=2 + padding=2 保持尺寸)x = self.relu(x)x = self.pool(x) # [batch, 32, 8, 8]x = self.conv3(x) # [batch, 64, 8, 8]x = self.relu(x)x = x.view(-1, 64 * 8 * 8) # 展平x = self.fc1(x)x = self.relu(x)x = self.fc2(x)return x# 初始化模型、损失函数、优化器
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model = SimpleCNNWithDilation().to(device)
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)# 训练函数
def train(epoch):model.train()running_loss = 0.0for i, data in enumerate(trainloader, 0):inputs, labels = data[0].to(device), data[1].to(device)optimizer.zero_grad()outputs = model(inputs)loss = criterion(outputs, labels)loss.backward()optimizer.step()running_loss += loss.item()if i % 100 == 99: # 每100个batch打印一次print(f'Epoch: {epoch + 1}, Batch: {i + 1}, Loss: {running_loss / 100:.3f}')running_loss = 0.0# 测试函数
def test():model.eval()correct = 0total = 0with torch.no_grad():for data in testloader:images, labels = data[0].to(device), data[1].to(device)outputs = model(images)_, predicted = torch.max(outputs.data, 1)total += labels.size(0)correct += (predicted == labels).sum().item()print(f'Accuracy on test set: {100 * correct / total:.2f}%')# 训练&测试流程
for epoch in range(5): # 简单跑5个epoch示例train(epoch)test()