AI 笔记 -基于retinaface的FPN上采样替换为CARAFE

引言

1. 简介：CARAFE（Content-Aware ReAssembly of FEatures），是用于增强卷积神经网络特征图的上采样方法，论文被 ICCV 2019 接收为 oral presentation。相对 最近邻 和 双线性 等上采样算子，在不同任务中都取得了显著的提升，同时只引入很少的参数量和计算代价。CARAFE具有几个吸引人的特性：（1）大视野。与仅利用子像素邻域的前期工作（例如双线性插值）不同，CARAFE可以在大感受野内聚合上下文信息。（2）内容感知处理。与对所有样本使用固定核（例如反卷积）不同，CARAFE支持针对实例的内容感知处理，可以即时生成自适应核。（3）轻量级且计算速度快。CARAFE引入的计算开销很小，并且可以轻松集成到现代网络架构中。我们在目标检测、实例/语义分割和图像修复的标准基准上进行了综合评估。CARAFE在所有任务中都表现出一致且显著的增益（分别为、、、），且计算开销可忽略不计。它有望成为未来研究的强大构建块。代码和模型可在https://github.com/open-mmlab/mmdetection获取。
2. 应用场景
   （1）改进图像处理和计算机视觉任务中的上采样过程，特别适用于目标检测、实例分割、语义分割和图像修复等任务
   （2）特征上采样是许多卷积网络架构（例如特征金字塔）中的关键操作。
3. 作用
   （1）提高特征质量：通过内容感知的重新组装机制，能够生成更准确的上采样特征
   （2）增强模型泛化能力：动态地调整上采样过程以适应不同的输入特征，有助于提高模型的泛化能力，更好地处理复杂和多样化的图像数据
   （3）减少计算开销：引入额外步骤的复杂度相对较低，不会对整体计算性能造成显著影响
4. 创新点
   （1）内容感知上采样：与双线性插值等传统的上采样方法相比，引入了内容感知机制，能够根据输入特征的内容动态地调整上采样过程
   （2）动态重新组装：通过预测每个位置的重新组装核（reassembly kernel），实现对输入特征的局部区域进行重新组装，从而生成更准确的上采样结果。
   （3）高效性：引入的计算步骤，计算开销相对较小，且能够显著提高上采样后的特征质量

内容感知特征重组（CARAFE）

在每个位置上，CARAFE可以利用底层内容信息来预测重组核，并在预定义的附近区域内重新组合特征。得益于内容信息，CARAFE可以在不同位置使用自适应和优化的重组核，并且比主流上采样算子（如插值或反卷积）实现更好的性能。

公式化

CARAFE作为具有内容感知核的重组算子，包含两个步骤

1. 第一步核预测模块: 根据内容为每个目标位置预测一个重组核
2. 第二步内容感知重组模块: 使用预测的核重新组合特征。

核预测模块

核预测模块负责以内容感知的方式生成重组核，由三个子模块组成，即通道压缩器、内容编码器和核归一化；
通道压缩器减少了输入特征图的通道数。内容编码器将压缩后的特征图作为输入，对内容进行编码以生成重组核。核归一化对每个重组核应用softmax函数。

1. 通道压缩器: 采用一个卷积层压缩输入特征通道。可以减少后续步骤中的参数量和计算成本
2. 内容编码器: 采用一个卷积层，根据输入特征的内容生成重组核。
3. 核归一化器。在应用于输入特征图前，每个重组核都会通过softmax函数在空间上进行归一化，强制内核值的和为1，这是在局部区域内的软选择。由于核归一化器，CARAFE不会执行任何重新缩放并改变特征图的平均值，这就是算子被称为特征的重组的原因。