TM2SP-Net阅读

TCSVT 2025

创新点

结合图像显著性和视频时空特征进行视频显著性预测。

提出一个多尺度时空特征金字塔(MLSTFPN),能够更好的融合不同级别的特征，解决了显著性检测在多尺度时空特征表示的不足。

对比MLSTFPN和普通的FPN和BiFPN的区别。

Pipeline

时空语义信息和图片显著性提取

预先训练的视频Video Swin Transformer和Convnext分别用作语义编码器和图像显着性提取的骨干。

先用VSIT进行多尺度的时空特征提取，然后经过一个融合模块得到视觉特征fv。

用ConvNeXt获取静态图像显著性，得到与上面相同尺度的输出。

没说怎么从多个尺度特征图融合得到fsal，合理怀疑也用的上面那个融合方式。

多尺度时空特征金字塔

视频编码器对视频显着性预测任务表现出较弱的偏见。换句话说，获得的多尺度融合视觉特征fv过于概括，涵盖了包括深层语义，中层纹理和形状以及浅层位置边缘信息。作为显着预测，这些信息缺乏强大的代表性意义。

融合视频时空特征和图片显著性信息，得到的增强多尺度时空特征能更好地代表不同尺度上的显着区域，在最终预测结果中起着至关重要的作用。

3DTUM

一种稀疏化、轻量化的3D U-Net结构。

特点是多尺度输出，每层输出的特征用于捕捉不同粒度的显著性目标。

IGCF

需要融合的信息：图片显著性信息，视频语义信息，增强的视频显著性信息，差别过大，简单的线性融合无法取得很好的效果。设计了一个融合模块IGCF在不同来源或不同尺度的特征之间建立选择性融合机制，有效提升多源信息协同建模的能力。

将融合特征经过不同的路线，分别模拟不同的感受野情况，并融合得到一个多尺度混合特征图。

融合结果再经过sigmoid得到一个掩码P，用于门控制，判断哪些区域是重要的，进行特征融合

LSAF

Ni表示来自不同三个3DTUM中有相同分辨率的特征。

先做全局池化，压缩空间维度。然后经过两个非线性映射得到重要性分数，经过softmax得到注意力分数，用于加权优化原始特征。

解码器

LSAF输出的四个分辨率的特征分别经过上采样和解码操作，进行拼接。

公式7和8分别利用fsal计算通道注意力和空间注意力。

用通道和空间注意力图指导拼接特征进行融合。

最后用一个Readout模块输出最后预测的显著图。

E3D解码模块和Readout模块都没有给出流程图，都是借鉴别人的。

损失函数

使用KL差异和线性相关系数计算总体损失。

具体计算公式如下：

COV表示协方差，ρ表示标准偏差算子。

实验

模型在各数据集上定性和定量的实验。

各模块的消融实验。

与其他模型在模型大小以及运行时间上的对比。