【2025年 Arxiv 即插即用】 特征融合新突破：空间–光谱注意力融合模块 SAFFM 强势登场！
Bilibili：CV缝合救星
🌈 小伙伴们看过来～
写推文真的不容易，每一行字、每一张图都倾注了我们的心血💦 如果你觉得这篇内容对你有帮助、有启发，别忘了顺手点个赞、转发一下、或者点个“在看” 支持我们一下哈～✨
你的一点鼓励🌟，对我们来说就是超大的动力！
👀 小声提醒：用电脑打开阅读更舒服哟，排版清晰、体验更棒！谢谢大家～我们会继续努力产出优质内容，陪你一起进步呀✌️❤️
01 论文信息
论文题目：Multi-scale Spatial-Spectral Attention Guided Fusion Network for Pansharpening(Arxiv 2025 预发行版) 中文题目：用于全色锐化的多尺度空间-光谱注意力引导融合网络即插即用模块：Spatial-Spectral Attention Feature Fusion Module 空间–光谱注意力特征融合模块（SAFFM模块）
02 论文概要
Highlight
图 1. Flowchart of the proposed pansharpening network。
03 研究背景
🌧️ 存在的问题（背景动因）
① 空间与光谱特征不一致：PAN图像富含空间细节但缺乏光谱信息，LR-MS图像光谱信息丰富但空间分辨率低，直接融合易产生空间–光谱失真。
② 多尺度特征利用不足：不同尺度特征蕴含互补信息，但简单堆叠或同尺度卷积易造成细节与谱信息的损失。
③ 特征融合缺乏精细引导：缺少针对空间与光谱一致性的引导机制，导致融合特征在细节保持和色彩还原上存在偏差。
💡 解决思路（SAFFM 核心贡献）
① 引入空间–光谱注意力引导：基于PAN的空间特征与LR-MS的光谱特征分别生成空间注意力权重图与光谱注意力权重图，相乘形成引导图（Guidance Map），在融合中保持空间–光谱一致性。
② 多尺度卷积增强特征表达：通过不同卷积核尺寸（3、5、7）提取多尺度空间特征，适应不同细节层次的特征对齐与融合。
③ 轻量化模块化设计：SAFFM结构简单，可插拔式集成到多尺度融合网络中，与现有遥感图像全色锐化框架高度兼容，在提升融合质量的同时控制计算成。
04 模块原理解读
📌 模块解析 | Spatial-Spectral Attention Feature Fusion Module 空间–光谱注意力特征融合模块（SAFFM 模块）
图 2. 所提出的 SAFFM 模块流程图
📌 SAFFM 模块聚焦于“保持空间–光谱一致性”与“充分利用多尺度互补特征”的联合设计，其核心由以下三个关键特点构成：
① 空间–光谱引导图生成：分别基于 PAN 图像的空间特征与 LR-MS 图像的光谱特征，构建空间注意力权重图与光谱注意力权重图，通过相乘生成空间–光谱引导图（Guidance Map），在特征融合中确保空间细节与光谱信息的一致性。
② 多尺度卷积特征融合：在 SAFFM1、SAFFM2、SAFFM3 中分别采用 3×3、5×5、7×7 不同卷积核提取多尺度空间特征，使模块能够兼顾细粒度纹理和更大范围的结构信息，并与引导图协同完成空间–光谱特征重建与融合。
③ 轻量化可插拔设计：SAFFM 结构紧凑，可无缝嵌入多尺度融合网络，适配各类遥感影像全色锐化框架，在几乎不增加计算量的前提下显著提升融合结果的空间–光谱保真度。
🔍 该模块通过“空间–光谱一致性引导”与“多尺度特征增强”的协同优化，在保持光谱信息真实性的同时，显著改善空间细节表现，尤其适用于对空间纹理和光谱色彩均有高要求的全色锐化任务。
05 创新思路
CV缝合救星原创模块
🧠 模块名称：XMSGF（Cross-Modality Multi-Scale Guidance Fusion，跨模态多尺度引导融合模块）
💡 长按识别🔍，领取💾源码
📌 XMSGF 模块通过引入跨模态注意力引导、多尺度空间门控与相似度一致性调制，在增强空间细节与光谱信息一致性的同时，有效抑制跨模态融合中的失真，实现空间域与通道域的协同优化，尤其适用于多模态特征融合与空间–光谱保真度增强任务。其核心设计如下：
① 跨模态引导门控（创新点⭐）
分别从输入对的两个模态提取通道注意力（光谱侧）和多尺度空间注意力（空间侧），相乘生成跨模态引导图，在融合过程中显式保持空间–光谱一致性。
② 多尺度空间门控（创新点⭐）
通过 3×3、5×5、7×7 深度可分离卷积生成多尺度空间权重图，Softmax 自适应融合不同尺度响应，兼顾细粒度纹理与大范围结构特征。
③ 相似度一致性调制（创新点⭐）
引入跨通道余弦相似度热图衡量两个模态在每个位置的特征一致性，与跨模态引导图加权融合，抑制不一致区域的干扰。
📌 输入：x ∈ [B, C, H, W]（模态 A，例如光谱特征）y ∈ [B, C, H, W]（模态 B，例如空间特征）
📤 输出：[B, C, H, W]（与输入形状一致）
过程步骤：
【Step 1】通道注意力提取（模态 A）
对模态 A 特征进行全局池化，经两层 1×1 卷积生成通道权重，捕获全局光谱信息的重要性分布。
【Step 2】多尺度空间注意力提取（模态 B）
对模态 B 特征分别用 3×3、5×5、7×7 深度可分离卷积提取空间细节与结构信息，经通道池化生成空间权重图，并通过 Softmax 自适应融合。
【Step 3】跨模态引导图生成
将 Step 1 与 Step 2 的输出相乘，形成初始跨模态引导图，用于对齐空间细节与光谱信息。
【Step 4】一致性相似度调制
计算 x、y 在每个空间位置的跨通道余弦相似度，扩展至 C 通道，与引导图融合，得到最终融合门控。
【Step 5】特征门控与压缩融合
使用融合门控分别加权 x 和 y 特征后拼接，经 1×1 卷积压缩通道，再经 3×3 卷积+GroupNorm+SiLU 精炼特征。
【Step 6】残差输出
将精炼后的融合特征与 0.5×(x+y) 残差相加，得到最终输出特征，实现信息保留与稳定训练。
06 模块适用任务
🎯 XMSGF 模块适用任务（Cross-Modality Multi-Scale Guidance Fusion，跨模态多尺度引导融合模块）
1. 空间–光谱一致性增强：通过跨模态引导机制保持空间细节与光谱信息的一致性，适合遥感影像全色锐化、光谱融合等任务。
2. 多尺度特征融合：利用多尺度空间门控自适应融合不同尺度特征，兼顾细粒度纹理与大范围结构，适合多尺度目标检测与分割。
3. 跨模态特征对齐：结合通道注意力与空间注意力实现多模态特征的对齐与互补，适合多源遥感、RGB-热红外等跨模态任务。
4. 细节与结构双优化：在融合中同时强化边缘纹理和整体结构，适用于高精度场景重建与变化检测。
5. 轻量化多模态融合：模块结构紧凑，可直接嵌入多尺度网络，适合轻量部署和实时多模态处理。
🎯 SAFFM 模块适用任务（Spatial-Spectral Attention Feature Fusion Module，空间–光谱注意力特征融合模块）
1. 空间–光谱信息统一：基于引导图约束融合过程，减少融合结果中的空间–光谱失真，适合全色锐化和多光谱影像增强。
2. 多尺度空间特征提取：通过不同卷积核（3、5、7）提取多尺度空间信息，适合需要捕捉多层次细节的任务。
3. 光谱保真优化：在融合中保留原始光谱特征，减少颜色偏差，适用于光谱分析、植被监测等精度敏感任务。
4. 渐进式特征集成：多阶段融合不同尺度输出，充分利用互补信息，适合高分辨率影像重建。
5. 高兼容性嵌入：设计简洁，可无缝嵌入现有 CNN 或多尺度融合框架，适合大规模遥感影像处理。
📌 总结对比
XMSGF：适合跨模态场景，强调空间–光谱一致性与多尺度互补融合，同时兼顾轻量化与多源对齐能力。
SAFFM：适合单一模态多特征融合，侧重空间–光谱保真和多尺度特征提取，在全色锐化和光谱保真任务上优势明显。
07 运行结果与即插即用代码
运行结果
🎯 SAFFM
🎯XMSGF
本文代码获取
立即加星标
每天看好文
扫码关注
福高照 祭灶神
扫尘土 贴窗花