当前位置：首页 > web >正文

【论文解读】FeINFN|Fourier-enhanced Implicit Neural Fusion Network for Multispectral

web 2025/7/7 11:20:20

论文地址：https://arxiv.org/abs/2404.15174
代码地址：https://github.com/294coder/Efficient-MIF/blob/main-release/readmes/FeINFN.md

摘要

本研究针对多光谱和高光谱图像融合(MHIF)任务，提出了一个傅里叶增强的隐式神经融合网络(FeINFN)。隐式神经表示(INR)虽然在视觉相关领域取得了显著进展，但容易丢失高频信息，且缺乏全局感知能力。为了解决这些问题，FeINFN专门为MHIF任务设计，主要基于以下现象：高分辨率高光谱图像(HR-HSI)潜在代码和低分辨率高光谱图像(LR-HSI)的傅里叶幅度非常相似，但它们的相位表现出不同的模式。在FeINFN中，创新性地提出了一个空间和频率隐式融合函数(Spa-Fre IFF)，帮助INR捕获高频信息并扩大感受野。此外，还发明了一种新的解码器，采用复数Gabor小波激活函数，称为空间-频率交互解码器(SFID)，以增强INR特征的交互。进一步从理论上证明了Gabor小波激活具有时频紧致性，有利于解码器学习最优带宽。在两个基准MHIF数据集上的实验验证了所提方法的最先进(SOTA)性能，无论是在视觉上还是在定量上。消融研究也证明了上述贡献。

引言

高光谱图像能够捕捉连续光谱带的场景信息，与传统单波段或有限波段图像相比，提供了更复杂的细节，从而提高了计算机视觉应用（如目标识别、分类、跟踪和分割）的精度。然而，实际的光学传感器在平衡空间分辨率和光谱精度方面面临挑战。通常，超过100个波段的图像往往空间分辨率较低，而波段较少的图像则具有较高的空间分辨率。因此，多光谱和高光谱图像融合（MHIF）旨在融合高空间分辨率的多光谱图像（HR-MSI）与低空间分辨率的高光谱图像（LR-HSI），以获得高空间分辨率的高光谱图像（HR-HSI）。MHIF技术能够融合高光谱图像和多光谱图像，提取HR-MSI无法检测到的信息，从而增强图像的丰富性和精确性。

目前，MHIF领域的研究主要分为基于模型的方法和基于深度学习的方法。虽然基于模型的方法利用了图像先验知识，但由于缺乏大规模的训练数据集，难以获得高保真、低失真的HR-HSI。在深度学习方法中，基于CNN的网络在处理HR-MSI和LR-HSI时存在局限性，且缺乏对MHIF任务的解释性。Transformer框架虽然能够扩大CNN的感受野，但计算开销较大。

近年来，三维场景的隐式表示受到了研究人员的广泛关注。受此启发，研究人员重新审视了二维图像表示方法。通过用局部隐式图像函数替换常用的上采样层，在任意比例的超分辨率（SR）任务中取得了优异的性能。然而，这些方法仍然存在一些不足。首先，INR基于与周围四个像素的相对距离计算查询坐标的RGB值，这是一种局部操作，缺乏对全局信息的考虑。此外，传统INR中使用的MLP-ReLU结构具有高频信息偏差，这在训练过程中难以消除。

为了解决上述问题，本研究提出了一种专为MHIF任务设计的隐式融合函数，作为一种新的融合范例。首先，使用编码器提取LR-HSI和HR-MSI的先验信息，然后以潜在代码的形式输入到隐式融合函数中。与传统INR不同，本研究将潜在代码转换到傅里叶域，并在统一的网络中同时执行空间和频率融合。这种方法不仅纠正了MLP引起的高频不敏感性，而且有效地扩展了感受野，涵盖了更全面的全局信息。为了有效地整合空间域和频域表示，设计了一个具有时频紧性的解码器，将两个域的特征映射到像素空间。

论文创新点

本研究针对多光谱和高光谱图像融合（MHIF）任务中，隐式神经表示（INR）易丢失高频信息和缺乏全局感知能力的问题，提出了以下创新点：

💡 提出了一个基于INR的新型融合框架，创新性地从空间和傅里叶域提取信息。 💡
- 传统INR方法在MHIF任务中存在高频信息不敏感的问题。
- 本研究通过将潜在代码转换到傅里叶域，在统一的网络中同时执行空间和频率融合，有效增强了高频信息的表示能力，并扩大了感受野，从而能够捕捉更全面的全局信息。
⚙️ 设计了一种空间-频率隐式融合函数（Spa-Fre IFF）。 ⚙️
- 该函数是双分支融合结构，分别在空间域和频率域计算特征。
- 针对LR-HSI和HR-HSI在傅里叶域的不同特性，对幅度和相位进行分离处理，通过动态插值的方式自适应地增强信息，避免了直接在频率域应用静态卷积核可能导致的频率范围过度增强问题。
🧬 发明了一种新的解码器，即空间-频率交互解码器（SFID），它使用复数Gabor小波激活函数来增强INR特征的交互。 🧬
- 该解码器能够无缝集成空间和频率域特征，并利用Gabor小波良好的时频紧致性，促进空间和频率信息的有效融合，从而提升图像重建质量。
🧮 从理论上证明了Gabor小波激活具有时频紧致性。 🧮
- 该性质有助于解码器学习最优带宽，进一步优化了网络的性能。
- 这种理论支撑为解码器的设计提供了依据，并有助于理解其工作机制。