当前位置: 首页 > web >正文

【论文解读】FeINFN|Fourier-enhanced Implicit Neural Fusion Network for Multispectral

图片
论文地址:https://arxiv.org/abs/2404.15174
代码地址:https://github.com/294coder/Efficient-MIF/blob/main-release/readmes/FeINFN.md

摘要

本研究针对多光谱和高光谱图像融合(MHIF)任务,提出了一个傅里叶增强的隐式神经融合网络(FeINFN)隐式神经表示(INR)虽然在视觉相关领域取得了显著进展,但容易丢失高频信息,且缺乏全局感知能力。为了解决这些问题,FeINFN专门为MHIF任务设计,主要基于以下现象:高分辨率高光谱图像(HR-HSI)潜在代码和低分辨率高光谱图像(LR-HSI)的傅里叶幅度非常相似,但它们的相位表现出不同的模式。在FeINFN中,创新性地提出了一个空间和频率隐式融合函数(Spa-Fre IFF),帮助INR捕获高频信息扩大感受野。此外,还发明了一种新的解码器,采用复数Gabor小波激活函数,称为空间-频率交互解码器(SFID),以增强INR特征的交互。进一步从理论上证明了Gabor小波激活具有时频紧致性,有利于解码器学习最优带宽。在两个基准MHIF数据集上的实验验证了所提方法的最先进(SOTA)性能,无论是在视觉上还是在定量上。消融研究也证明了上述贡献。
图片

引言

高光谱图像能够捕捉连续光谱带的场景信息,与传统单波段或有限波段图像相比,提供了更复杂的细节,从而提高了计算机视觉应用(如目标识别、分类、跟踪和分割)的精度。然而,实际的光学传感器在平衡空间分辨率和光谱精度方面面临挑战。通常,超过100个波段的图像往往空间分辨率较低,而波段较少的图像则具有较高的空间分辨率。因此,多光谱和高光谱图像融合(MHIF)旨在融合高空间分辨率的多光谱图像(HR-MSI)低空间分辨率的高光谱图像(LR-HSI),以获得高空间分辨率的高光谱图像(HR-HSI)。MHIF技术能够融合高光谱图像和多光谱图像,提取HR-MSI无法检测到的信息,从而增强图像的丰富性和精确性。

目前,MHIF领域的研究主要分为基于模型的方法基于深度学习的方法。虽然基于模型的方法利用了图像先验知识,但由于缺乏大规模的训练数据集,难以获得高保真、低失真的HR-HSI。在深度学习方法中,基于CNN的网络在处理HR-MSI和LR-HSI时存在局限性,且缺乏对MHIF任务的解释性。Transformer框架虽然能够扩大CNN的感受野,但计算开销较大。

近年来,三维场景的隐式表示受到了研究人员的广泛关注。受此启发,研究人员重新审视了二维图像表示方法。通过用局部隐式图像函数替换常用的上采样层,在任意比例的超分辨率(SR)任务中取得了优异的性能。然而,这些方法仍然存在一些不足。首先,INR基于与周围四个像素的相对距离计算查询坐标的RGB值,这是一种局部操作,缺乏对全局信息的考虑。此外,传统INR中使用的MLP-ReLU结构具有高频信息偏差,这在训练过程中难以消除。

为了解决上述问题,本研究提出了一种专为MHIF任务设计的隐式融合函数,作为一种新的融合范例。首先,使用编码器提取LR-HSI和HR-MSI的先验信息,然后以潜在代码的形式输入到隐式融合函数中。与传统INR不同,本研究将潜在代码转换到傅里叶域,并在统一的网络中同时执行空间和频率融合。这种方法不仅纠正了MLP引起的高频不敏感性,而且有效地扩展了感受野,涵盖了更全面的全局信息。为了有效地整合空间域和频域表示,设计了一个具有时频紧性解码器,将两个域的特征映射到像素空间。

论文创新点

本研究针对多光谱和高光谱图像融合(MHIF)任务中,隐式神经表示(INR)易丢失高频信息和缺乏全局感知能力的问题,提出了以下创新点:

  1. 💡 提出了一个基于INR的新型融合框架,创新性地从空间和傅里叶域提取信息。 💡

    • 传统INR方法在MHIF任务中存在高频信息不敏感的问题。
    • 本研究通过将潜在代码转换到傅里叶域,在统一的网络中同时执行空间和频率融合,有效增强了高频信息的表示能力,并扩大了感受野,从而能够捕捉更全面的全局信息。
  2. ⚙️ 设计了一种空间-频率隐式融合函数(Spa-Fre IFF)。 ⚙️

    • 该函数是双分支融合结构,分别在空间域和频率域计算特征。
    • 针对LR-HSI和HR-HSI在傅里叶域的不同特性,对幅度和相位进行分离处理,通过动态插值的方式自适应地增强信息,避免了直接在频率域应用静态卷积核可能导致的频率范围过度增强问题。
  3. 🧬 发明了一种新的解码器,即空间-频率交互解码器(SFID),它使用复数Gabor小波激活函数来增强INR特征的交互。 🧬

    • 该解码器能够无缝集成空间和频率域特征,并利用Gabor小波良好的时频紧致性,促进空间和频率信息的有效融合,从而提升图像重建质量。
  4. 🧮 从理论上证明了Gabor小波激活具有时频紧致性。 🧮

    • 该性质有助于解码器学习最优带宽,进一步优化了网络的性能。
    • 这种理论支撑为解码器的设计提供了依据,并有助于理解其工作机制。

总而言之,本研究通过在INR框架中引入傅里叶变换和Gabor小波激活,有效地解决了MHIF任务中的高频信息丢失和全局感知不足的问题,并在多个数据集上取得了state-of-the-art的性能。

论文实验

图片
图片

http://www.xdnf.cn/news/10844.html

相关文章:

  • 黑马Java面试笔记之 消息中间件篇(Kafka)
  • Linux 软件安装方式全解(适用于 CentOS/RHEL 系统)
  • 【25.06】FISCOBCOS使用caliper自定义测试 通过webase 单机四节点 helloworld等进行测试
  • 多线程环境中,如果多个线程同时尝试向同一个TCP客户端发送数据,添加同步机制
  • 新版 Xcode 中 CoreData 模型编辑器显示拓扑图功能取消的替代方案
  • IBM DB2分布式数据库架构
  • 决策树指南:如何为您的数据选择合适的特征工程策略
  • 【卡点变速】节拍同步 讨论
  • Array.prototype.find()
  • 前端​​HTML contenteditable 属性使用指南
  • EagleTrader采访|在市场中修行的交易之道与实战反思
  • 【计算机系统结构】知识点总结
  • 产品更新丨谷云科技ETLCloud 3.9.3 版本发布
  • 【AI News | 20250603】每日AI进展
  • ElasticStack对接kafka集群
  • 【相等性比较的通解——理解 JavaScript 中的 Object.is()】
  • 高考数学易错考点02 | 临阵磨枪
  • 深入解析Playwright for Python:浏览器功能与代码实例详解
  • 【Visual Studio 2022】卸载安装,ASP.NET
  • Go Gin框架深度解析:高性能Web开发实践
  • LabVIEW磁悬浮轴承传感器故障识别
  • Windows版PostgreSQL 安装 vector 扩展
  • 服务器被攻击了怎么办
  • pikachu靶场通关笔记11 XSS关卡07-XSS之关键字过滤绕过(三种方法渗透)
  • 华为盘古 Ultra MoE 模型:国产 AI 的技术突破与行业影响
  • 每日算法刷题Day21 6.3:leetcode二分答案2道题,用时1h20min(有点慢)
  • metersphere不同域名的参数在链路测试中如何传递?
  • 【MATLAB代码】制导——三点法,二维平面下的例程|运动目标制导,附完整源代码
  • 采摘机器人项目
  • dvwa5——File Upload