Efficient RAW Image Deblurring with Adaptive Frequency Modulation

论文标题:

Efficient RAW Image Deblurring with Adaptive Frequency Modulation

发表日期:

2025年5月

作者:

Wenlong Jiao, Binglong Li, Wei Shang, Ping Wang, Dongwei Ren

发表单位:

天津大学、哈尔滨工业大学

原文链接:

https://arxiv.org/pdf/2505.24407

开源代码链接:

https://github.com/WenlongJiao/FrENet

什么是RAW图像？为什么它更值得研究？

RAW图像是相机传感器直接输出的原始数据，没有经过任何图像信号处理(ISP)的压缩和转换。相比常见的sRGB图像，RAW图像保留了更丰富的原始信息，具有更高的动态范围和线性特性。

为什么选择RAW？因为sRGB图像在ISP处理过程中会丢失大量原始信息，而RAW图像保留了完整的传感器数据，为图像恢复提供了更好的基础。特别是对于去模糊任务，RAW图像可以避免ISP引入的非线性变换带来的信息损失。

图2：RAW模糊图像视觉结果

FrENet网络的核心创新：频率增强模块

FrENet的核心创新在于其自适应频率位置调制模块(AFPM)。这个模块能够根据频率成分在频谱中的位置，动态调整其权重，实现对不同频率成分的精确控制。

AFPM工作原理： 1. 将频率特征图划分为多个小块 2. 根据每个小块在频谱中的位置生成特定的权重和偏置 3. 对每个小块进行位置感知的调制 4. 通过1×1卷积进一步调整通道特征

此外，FrENet还引入了频域跳跃连接，能够在不同尺度间传递多尺度频谱信息，有效保留高频细节。

实验结果： RAW和sRGB域的双重优势

FrENet在RAW图像去模糊任务上表现出色，相比现有方法有显著提升：

性能优势：在Deblur-RAW数据集上，FrENet+模型达到了45.63dB PSNR和0.994 SSIM，创下了新的SOTA。

效率优势：FrENet仅需2.22G MACs，比同类方法如LoFormer-L(8.98G MACs)节省了75%的计算量。

图3：RealBlur-J数据集上的视觉结果

更令人惊喜的是，FrENet在sRGB图像去模糊任务上也表现出色，在RealBlur-J数据集上达到了33.87dB PSNR，超过了专门为sRGB设计的去模糊方法。

技术细节解读：频域跳跃连接与全局分支

除了核心的AFPM模块，FrENet还有两个秘密武器：

频域跳跃连接：传统U-Net架构只有空间域跳跃连接，而FrENet创新性地增加了频率域跳跃连接。在解码器层，将编码器对应层的频率特征直接传递过来，就像给神经网络开了条"信息高速公路"。

全局分支：与AFPM的局部处理并行，SCA模块像"频谱指挥家"一样统筹全局。通过平均池化获取全局频率特征后，用1×1卷积生成通道注意力权重，确保网络不会只见树木不见森林。

图B.1：RAW域中AFPM关键阶段的多级特征可视化

图中可见在瓶颈层（Bottleneck），AFPM生成的核权重呈现明显的位置特异性——高频区域（如w₀₀）的核权重分布更集中，而低频区域（如w₃₃）则更均匀，完美适配不同频段的处理需求。