当前位置：首页 > news >正文

图像融合质量评价指标

news 2025/5/30 14:40:35

一、图像融合质量评价指标

MI（互信息，Mutual Information）

概念：衡量融合图像与源图像之间共享的信息量。MI 越大，说明融合图像中保留了越多原始图像的信息。
原理：互信息值越大，表明融合图像保留原图像的信息越多，融合效果越好。例如在多模态图像融合（如红外与可见光图像融合）中，若融合图像与源图像的互信息高，意味着融合图像有效融合了源图像的关键信息。
应用场景：图像融合质量评估，判断融合算法对源图像信息的保留能力；医学图像融合中，评估融合后图像对不同模态（如 CT 和 MRI）信息的整合程度。
最高的 MI 表明我们的方法成功地将来自多通道源图像的大部分信息转移到融合图像中

VIF（视觉信息保真度，Visual Information Fidelity ）

概念：基于人眼视觉系统特性提出的衡量融合图像质量的指标，考虑了图像在视觉感知上的重要信息。
最佳的 VIF 表明 Dif-Fusion 生成的融合图像更符合人类视觉系统
原理：模拟人眼视觉感知机制，评估融合图像对原始图像视觉信息的保留和传递情况，VIF 值越大，表示融合图像质量越好，越接近人眼对高质量图像的感知。
特点：值越高表示融合图像在视觉上越接近原图。

SF（空间频率，Spatial Frequency ）

含义：衡量图像中细节、纹理的丰富程度。融合图像的 SF 越高，说明其包含更多的空间细节
原理：通过计算图像在水平和垂直方向上灰度的变化情况得到。空间频率越高，说明图像灰度变化越剧烈，图像细节越丰富，清晰度越高。
应用场景：图像清晰度评估，在遥感图像融合中判断融合后图像对地面景物细节的呈现能力；摄影领域，评价照片的清晰度和纹理表现。

Qabf（结构相似性度量）

全称：Quality metric based on edge preservation
最佳的 Qabf，因此保留了更多边缘信息
概念：无需参考原始图像，直接对融合图像质量进行评估的指标
原理：利用局部度量来估计输入图像中的显著信息在融合图像中的表现程度，通过特定算法计算得出。Qabf 值越高，表明融合图像质量越好。
应用场景：适用于难以获取原始图像的场景下，对融合图像质量进行客观评价，如在一些实时图像融合处理系统中。

SD（标准差，Standard Deviation ）

概念：在概率统计中用于测量一组数值的离散程度，在图像领域衡量图像灰度值的分散程度。
原理：标准差大，说明图像灰度级分布分散，图像携带的信息量可能越多；反之则灰度级分布集中。在融合图像中，一定程度上反映图像信息丰富度。
最佳的 SD，这意味着我们的融合图像具有最大的对比度
含义：反映融合图像的对比度和动态范围。SD 越大表示图像对比度越高，视觉冲击力越强。
计算方式：图像像素灰度的标准差。
优点：简单、直观，能反映图像的灰度分布宽度。

Delta E（ΔE，人眼感觉色差的测试单位）

概念：在均匀颜色感觉空间中，量化人眼感觉色差的单位，用于衡量色彩还原准确性。
原理：通过计算颜色空间中两种颜色的差异得到。ΔE 值越小，表明色彩还原越准确，色彩差异人眼越难以察觉；值越大，色彩失真越明显。
应用场景：显示器、打印机等设备色彩准确性评估；纺织、印染等行业对颜色一致性的质量控制。

指标	评估维度	优点	缺点	典型应用场景
MI	信息保留量	计算简单，信息量敏感	忽略空间结构	多模态医学影像融合
VIF	视觉保真度	符合人眼感知	计算复杂	自然场景融合（卫星、监控）
SF	细节清晰度	快速反映细节丰富度	无法区分噪声	红外-可见光融合
Qabf	边缘保留质量	对边缘敏感	依赖边缘检测准确性	目标检测、军事侦察
SD	对比度与信息量	快速计算	无法区分细节与噪声	初步质量筛选
Delta E	颜色一致性	颜色差异量化精准	仅适用于彩色图像	多光谱/艺术图像融合

传统的红外与可见光图像融合算法的分类及存在问题

算法分类

基于稀疏表示的方法：将图像表示为一组稀疏的基向量组合。其原理是找到合适的字典，使红外与可见光图像能在该字典下以稀疏形式表示，然后根据一定规则融合这些稀疏表示系数，再重构出融合图像。优势在于能有效提取图像的特征，对图像的细节和结构有较好的表示能力；但计算复杂度较高，字典构建和系数求解较为耗时。
基于多尺度变换的方法：把图像分解到不同尺度和方向上，如常用的拉普拉斯金字塔变换、小波变换等。以小波变换为例，先将图像分解为低频近似分量和高频细节分量，低频部分反映图像的总体结构，高频部分体现边缘、纹理等细节。融合时对不同尺度和方向的分量采用不同融合规则，最后重构得到融合图像。优点是能从不同尺度分析图像，较好地保留图像细节和边缘信息；不过可能存在频率混叠等问题，影响融合效果。
基于子空间的方法：将红外与可见光图像投影到特定子空间，在子空间内对图像特征进行分析和融合。比如通过主成分分析（PCA）等方法找到能代表图像主要信息的子空间，然后在子空间中对图像数据进行处理和融合。该方法可有效降低数据维度，突出图像主要特征；但对不同类型图像的子空间构建和特征提取可能缺乏针对性。
基于显著性检测的方法：先检测出红外与可见光图像中的显著区域，通常红外图像的显著区域为热目标，可见光图像的显著区域为纹理细节丰富或视觉上突出部分。然后根据显著性程度对图像进行融合，比如对显著区域赋予更高权重。其优势是能突出图像中重要目标和信息；但显著性检测的准确性受图像质量、场景复杂度等影响，可能导致融合效果不稳定。
混合方法：结合上述多种方法的优点进行融合，比如将基于多尺度变换和基于显著性检测的方法结合，先通过多尺度变换分解图像，再在各尺度上利用显著性检测结果进行融合规则制定。这种方法灵活性高，可综合多种方法优势；但实现相对复杂，参数调整困难。

存在问题

特征表达单一：现有传统方法常使用相同方式表达图像特征，未充分考虑红外与可见光图像的特性差异。例如红外图像主要反映物体热辐射信息，可见光图像呈现物体的纹理、颜色等信息，用相同特征表达方法可能无法有效提取和融合二者独特信息，导致融合图像无法充分发挥两种图像的优势。
人工设定局限性：活动水平度量用于衡量图像中像素或区域的变化活跃程度，融合规则决定如何将红外与可见光图像信息合并。传统方法中这些都需人工设定，然而实际复杂场景下（如光照多变、目标多样等），固定的人工设定难以适应场景变化，导致融合效果不佳，无法满足实际需求。