【视网膜分割】AFMIP-Net：一种新型的自适应特征调制和隐式提示网络
写在前面：本博客仅作记录学习之用，部分图片来自网络，如需引用请注明出处，同时如有侵犯您的权益，请联系删除！
文章目录
- 前言
- 论文
- 论文内容
- 网络架构
- 实验设置
- 研究局限
- 未来研究
- 期刊说明
- 总结
- 互动
- 致谢
- 参考
- 往期回顾
前言
视网膜血管分割在眼科疾病的早期诊断和治疗中具有关键作用。视网膜血管是人体血管系统中少数可通过非侵入性方法直接观察的部分，提供了诊断眼科疾病的重要信息。然而，手动分割眼底图像中的血管对医生来说是一个复杂且高度依赖经验的过程，即使是有经验的眼科医生也可能遗漏关键细节，特别是在小直径血管、模糊形态、低对比度和病变遮挡等复杂情况下。因此，开发一种高效、准确且成本效益高的自动分割方法对于眼科疾病的早期筛查和干预至关重要。
现有的视网膜血管分割方法面临诸多挑战，包括训练样本稀缺、视网膜血管形态多样、与背景对比度低等问题。传统无监督方法对参数选择和图像预处理敏感，难以适应复杂的血管形态。尽管基于深度学习的模型（如U-Net及其变体）能够提取多尺度特征，但它们未能有效校准血管的位置信息，导致背景噪声抑制不足，且在特征融合过程中容易丢失关键细节，特别是毛细血管的分割效果不佳。此外，这些模型在病变干扰下的血管分割能力有限，限制了其泛化能力。
局部放大可参考我的博客：【学习记录】图片局部放大
本文首发于东荷新绿的网站 -【视网膜分割】AFMIP-Net：一种新型的自适应特征调制和隐式提示网络
该论文旨在提出一种新型的自适应特征调制和隐式提示网络（AFMIP-Net），以解决现有视网膜血管分割方法中的关键问题。
具体目标包括：
- 提高分割算法在复杂背景和不同尺度血管下的准确性。
- 改进毛细血管的分割效果，减少关键细节的丢失。
- 增强模型在病变干扰下的鲁棒性和泛化能力。
论文
论文名： AFMIP-Net: Adaptive feature modulation and implicit prompt network for retinal vessel segmentation
论文速递： 点我转跳哦
Cite： RIS | BibTeX
论文内容
网络架构
AFMIP-Net基于编码器-解码器结构，主要由三个核心模块组成：自适应特征调制（AFM）模块、特征隐式提示和融合（FIPF）模块，以及高斯滤波数据增强技术。
-
自适应特征调制（AFM）模块：该模块通过从高层次语义层到低层次语义层逐步引入编码器的多尺度语义信息，抑制背景噪声，增强血管结构表示。具体实现中，AFM模块通过自底向上的调制方式，逐层丰富特征图的语义信息，减少浅层特征中的背景噪声干扰。
-
特征隐式提示和融合（FIPF）模块：该模块通过聚合编码器中间层特征生成多尺度隐式提示，并将其注入解码过程。通过隐式提示，网络能够关注与病变相关的血管特征，抑制无关信息，实现精确且连续的血管分割。
- 高斯滤波数据增强技术：为了解决训练样本稀缺的问题，本研究采用高斯滤波数据增强技术，通过在训练图像上随机添加阴影和光斑，模拟病变对图像质量的干扰，提高模型在复杂环境下的抗干扰能力。
实验设置
- 数据集：在六个国际主流数据集上评估模型性能，包括DRIVE、CHASE、STARE、HRF、IOSTAR和LES-AV。
- 预处理：将原始图像转换为灰度空间，采用对比度受限的自适应直方图均衡化（CLAHE）增强图像对比度，并通过归一化将像素值压缩到0到1之间。
- 为防止过拟合，将原始图像分割成96×96的小块进行训练。
- 实现细节：基于Pytorch框架开发，使用NVIDIA GeForce RTX 2080Ti显卡和32GB RAM的Windows平台。训练过程中设置100个epoch，batch size为8，并采用早停策略防止过拟合。
AFMIP-Net在六个主流数据集上的实验结果表明，均表现出色。特别是在LES-AV数据集上，AFMIP-Net在准确率、精确率、特异度、敏感度和F1分数上均达到最优值，分别为0.9701、0.9134、0.9902、0.8135和0.8606。在DRIVE、CHASE和STARE数据集上，AFMIP-Net在准确率、敏感度和F1分数上表现最优，而在IOSTAR数据集上，AFMIP-Net在准确率和F1分数上表现最佳。总体而言，AFMIP-Net在所有六个数据集上的F1分数最优，证明了其在视网膜血管分割任务中的综合性能。
通过与其他先进方法的视觉比较，AFMIP-Net在识别复杂背景下的血管拓扑形状和微血管方面表现出明显优势。在DRIVE、CHASE和STARE数据集上，AFMIP-Net能够更准确地识别受噪声干扰或低对比度区域的血管信息，减少假阳性和假阴性的产生。特别是在病变区域、光反射区域和低对比度区域，AFMIP-Net能够获得连续的分割图，而其他方法在这些区域的表现则相对较差。
通过绘制ROC曲线并计算曲线下面积（AUC），进一步验证了AFMIP-Net在视网膜血管分割任务中的优秀性能。在所有六个数据集上，AFMIP-Net的AUC值均高于其他先进方法，证明了其强大的分类能力。
研究局限
尽管AFMIP-Net在视网膜血管分割任务中取得了显著成果，但仍存在一些局限性：
-
计算复杂度：虽然AFMIP-Net在F1分数和敏感度上表现优异，但其计算复杂度相对较高，参数数量达到8.88M。这主要归因于自底向上的特征调制机制，虽然提高了网络的语义表达能力，但也增加了网络推理和硬件实现的效率成本。
-
极端条件下的性能下降：在极端条件下，如严重病变或超低对比度图像中，AFMIP-Net的性能仍可能下降。即使采用了隐式提示机制，网络在这些复杂场景下的分割能力仍有待提高。
-
病变样本的稀缺性：尽管采用了高斯滤波数据增强技术，但训练数据中病变样本的比例仍然较低（不到5%），这影响了模型识别罕见病变的能力。
未来研究
-
轻量化改进：
通过应用知识蒸馏、量化和剪枝等技术，将模型参数减少到500万以下，同时保持较高的分割准确率。这将有助于提高模型的推理速度，使其更适合实时和嵌入式临床应用。 -
多模态融合：
结合OCT-A深度数据与Transformer的全局建模能力，提高模型在复杂背景下的分割性能。多模态数据融合有望提供更丰富的解剖结构信息，进一步提升分割精度。 -
动态推理机制：
开发一种基于血管分布密度的自适应计算策略，对复杂区域采用全精度计算，对简单区域采用量化推理。这将有助于在保持分割精度的同时，减少不必要的计算开销。 -
联邦学习框架：
构建一个联邦学习框架，利用来自多个医疗机构的数据进行协作建模，以解决病变样本稀缺的问题，同时保护患者隐私。这将有助于提高模型的泛化能力，使其更适合在不同医疗机构中应用。
期刊说明
期刊：Neurocomputing
更多详情可参考LetPub-Neurocomputing。
总结
总结： AFMIP-Net是一种新型的自适应特征调制和隐式提示网络，专为视网膜血管分割设计。针对传统方法在训练样本稀缺、血管形态多样及低对比度背景下的分割挑战，AFMIP-Net通过引入自适应特征调制（AFM）模块、特征隐式提示和融合（FIPF）模块，以及高斯滤波数据增强技术，显著提升了分割精度和鲁棒性。
互动
-
上述对你有用吗？
-
该论文期刊的审稿速度怎么样？
-
有更多相关期刊和论文推荐吗？
欢迎在评论区解答上述问题，分享你的经验和疑问！
当然，也欢迎一键三连给我鼓励和支持：👍点赞 📁 关注 💬评论。
致谢
欲尽善本文，因所视短浅，怎奈所书皆是瞽言蒭议。行文至此，诚向予助与余者致以谢意。
参考
[1] 【学习记录】图片局部放大
[2] 东荷新绿的网站 -【视网膜分割】一种基于结构自适应模型的空洞残差网络
[3] Neurocomputing
[4] LetPub-Neurocomputing。
往期回顾
| 序号 | 博客名 | 点击图片转跳哦 |
|---|---|---|
| 1 | 【NeurIPS-2022】CodeFormer: 将人脸复原转化为码本预测以减少LQ-HQ映射的不确定性 |  |
| 2 | 【CVPR-2023】DR2：解决盲人脸复原无法覆盖真实世界所有退化的问题 |  |
| 3 | 【论文学习】DifFace：一个建立在后验分布上的鲁棒扩散模型 |  |
| 4 | 【论文学习】PromptIR：一种基于提示学习的一体化图像恢复方法 |  |
| 5 | 【论文学习】RAHC：一种处理五种常见天气的任意混合退化的图像修复方法 |  |
| 6 | 【论文学习】PSFR-GAN：一种结合几何先验的渐进式复原网络 |  |
| 7 | 【论文学习】Panini-Net：一种可根据退化程度动态融合特征复原方法 |  |
| 8 | 【论文学习】GCFSR：一种无需先验的强度可调的人脸超分框架 |  |
| 9 | 【论文学习】SGPN：一种形状和生成先验相结合盲脸复原的方法 |  |