文献阅读|基于PSMA PET/CT与mpMRI多模态深度学习预测前列腺癌的不良病变
文章基本信息
标题Prediction of adverse pathology in prostate cancer using a multimodal deep learning approach based on [18F] PSMA-1007 PET/CT and multiparametric MRI
期刊名European Journal of Nuclear Medicine and Molecular Imaging
接收时间 2024.12 见刊时间 2025.1
影响因子 8.6（Q1）
DOI https://doi.org/10.1007/s00259-025-07134-0
摘要速递
准确预测前列腺癌（PCa）患者的不良病理变化（AP）对于制定有效的治疗策略至关重要。本研究旨在开发并评估一种基于[ 18F]PSMA-1007 PET/CT和多参数磁共振成像（mpMRI）的多模态深度学习模型，以预测AP的存在，并探讨整合[ 18F]PSMA-1007 PET/CT和mpMRI的模型是否在预测AP方面优于单独使用PET/CT或mpMRI的模型。结果表明整合mpMRI和[ 18F]PSMA-1007 PET/CT的深度学习模型，显著提升了前列腺癌患者AP存在的预测能力。
AP是至少包括PSM,EPE或SVI中的一种现象：PSM的确定依据是前列腺切除边缘是否残留癌组织。EPE通过评估周围组织中前列腺囊外是否存在癌组织来判断。SVI则定义为癌组织穿透前列腺囊，侵入相邻的精囊。
研究思路
- 患者招募入组
- 使用ITK-SNAP勾画mpMRI的感兴趣区域，LIFEX勾画PET感兴趣区域
- 确定病理结果是否存在PSM,EPE或SVI中的一种现象
- 开发多模态模型MPC
- 使用逻辑回归从临床特征中选择p-value小于0.05的特征做为最终MPCC使用的临床特征
- 基于MPC得到的融合特征与临床特征开发MPCC模型
- 消融实验，验证模型性能，MPCC性能最优
- 使用SHAP 验证模型的特征重要性
- 验证模型在预测AP的单个种类效能
研究方法
- 多模态融合模型开发（MPC）
图像的ROI部分被裁剪并输入模型。使用ResNet-50作为CNN组件的骨干网络，从图像中提取纹理特征。随后，通过Vision Transformer（ViT）学习图像序列关系并有效捕捉图像的全局特征。 - 多模态临床模型开发（MPCC）
基于MPC得到的特征结合特异性的临床特征，制作列线图用来预测术后患者是否存在前列腺癌不良病变。
结果
- 参与者特征：可以最终共纳入341名患者，其中AP 150人，nAP 150人
- 临床特征多因素回归筛选关键特征
- 模型性能对比
- 模型可信性评估
- 模型可解释性SHAP分析
- 模型对AP单个类别预测性能
讨论
该研究利用了[ 18F] PSMA-PET/CT和mpMRI的深度学习特征，结合临床特征，预测前列腺癌（PCa）患者的病理分期（AP）。研究显示，该方法具有卓越的性能，可作为可靠的AI工具，帮助医生做出术前决策，从而改善患者的治疗效果。此外，SHAP分析量化了每个变量对患者AP预测的影响，展示了每个变量如何增加或减少AP的风险，为临床医生提供了直观的可视化信息。
该研究也存在一些局限性:
- 回顾性的单中心研究，仅纳入了接受根治性前列腺切除术（RP）的PCa患者，这可能引入选择偏差。
- 样本量相对较小，模型的泛化能力需要在更多样化的数据中进一步验证。
- 模型性能可能受到模态融合方法的影响，未来还有优化的空间
- 手动勾画前列腺繁琐且耗时
努力看齐
- 文章内容很充实，研究结果和内容都没得挑。整体结构也很好，思路很清晰。
- 多模态融合模型构建的过程，考虑的很详细，使用了CNN和ViT
- 最终MPCC使用列线图，而不是将临床特征也使用神经网络后再进行融合（有可能作者这么试过，发现效果不好）
- 对模型进行细致的验证，真的很有说服力。
引文
Lin, H., Yao, F., Yi, X. et al. Prediction of adverse pathology in prostate cancer using a multimodal deep learning approach based on [18F]PSMA-1007 PET/CT and multiparametric MRI. Eur J Nucl Med Mol Imaging (2025). https://doi.org/10.1007/s00259-025-07134-0