【技术追踪】纵向 MRI 生成和弥漫性胶质瘤生长预测的治疗感知扩散概率模型（TMI-2025）
时间维度纵向 MRI 生成并联合分割~
论文：Treatment-Aware Diffusion Probabilistic Model for Longitudinal MRI Generation and Diffuse Glioma Growth Prediction
代码：https://github.com/samleoqh/TaDiff-Net
0、摘要
弥漫性胶质瘤是一种在大脑中广泛生长的恶性脑肿瘤。肿瘤细胞与正常组织之间的复杂相互作用，以及治疗过程中常见的变化，使得胶质瘤肿瘤生长模型的构建具有挑战性。（临床背景）
本文提出了一种新颖的端到端网络，能够对未来肿瘤掩模和多参数磁共振成像（MRI）进行预测，展示肿瘤在不同治疗方案下未来任何时间点的外观。（研究目标）
本文的方法基于前沿的扩散概率模型和深度分割神经网络，将序列多参数 MRI 和治疗信息作为条件输入，以指导生成性扩散过程以及联合分割过程。这使得能够在任何给定的治疗方案和时间点上，对肿瘤生长进行估计，并生成逼真的 MRI。
本文使用真实世界中的术后纵向 MRI 数据来训练模型，这些数据以随时间变化的肿瘤分割图为形式，展现了胶质瘤肿瘤生长的轨迹。该模型在多种任务中均展现出良好的性能，包括生成高质量的含肿瘤掩模的多参数 MRI、执行时间序列肿瘤分割以及提供不确定性估计。
结合治疗感知的生成 MRI，带有不确定性估计的肿瘤生长预测能够为临床决策提供有用的信息。（研究意义）
1、引言
1.1、研究意义
（1）尽管在诊断和治疗方面取得了进展，但弥漫性胶质瘤患者的预后仍然不佳，尤其是对于胶质母细胞瘤患者；
（2）改进的生长预测可以为诊断、预后、个性化医疗和治疗计划提供宝贵的见解；
1.2、当前挑战
（1）基于反应-扩散方程与非线性弹性模型结合的模拟预测方法，由于计算成本高或从成像数据中提取的参数过多，校准起来困难；
（2）当前基于深度学习的方法都仅限于使用图像数据来预测肿瘤掩模，而忽略了其他因素（如施加的治疗及其变化）的影响；
（3）这些深度模型还缺乏生成未来 MRI 图像及相应不确定性图的能力，这些限制是临床转化的障碍；
本文工作的主要挑战：在治疗影响下建模胶质瘤生长的内在复杂性！
1.3、本文贡献
（1）提出了一种新的条件扩散概率模型——治疗感知扩散（TaDiff）网络，该网络能够同时执行多项任务：预测未来的多参数 MRI 扫描、估计过去和未来 MRI 的肿瘤分割掩模，以及量化肿瘤演变的不确定性。通过联合任务学习，TaDiff 网络通过条件于过去的图像和治疗数据，捕捉复杂的肿瘤生长模式，从而能够生成具有临床相关性的未来 MRI 图像，并更准确地预测肿瘤的进展；
（2）引入了一种新颖的扩张型纵向肿瘤融合加权机制，以优先关注胶质瘤进展中的关键肿瘤周围组织。这一方法增强了模型学习肿瘤演变与治疗效果之间时空依赖关系的能力，从而能够更精确地表征胶质瘤的动态变化。不仅提高了预测的准确性，还确保了训练过程的稳定性和高效性；
（3）在本地和公共的高级别胶质瘤数据集上进行的广泛实证研究表明了本文模型的有效性。该模型利用过去的图像和治疗条件，生成纵向胶质瘤生长掩模以及高质量的合成多参数 MRI 图像。此外，该方法为每次预测提供了不确定性估计，从而辅助临床决策制定；
Figure 1 | TaDiff 模型概述（treatment-aware diffusion probabilistic model，治疗感知扩散概率模型）：该方法旨在为任何给定的目标或未来治疗（如替莫唑胺）及时间点（如第225天），生成一组合成的 MRI 图像和肿瘤进展掩模，这些掩模基于源序列 MRI（如s1、s2 和 s3）和治疗方案（如第36天的放化疗，第64天和127天的替莫唑胺）；
2、扩散模型基础
原文略，可参考：【Diffusion综述】医学图像分析中的扩散模型（一）中2.2节；
3、方法
经典的扩散概率模型（DDPM）方法仅需 x t x_t xt 进行训练，在推理时从随机噪声中采样得到任意的图像 x 0 x_0 x0。然而，本文的目标并非生成任意图像，而是从给定的源图像序列和治疗信息出发，为任何目标（未来）治疗日期点生成逼真的 MRI 图像和肿瘤生长图。
为此，本文提出了治疗感知扩散（TaDiff）模型，用于纵向数据的多参数 MRI 生成和肿瘤生长预测。 TaDiff 模型引入了一种治疗感知机制，用于在扩散模型中加入条件，同时采用联合学习策略，在扩散过程中对肿瘤进行分割并预测其未来的生长。图 2 展示了 TaDiff 流程的概览。
Figure 2 | 针对任何给定的治疗信息和目标/未来时间点，用于多参数MRI生成和肿瘤生长预测的 TaDiff 模型端到端管道：该模型以条件源 MRI 序列和治疗感知嵌入作为输入，输出目标/未来的 MRI 图像，并同时预测源治疗日点和给定的目标治疗日点的肿瘤掩模；
3.1、问题设置
设肿瘤二进制掩模 M ∈ R L × H × W × D M∈\mathbb R^{L×H×W×D} M∈RL×H×W×D 为纵向 3D 肿瘤体积，其时间长度为 L L L。相应的纵向 MRI 扫描 X ∈ R L × C × H × W × D X∈\mathbb R^{L×C×H×W×D} X∈RL×C×H×W×D 包含 C C C 个通道。本研究中，考虑 C = 3 C = 3 C=3，因为有三个输入可用：T1加权（T1）、对比增强T1（T1C）和液体衰减反转恢复（FLAIR）图像。
相应的治疗信息表示为 { T = τ 1 , τ 2 , . . . , τ l , . . . , τ L } \{ \mathcal T={τ₁,τ₂,...,τ_l,...,τ_L} \} {T=τ1,τ2,...,τl,...,τL}，表明治疗分布。相关治疗日定义为 D = { d 1 , d 2 , . . . , d l , d L } ∀ d ∈ N 0 { \mathcal D= \{{d₁,d₂,...,d_l,d_L\}} ∀ d∈\mathbb N_0 } D={d1,d2,...,dl,dL}∀d∈N0 且 0 ≤ d L − 1 < d L 0≤d_{L-1}<d_L 0≤dL−1<dL。本研究探讨了两种治疗方式：放化疗（CRT）和替莫唑胺（TMZ），具体定义为 τ ∈ { 1 , 2 } ∼ T τ∈\{1,2\}∼\mathcal T τ∈{1,2}∼T。
从现有的纵向检查数据中随机选取三个标量索引的排序序列作为条件源，即 S = { s 1 , s 2 , s 3 } \mathcal S=\{s_1,s_2,s_3\} S={s1,s2,s3}，其中 s i s_i si 满足条件 s i ∈ [ 1 , . . . , L − 1 ] s_i∈[1,...,L−1] si∈[1,...,L−1] 且 s i ≤ s i + 1 s_i≤s_{i+1} si≤si+1。（3个治疗时间点3种扫描）然后，我从剩余的未来考试中抽取一个未来（目标）会话的标量索引，即 f ∈ [ s 3 + 1 , . . . , L ] f∈[s_3 + 1,...,L] f∈[s3+1,...,L]。
条件 MRI 集合为 X S ∈ R 3 × C × H × W × D X^{S}∈\mathbb R^{3×C×H×W×D} XS∈R3×C×H×W×D，未来或目标 MRI 集合为 X f ∈ R 1 × C × H × W × D X^{f}∈\mathbb R^{1×C×H×W×D} Xf∈R1×C×H×W×D。（3个治疗时间点合成未来1个时间点的3种扫描的图像）相应地，还获得了源肿瘤掩模 M S ∈ R 3 × H × W × D M^S∈\mathbb R^{3×H×W×D} MS∈R3×H×W×D 和未来肿瘤生长掩模 M f ∈ R 1 × H × W × D M^f∈\mathbb R^{1×H×W×D} Mf∈R1×H×W×D（3种扫描对应1个mask）。此外，配对治疗与日变量的关联序列为 ⟨ T , D ⟩ S ∪ f = { ⟨ τ s 1 , d s 1 ⟩ ， ⟨ τ s 2 , d s 2 ⟩ ， ⟨ τ s 3 , d s 3 ⟩ ， ⟨ τ f , d f ⟩ } ⟨\mathcal T,\mathcal D⟩^{S∪f}=\{⟨τ_{s₁},d_{s₁}⟩，⟨τ_{s₂},d_{s₂}⟩，⟨τ_{s₃},d_{s₃}⟩，⟨τ_f,d_f⟩\} ⟨T,D⟩S∪f={⟨τs1,ds1⟩，⟨τs2,ds2⟩，⟨τs3,ds3⟩，⟨τf,df⟩}。
目标是最大化后验概率，即 p ( M f ∣ X S ) p(M^f|X^S) p(Mf∣XS)（预测未来的肿瘤掩模）， p ( X f ∣ X S ) p(X^f|X^S) p(Xf∣XS)（生成未来的 MRI 图像） 和 p ( M S ∣ X S ) p(M^S|X^S) p(MS∣XS)（对源肿瘤掩模进行分割），给定条件 MRI 图像 X S X^S XS，其中包含一系列配对的治疗和日期 ⟨ T , D ⟩ S ∪ f ⟨\mathcal T,\mathcal D⟩^{S∪f} ⟨T,D⟩S∪f，实现预测未来的肿瘤掩模，生成未来的 MRI 图像，并对源肿瘤掩模进行分割。三个后验分布可以合并，形成联合概率 p ( M S ∪ f , X f ∣ X S , ⟨ T , D ⟩ S ∪ f ) p(M^{S∪f},X^f|X^S,⟨\mathcal T,\mathcal D⟩^{S∪f}) p(MS∪f,Xf∣XS,⟨T,D⟩S∪f)。
由于问题的计算复杂性，模型训练和推理步骤采用沿 X X X 和 M M M 种维度 D D D 采样的二维切片进行，而非使用三维成像体积，以最大化后验概率 p ( m S ∪ f , x f ∣ x S , ⟨ T , D ⟩ S ∪ f ) p(m^{S∪f},x^f|x^S,⟨\mathcal T,\mathcal D⟩^{S∪f}) p(mS∪f,xf∣xS,⟨T,D⟩S∪f)，其中， m S ∪ f ∈ R 4 × H × W ∼ M S ∪ f m^{S∪f}∈\mathbb R^{4×H×W}∼M^{S∪f} mS∪f∈R4×H×W∼MS∪f， x S ∈ R 3 C × H × W ∼ X S x^S∈\mathbb R^{3C×H×W}∼X^S xS∈R3C×H×W∼XS，以及 x f ∈ R C × H × W ∼ X f x^f∈\mathbb R^{C×H×W}∼X^f xf∈RC×H×W∼Xf。（看着复杂其实不复杂啦~）
3.2、治疗感知扩散网络
本文采用了一个与 Dhariwal 和 Nichol 等人引入的经典基于 UNet 的扩散模型相似的骨干神经网络。扩散过程的时间步通过正弦嵌入和单层多层感知器（MLP）编码到神经网络中。
基于时间步嵌入的概念，本文采用两个独立的嵌入层和 MLP 层，将配对的治疗信息和日期信息（即 ⟨ τ s 1 , d s 1 ⟩ ⟨τ_{s₁},d_{s₁}⟩ ⟨τs1,ds1⟩、 ⟨ τ s 2 , d s 2 ⟩ ⟨τ_{s₂},d_{s₂}⟩ ⟨τs2,ds2⟩、 ⟨ τ s 3 , d s 3 ⟩ ⟨τ_{s₃},d_{s₃}⟩ ⟨τs3,ds3⟩ 以及 ⟨ τ f , d f ⟩ ⟨τ_f,d_f⟩ ⟨τf,df⟩）注入网络中。具体而言，四对治疗信息与天数依次输入到两个嵌入多层感知器（MLP）层中，随后将学到的治疗嵌入向量与其对应的天数嵌入向量相加，从而为每一对治疗-天数变量获得一个独特的特征向量。通过这种方式，得到了四个治疗向量：其中三个分别代表源/过去的治疗信息（用 s 1 s_1 s1， s 2 s_2 s2 和 s 3 s_3 s3 表示），另一个（用 f f f 表示）代表目标/未来的治疗信息，如 图 2 所示。
基于实验观察，本文发现采用源处理时间与目标处理时间之间的相对（差值）距离，有助于加速并稳定训练过程。因此，本文从目标向量中减去源向量，以获得其差分向量（diff-vectors），随后将这些差分向量与目标处理特征和时间步嵌入的求和向量进行拼接。
最终，使用这种新拼接的嵌入向量替代原始的时间步嵌入向量，通过 U-Net 进行前向传播，但中间块部分（如 图 2 所示）除外。在 U-Net 的中间块（亦称为 bottle-neck ）中，仅注入时间步与目标处理嵌入之间求和的特征。基于实验观察，这种方法在将目标处理信息融入扩散时间步时，能够提供平稳且快速的学习过程。
在模型的输入中，将源多参数 MRI（即 x s 1 x_{s1} xs1、 x s 2 x_{s2} xs2 和 x s 3 x_{s3} xs3）与 x t x_t xt 连接。需要注意的是， x t x_t xt 是带有扩散噪声的目标 MRI。模型有两个输出：
（1）第一个输出是在时间步 t t t 处估计的扩散噪声，这可以用来生成图像；
（2）第二个输出是从源 MRI（ x S x^S xS）和带噪声的目标 MRI （ x t x_t xt）预测出的肿瘤掩模；
因此，TaDiff 模型不仅仅是一个纯粹的扩散模型，而是一个结合了去噪扩散和分割任务的混合网络，能够以端到端的方式生成未来的 MRI 图像并同时分割出肿瘤的纵向生长掩模。算法1 和 算法2 介绍了 DDPM 训练和采样过程。
需要注意的是，扩散分支和分割分支共享编码器组件。扩散过程需要 600 步来生成目标图像，而分割过程仅利用最后 10 步。这些最后的步骤提供了质量最高的输入，本文生成 10 个 mask。随后对这些 mask 进行加权平均，以生成最终的分割 mask。这种方法确保分割 mask 能够从扩散过程后期阶段产生的高质量输入中获益。
通过应用模型并采用多个随机采样过程（本研究中考虑了 5 次采样），可以通过计算模型在相同条件输入下的预测标准偏差，为预测的肿瘤掩模和合成的 MRI 生成像素级不确定性图。
3.3、联合损失
由于该模型不仅预测了源图像和未来 MRI 中的肿瘤掩模，还包含了常规扩散噪声。因此，在分割子任务中采用了 dice 损失，其定义为：
其中 ∣ ⋅ ∣ |·| ∣⋅∣ 表示 L 1 L_1 L1 范数。由于在高时间点 t t t 时， x t x_t xt 中的信息不足，模型无法从图像中准确预测出合适的掩码。因此，根据 x t x_t xt 中 x 0 x_0 x0 的权重来调整未来分割的 Dice 损失。最终，分割损失被定义为：
第一个 dice 损失用于源图像的分割（ m ~ s \widetilde m^s m s），而第二个 dice 损失则根据噪声水平因子 α ˉ \bar α αˉ 进行缩放或加权，该因子用于预测噪声目标图像（ x t x_t xt）的肿瘤掩模（ m ~ f \widetilde m^f m f）。
此外，本文提出了一种加权机制，使模型能够优先提取胶质瘤区域及其最具动态性和异质性的周围区域的表征，防止模型直接复制参考源输入图像的表征，并促进未来的 MRI 构建任务的学习。为此，加权函数被设计为：
其中， m ^ = ∑ i ∈ S ∪ f m ( i , . . . ) S ∪ f \hat m=\sum_{i∈S∪f} m^{S∪f}_{(i,...)} m^=∑i∈S∪fm(i,...)S∪f， ∗ ∗ ∗ 表示卷积操作， f k l × k l f_{k_l×k_l} fkl×kl是一个初始化为 0.1 的卷积滤波器，预设的内核大小为 11。膨胀肿瘤生长区域的权重范围为[5.451,1.886]，而其他区域的权重为1。权重矩阵的元素值反映了相应空间特征随时间变化的程度。
最后，用于训练 TaDiff 模型的联合损失函数被定义为：
其中 λ λ λ 参数用于控制联合优化训练过程中分割损失的大小。基于实验和观察结果，本研究中将 λ λ λ 设为 0.01。
4、实验与结果
4.1、数据集与评价指标
4.1.1、Local Data
（1）共纳入 225 例 MRI 检查。其中，23 例患者被组织病理学确诊为弥漫性高级别胶质瘤，并在我院接受了治疗。这些患者接受了标准化治疗，包括手术、术后约四周开始的分次放疗以及与替莫唑胺（TMZ）联合使用的同步和/或辅助化疗（CRT）。
（2）每位患者获取的纵向 MRI 扫描数量在 3 至 19 次之间（平均为10次），扫描类型为多参数序列（本研究中使用），包括：T1 加权成像（T1）、增强 T1 加权成像（T1c）和 T2 液体衰减反转恢复成像（FLAIR）。
（3）所有扫描均进行了去颅骨处理，配准至由 T1 定义的公共空间，并重新采样至各向同性的 1 mm 分辨率。对于强度归一化，基于每种图像类型（即T1、T1c、FLAIR等）进行了 z-score 归一化处理。
（4）水肿和增强肿瘤的 Ground truth 由经验丰富的神经放射科医师完成。数据集被手动划分为两部分：训练/验证集和测试集。训练集包含 18 例患者的 177 次纵向扫描，而测试集则包括 5 例具有代表性的患者，这些患者来自不同的年龄组（32-65岁），共 48 次纵向扫描。
4.1.2、External Data
从公开的 LUMIERE 数据集中收集了 37 例额外的高级别胶质瘤患者的影像数据，其中男性 18 例，女性 19 例，总计 132 次 MRI 检查，用于进一步评估。所有患者均在瑞士伯尔尼大学医院（Inselspital）接受了手术切除以及基于替莫唑胺的化疗放疗。患者首次手术时的平均年龄为 58 岁，年龄范围为 39 至 72 岁，生存时间从 224 天到 1309 天不等，平均为 686 天。然而，该数据集并未提供专家标注或手动注释的肿瘤 mask。
4.1.3、Metric
（1）评估肿瘤分割和生长预测的准确性：Dice 相似系数（DSC）和相对体积差（RVD）；
（2）评估生成的磁共振成像（MRI）质量：SSIM，PSNR，MSE；
（3）外部测试数据集上，仅评估模型在生成未来 MRI 方面的性能；
4.2、实施与训练细节
（1）2D U-Net-like 网络；
（2）修改 DDPM；
（3）Adam 优化器；
（4）初始学习率 2.5 × 10 − 4 2.5 × 10^{−4} 2.5×10−4，设置了 1000 步的预热期及余弦衰减调度器；
（5）500 万次迭代训练；
（6）batch size=32，梯度积累步长 2；
（7）图像大小 192×192；
（8）Nvidia V100 32GB GPU；
（8）在训练阶段，模型被训练来预测三种情况：未来的（概率：0.5）、中期的（概率：0.3）和过去的（概率：0.2）MRI 检查；
4.3、实验结果
Table 1 | 测试集结果：
Table 2 | 治疗天数定量结果：
Figure 3 | 内部测试病例的定性预测示例：从上至下，展示了当前（源）MRI 图像，其中包含特定治疗日的痕迹；目标（未来）治疗日；预测结果，包括生成的MRI图像、肿瘤掩模和不确定性图；以及真实情况。该方法能够模拟稳定和进展中的肿瘤，这些肿瘤在不同部位可能有生长或缩小的情况。值得注意的是，P-1 接受了第二次手术治疗，这超出了我们模型设计处理的治疗类型范围；
Figure 4 | 三个分割的小提琴图比较了每个治疗（CRT和TMZ）对所有患者 MRI 生成指标的分布：虚线表示每个组的四分位数。值得注意的是，对于患者 P-1 和 P-2 ，TMZ 在 SSIM 指标下的第一个四分位数以下呈现出长尾分布。主要原因在于 P-1 在使用 TMZ 期间接受了第二次手术治疗，而 P-2 被诊断为继发性胶质母细胞瘤；
Figure 5 | 治两个箱形图显示了不同治疗日范围内预测的未来肿瘤和源肿瘤的 RVD 和 DSC 分布：请注意，随着 221-365 天范围内的变异性增加，模型性能显著下降，这是因为一例病例（P-1）经历了异常和快速的胶质瘤生长，并在此期间接受了第二次手术治疗；
Figure 6 | 基于切片体积估计的肿瘤生长预测评价，用于未来治疗和天数：该图表详细展示了 GT-Vol 和 Pred-Vol 在不同日期范围、测试患者及治疗类型之间的关系。每个关系图对应一个目标日期范围，患者通过颜色区分，不同的标记表示不同的治疗类型。值得注意的是，这些图表中没有排除涉及第二次手术（术前和术后）的案例；相反，在日期为221至365的图表中，本文通过注释来突出显示这些情况；
Figure 7 | 对每位患者的肿瘤生长进行预测评价，并在 GT-Vol 和 Pred-Vol 之间绘制配对图：图中的 identity line 表明 Pred-Vol 与 GT-Vol 的理想值相等，而 GT-Vol 和 Pred-Vol 的两种分布揭示了它们的相似性；
Figure 8 | 基于治疗变量的肿瘤生长预测评价，包括CRT、TMZ、二次手术（分为术前和术后）及其对应的天数范围：治疗类型以不同颜色标记，天数范围用不同标记表示，两个带有注释文本的椭圆突出显示两个异常区域；
Figure 9 | 不同日期范围、患者和治疗类型之间 GT-Vol 和 Pred-Vol 的 Pearson 相关系数：
Table 3 | 内部测试与外部测试之间的性能比较：
Table 4 | 治疗感知条件化方法的影响：（消融实验）
Table 5 | 联合任务学习机制的影响：（消融实验）
Figure 10 | 模型对外部测试数据集的预测示例：两个具有代表性的患者案例：一个（顶部）肿瘤呈进行性增长，另一个（底部）肿瘤保持稳定；在预测的肿瘤掩模中，绿色区域表示肿瘤的增长方向，蓝色区域则表示肿瘤的缩小方向；‘不确定性’图通过热图形式，在 MR 图像上突出显示预测中的不确定区域；
实验图还是太炫目了些~