用于脑MRI时空预测的多模态条件潜在扩散模型(MC-LDM)
Multimodal-Conditioned Latent Diffusion Models for Spatiotemporal Brain MRI Forecasting
MC-LDM在包含664次就诊的独立测试集上,将平均区域体积MAE较次优基线降低18%,用于患者特异性脑MRI时空预测。该潜在扩散模型训练时融合MRI、tau-PET、CDR和APOE4,推理时仅依赖基线MRI、APOE4和患者信息。模型使用ADNI中852名受试者的1,355次就诊数据训练。
预测大脑解剖结构随疾病的纵向演变,对判断进展速度、辅助患者管理乃至临床试验设计都有重要意义,但即便对经验丰富的临床医生也极为困难,已有的深度学习方法多从单次医学扫描出发建模未来的解剖变化 [3]。与此同时,多模态信息的互补价值在其他场景已获证实:例如用结构与功能多模态MRI估计的脑年龄优于任一单模态,且其与实际年龄的偏差和amyloid、tau等AD生物标志物相关 [1]。在医学图像合成方面,扩散模型已被用于从已有模态合成缺失模态,并以“渐进式整模态修补”的思路灵活应对任意缺失情形 [2],但这类工作面向的是同一时点的跨模态补全,而非对未来的预测;如何把分子与临床层面的生物标志物引入时空预测,一直缺乏手段。
这篇未经同行评议的arXiv预印本提出MC-LDM(多模态条件潜扩散模型),试图把多模态先验带入MRI预测。框架有三点设计:用LoRA微调潜空间扩散模型以实现数据高效学习;训练时以MRI、tau-PET、CDR和APOE4作为多模态条件,以刻画异质的疾病轨迹;训练辅助预测器从MRI特征和患者协变量估计推理时无法获得的生物标志物,再以之条件化扩散模型。这样一来,推理阶段只需基线MRI、APOE4和患者元数据,呼应了真实临床中这些评估并非人人可得的现实。模型在ADNI——一个长期用于AD脑萎缩模式分析的多中心队列 [4]——的852名受试者、1,355次访视上训练,在664次访视的独立测试集上,平均区域体积MAE较次优基线降低18%。
相对已有认识,该工作的推进在于打通了“训练时富监督、部署时穷输入”的矛盾:此前的单扫描疾病进展建模 [3] 无法利用结构解剖之外的信息,面向缺失模态的扩散合成 [2] 又不处理时间维度,而MC-LDM据作者所知是利用多模态先验进行MRI预测的扩散框架。其意义在于,生成的患者特异性轨迹能够捕捉单纯从结构解剖观察不到的AD异质性,从而在多模态监督与常规临床部署的严格约束之间架起桥梁。
当然,该研究所有结果均来自ADNI单一数据源,且尚未经同行评议;辅助预测器估出的未观测生物标志物其可靠性如何、误差会对下游预测产生什么影响,以及模型能否推广到设备与人群更加多样的真实临床环境,都仍有待回答。
- 1.Multimodal brain age estimates relate to Alzheimer disease biomarkers and cognition in early stages: a cross-sectional observational study · Elife 2023
- 2.Multi-Modal Modality-Masked Diffusion Network for Brain MRI Synthesis With Random Modality Missing · IEEE Trans Med Imaging 2024
- 3.Learning Spatio-Temporal Model of Disease Progression With NeuralODEs From Longitudinal Volumetric Data · IEEE Trans Med Imaging 2024
- 4.AddNeuroMed and ADNI: similar patterns of Alzheimer's atrophy and automated MRI classification accuracy in Europe and North America · Neuroimage 2011
来源:AI × 生物医药 · arxiv.org
