跳到正文
原文
专家解读(YouTube)· The Lancet · YouTube·· 5 天前评分40

MerMED-FM:多模态、多疾病医学影像基础模型(The Lancet)

【AI4Science】MerMED-FM:多模态、多疾病医学影像基础模型(The Lancet)

导读

MerMED-FM 是发表于 The Lancet 的多模态、多疾病医学影像基础模型,在 53 个公开数据集、330 万张医学影像上自监督预训练,覆盖 7 种影像模态与 12 个专科。模型采用带"记忆模块"架构并以 31 个数据集、仅 10% 标签微调;AUC 从视网膜照的 0.81 到 OCT 的 0.96,在真实世界肝脏 CT 上较领先"仅 CT"模型高出近 10%。

要点概括

The Lancet——MerMED-FM 是在 53 个公开数据集、330 万张医学影像上自监督预训练的多模态、多疾病、多专科医学影像基础模型。

  • 主线:多数医学 AI 为窄任务(单一影像类型/疾病/专科);MerMED-FM 尝试用一个基础模型覆盖 7 种影像模态、12 个专科。
  • 数据/方法:在 53 个公开数据集、330 万张医学影像上自监督预训练(均无标签),并以带「记忆模块」的架构保留不同影像类型的知识;后以 31 个数据集、仅 10% 标签微调。
  • 性能:AUC 从视网膜照的 0.81 到 OCT 的 0.96;在真实世界肝脏 CT 上比领先的「仅 CT」模型高出近 10%。
  • 定位:AI4Science / 医学影像基础模型(Tier E The Lancet);属机构/期刊宣传短片,性能数字请核对原始论文。

来源:专家解读(YouTube) · youtube.com

CBACBA Frontier Insights (CFI)美国华人生物医药科技协会(CBA)www.cba-usa.org