Hoifung Poon 解读：生物医学中的生成式 AI 与数字病理基础模型

数字病理已将显微镜下阅片转变为在显示器上完成的计算机视觉流程^[1]。任务特异的卷积神经网络曾在诸多图像任务上取得超越人类的表现^[1]，例如区分肺癌亚型、膀胱与乳腺癌生物标志物乃至免疫组化染色评分的分类流水线^[2]，但其性能依赖大量标注数据，无法利用多模态信息，且在新数据集、染色方法或组织类型之间泛化乏力^[1]。为此，2020年代迎来了基础模型与生成式AI的兴起^[1]：CONCH以逾117万图文对进行视觉—语言预训练^[4]，CHIEF覆盖60,530张全切片、19个解剖部位^[5]，UNI则在10万余张全切片、逾1亿张图像上跨20大类组织自监督预训练^[6]。此外，计算染色研究已显示，从H&E图像提取的肿瘤微环境空间特征与生物学通路的基因表达显著相关^[3]，预示了影像与分子数据对话的可能。

在这一脉络下，CSHL Leading Strand栏目推出16分钟专家访谈（AI4Science系列），微软研究院的Hoifung Poon系统阐述了数字病理基础模型与生成式多模态AI。其核心是clinician-centered、human-in-the-loop的闭环诊断：数字病理基础模型已发布，目标在10–15年内重塑影像与病理实践；生成式多模态AI可依据蛋白激活等信息生成显微图像，并整合spatial transcriptomics、spatial proteomics等多模态数据。在临床层面，肺癌等患者可能面对数百个模型，AI的价值在于帮助吸收多模态信息、改善患者结局，Mount Sinai等机构已有部署案例。该方向与多模态AI、AlphaGenome、ESMFold2等共同构成AI基础模型簇。

与已发表工作相比，这次访谈把重心从基准表现推向临床闭环：CONCH、UNI等模型主要在图文预训练和一系列下游任务的评估上展现能力^[4][6]，而这里强调医生在环的实际部署，并把既往“影像特征与基因表达相关”^[3]的观察，推进为对空间组学数据的直接吸收与生成式整合。

当然，标注数据稀缺以及跨数字化协议、跨人群的泛化难题，仍是文献中明确记录的瓶颈^[4][5]；讲座给出的10–15年时间表本身也提示，生成式多模态AI能否在闭环中转化为可验证的患者结局改善，尚有待回答。