Antoine Rosette 团队提出基于 Goo 与 MicroSim 的合成显微图像管线，用于训练细胞分割基础模型
【AI4Science】构建大规模合成显微图像数据集以训练细胞分割基础模型
Antoine Rosette（哈佛医学院系统生物学系）在 HHMI Janelia 专家解读中介绍为训练显微图像视觉 Transformer 而构建的大规模合成数据管线，并发布两套开源工具 Goo 与 MicroSim。
Antoine Rosette（哈佛医学院系统生物学系，与 Shan Megis、Simon Nurelica 同组）介绍为训练显微图像大模型而构建大规模合成数据集的框架，核心动机是 Transformer 类视觉模型所需训练数据量远超经典 CNN。
- Antoine Rosette（哈佛医学院系统生物学系，与 Shan Megis、Simon Nurelica 同组）介绍为训练显微图像大模型而构建大规模合成数据集的框架，核心动机是 Transformer 类视觉模型所需训练数据量远超经典 CNN。
- 数据量级对比：训练一个 Transformer 需要约 10^6–10^8 张图像，而典型的 U-Net 这类 CNN 只需 10^3–10^5 张，相差约 10–1000 倍；Transformer 缺乏归纳偏置、需从零学模式，但能捕捉长程依赖、随数据/算力扩展性能提升。
- 显微图像由两要素决定：一是成像物理（光学系统、光照波长、探测器/传感器特性决定信噪比），二是细胞的形态与组织（形状、位置、亚细胞结构、组织内密度）。
- 两个开源工具：(1) Goo —— 基于 Blender 的 Python 库，用"软壳网格+流体加压"的可变形细胞模型模拟 3D 细胞：细胞间同型/异型黏附、随机游走运动、压力-体积反馈调控生长、按体积或时间分裂、在浓度网格中感知代谢物并经基因调控网络反馈；示例包括单个细胞分裂成约 256 细胞团、斑马鱼胚胎发育、球内细胞混合，以及把 Elowitz 的 repressilator 浓度链接到运动速度（蓝=慢、红=拥堵加快）。
- (2) MicroSim —— Talley Lambert（哈佛成像技术教育核心）的 Python 库，按四步模拟真实光学显微图像：生成 3D 荧光团位置与数量（真值）→ 按波长计算各通道光子发射率与光学配置 → 用发射光子通量缩放并卷积显微镜点扩散函数（PSF）形成光学像 → 加入散粒噪声、读出噪声并下采样得到数字图；以共聚焦（pinhole 大小、曝光时间等参数）为例可精细控制。
- 把 Goo 生成的真值接入 MicroSim 跑完整管线，已生成数百万张高度多样、且自带真值与全套光学参数的合成显微图像；下一步打算在此数据集上训练大模型、探索 3D+时间建模，并用物理参数约束扩散模型（physics-to-image，而非"魔法画笔"），以及用其做 Cellpose 等分割算法在显微镜参数/细胞密度/尺寸上的"360 度"鲁棒性评测。
- 定位：AI4Science；使用基于物理正向模型（Goo 可变形细胞模拟 + MicroSim 光学成像模拟）生成合成训练数据，并以之训练视觉 Transformer / 扩散模型。
细胞分割是定量显微分析的基石，深度学习使其精度大幅提升 [1]，经典方案 U-Net 用少量标注即可适配新任务 [4]。但标注供给很快成了瓶颈：TissueNet 人工标注了超过 100 万个细胞，已比此前所有分割训练数据集的总和多出一个量级 [2]；LIVECell 的逾 160 万个细胞同样依赖专家手工勾画与验证 [5]；通用工具 Cellpose 也建立在 7 万多个分割对象之上 [3]。与此同时，模型一侧正转向大模型路线：多模态分割挑战赛的优胜方案正是 Transformer 架构，可跨成像平台与组织类型免调参使用 [8]；CellViT 依托在 1.04 亿张组织图像块上预训练的 ViT 编码器 [7]；CellSAM 则直接构建于 Segment Anything 之上 [6]。人力标注显然追不上这类模型的胃口。
哈佛医学院的 Antoine Rosette 在 Janelia 的报告中给出另一条路：造数据而非标数据。其量级判断是，训练 Transformer 级视觉模型约需 10^6–10^8 张图像，而 U-Net 这类 CNN 只需 10^3–10^5 张，相差约 10–1000 倍。他们把显微图像拆成两个可模拟要素：成像物理（光学系统、波长、探测器决定信噪比）与细胞形态组织（形状、位置、亚细胞结构、密度）。开源工具 Goo 基于 Blender，用“软壳网格+流体加压”的可变形细胞模型模拟黏附、随机游走、压力-体积反馈的生长、按体积或时间分裂，并经基因调控网络感知代谢物，演示中单细胞可长成约 256 个细胞的团块、可重演斑马鱼胚胎发育，甚至把 repressilator 浓度接到运动速度上；MicroSim（Talley Lambert 开发）则按四步正向模拟成像：荧光团真值、按波长计算各通道光子发射、卷积显微镜 PSF、加入散粒与读出噪声并下采样，共聚焦的针孔、曝光等参数均可精细控制。串联两条管线，已生成数百万张自带真值与全套光学参数的合成图像。
推进之处在于，相比 TissueNet、LIVECell 靠人力堆出的标签 [2][5]，这条管线的真值与光学参数随图“免费”生成，且细胞密度、尺寸、显微镜设置可系统变化，从而对 Cellpose [3] 等算法做参数空间里的“360 度”鲁棒性评测——这是人工标注难以系统提供的。方向本身也有据可循：2024 年一项同行评审研究已表明，模拟细胞情境的真实感合成数据可直接训练出可泛化的深度学习算法[9]；据报道，microsim 也已被其他任务的显微镜模拟管线采用[10]。团队下一步是在此数据上训练大模型、探索 3D+时间建模，并以物理参数约束扩散模型，走 physics-to-image 而非“魔法画笔”的路线。
留白同样清楚：报告展示的仍是数据生成框架与图像，尚无在此数据集上训练出的模型的实际表现；合成管线对细胞力学与成像噪声的刻画终究是简化，模型能否迁移到真实显微镜下多样的样本与伪影，还需训练与跨数据验证来回答。团队自己计划的鲁棒性评测，某种程度上也正是对合成数据真实度的一次检验。
- 1.Applications of Artificial Intelligence, Deep Learning, and Machine Learning to Support the Analysis of Microscopic Images of Cells and Tissues · J Imaging 2025
- 2.Whole-cell segmentation of tissue images with human-level performance using large-scale data annotation and deep learning · Nat Biotechnol 2022
- 3.Cellpose: a generalist algorithm for cellular segmentation · Nat Methods 2021
- 4.U-Net: deep learning for cell counting, detection, and morphometry · Nat Methods 2019
- 5.LIVECell-A large-scale dataset for label-free live cell segmentation · Nat Methods 2021
- 6.CellSAM: a foundation model for cell segmentation · Nat Methods 2025
- 7.CellViT: Vision Transformers for precise cell segmentation and classification · Med Image Anal 2024
- 8.The multimodality cell segmentation challenge: toward universal solutions · Nat Methods 2024
- 9.Simulating the Cellular Context in Synthetic Datasets for ... · pubmed.ncbi.nlm.nih.gov 2026
- 10.Split: Self-Supervised Content-Aware Spectral Unmixing ... · arxiv.org 2026
原文把物理正向模型拆成 Goo 细胞模拟与 MicroSim 光学模拟两个可替换模块，给同领域缺数据时的合成训练集构建提供了可迁移管线。
来源：专家解读（YouTube） · youtube.com