CellposeSAM:HHMI Janelia 发布结合 SAM 编码器与 Cellpose 流场法的细胞分割基础模型
【AI4Science】CellposeSAM细胞分割新模型(Carson Stringer)
HHMI Janelia 发布细胞分割基础模型 CellposeSAM,用 SAM 图像编码器(256×256、8×8 patch、全层全局注意力)替代原 UNet 预测细胞流场并经梯度追踪得到掩码。
介绍将SAM视觉编码器与Cellpose流场法结合的细胞分割基础模型,实现超人泛化能力与速度。
- CellposeSAM用SAM图像编码器(256×256、8×8 patch、全层全局注意力)替代原UNet,预测细胞流场后经梯度追踪得到掩码
- 用约260万张SAM训练图转换为流场表示预训练,再用逾1.1万张多模态细胞图微调
- 误差率低于人工标注者间一致性、逼近“百人共识”真下界,平均精度超过Cellpose、microSAM等模型
- 推理更快:512×512图约2–3秒,优于此前模型及原版SAM(1024)与microSAM(512)
- 具备通道顺序不变性、尺寸不变性(8–90像素直径)、抗泊松噪声/模糊/各向异性/像素尺寸鲁棒性
- 支持快速微调:未见过的电镜线粒体数据仅用4–7个ROI标注即显著提升;并可做MoNuSeg H&E全景分割+细胞分类
- 定位:AI4Science(HHMI Janelia)。
细胞分割是显微图像定量分析的第一步,但人工评估费时且观察者间差异明显[1]。深度学习显著改变了这一局面:2018年Data Science Bowl证明跨实验、免调参的细胞核分割是可行的[4],Cellpose则用七万余个分割对象训练出无需重训即可适配多种图像类型的通用模型[2]。不过通用化始终受制于标注数据,深度分割模型通常需要海量高质量标注[5],nucleAIzer曾以风格迁移自动生成训练样本来减轻标注负担[3]。另一条路线是引入视觉基础模型,但SAM直接用于医学图像会因自然图像与目标域的差距而性能下降[8],因此μSAM为光镜和电镜微调通用模型[7],CellSAM则用提示工程让单一模型在多种模态上达到人类水平[6]。
Carson Stringer在HHMI Janelia的报告中介绍的CellposeSAM走的正是"SAM加领域适配"这条路:它保留Cellpose预测细胞流场、再经梯度追踪得到掩码的框架,但用SAM图像编码器(256×256输入、8×8 patch、全层全局注意力)替换原UNet主干;训练分两步,先把约260万张SAM训练图转换为流场表示做预训练,再用逾1.1万张多模态细胞图微调。这一工作对应Pachitariu等2025年发布的bioRxiv预印本[9]。
从报告给出的数字看,其误差率低于人工标注者间一致性,逼近“百人共识”的真下界;平均精度超过Cellpose与microSAM等模型。速度上,512×512图推理约2–3秒,优于此前模型以及原版SAM(1024)与microSAM(512)。模型还具备通道顺序不变性和8–90像素直径的尺寸不变性,对泊松噪声、模糊、各向异性与像素尺寸变化鲁棒。相比CellSAM报告的人类水平表现[6]和μSAM依赖领域微调的策略[7],CellposeSAM把SAM大规模预训练与流场表示结合以追求超人泛化,且适配成本很低:对未见过的电镜线粒体数据,仅用4–7个ROI标注微调即显著提升,还能完成MoNuSeg H&E全景分割加细胞分类。
值得留意的是,据报道一项后续基准研究认为Cellpose-SAM作为通用分割模型缺乏区分细胞类别的能力[10],这与报告中提到的细胞分类功能形成张力;分类能力是否依赖额外微调、超人精度的结论能否在更多独立数据上复现,仍是待解的问题。
- 1.Robust Nucleus/Cell Detection and Segmentation in Digital Pathology and Microscopy Images: A Comprehensive Review · IEEE Rev Biomed Eng 2016
- 2.Cellpose: a generalist algorithm for cellular segmentation · Nat Methods 2021
- 3.nucleAIzer: A Parameter-free Deep Learning Framework for Nucleus Segmentation Using Image Style Transfer · Cell Syst 2020
- 4.Nucleus segmentation across imaging experiments: the 2018 Data Science Bowl · Nat Methods 2019
- 5.LIVECell-A large-scale dataset for label-free live cell segmentation · Nat Methods 2021
- 6.CellSAM: a foundation model for cell segmentation · Nat Methods 2025
- 7.Segment Anything for Microscopy · Nat Methods 2025
- 8.MA-SAM: Modality-agnostic SAM adaptation for 3D medical image segmentation · Med Image Anal 2024
- 9.Cellpose-SAM: superhuman generalization for cellular ... · biorxiv.org 2026
- 10.PERSONALIZED CELL SEGMENTATION: BENCHMARK ... · arxiv.org 2026
原文给出将 SAM 视觉编码器与 Cellpose 流场法结合的具体架构与基准数据,读者可直接将其迁移到自身的细胞分割任务中比较。
来源:专家解读(YouTube) · youtube.com