Eric Betzig 规划用晶格光片成像和视觉 transformer 构建活体细胞 4D 基础模型
Eric Betzig 规划用视觉 transformer 训练“4D 分割”网关任务，并以活体细胞成像数据构建基础模型，目前尚未给出已训练模型结果。该路线将晶格光片显微镜与自适应光学结合，在完整活体生物内进行高分辨长时间成像，单台显微镜约产生 4 TB/小时数据。
UC Berkeley/HHMI Janelia 的 Eric Betzig 阐述用 lattice light sheet + 自适应光学在完整活体内高分辨长时成像，并以此产生拍字节级数据，进而规划用视觉 transformer 训练"4D 分割"网关任务、构建活体细胞生物学基础模型的路线。。生物学动机：现代三大支柱都是还原论方法，无法理解动力学系统；只有活体、全息（4D/5D）光学显微能在生理背景下观察亚细胞动态，主张"直接看生命"而非拆解它。；技术基础：约 15 年前发展 lattice light sheet 显微镜，约 10 年前借天文学自适应光学（AO）校正组织散射像差，二者结合可在完整活体内高分辨长时成像，时空跨度达 7 个（时间）/10 个（体积）数量级。；计算瓶颈：单台显微镜约 4 TB/小时，必须开发实时（4 TB/秒）去卷积、拼接、压缩、存储管线；仅分析两个数据集各花约 300 万 CPU 小时，开放共享因"无人能处理数据"收效甚微，故认为真正需要 AI。；AI 路线：因是时空问题倾向用 transformer/视觉 transformer；先做 3D 视觉 transformer 测斑马鱼像差（以内源网格蛋白包被小窝为 fiducial）以摸清数据量与算力缩放规律，推断 4D 预训练在当前算力内可行。；落地计划：构建"4D 分割"网关任务（用 Skittles 多荧光随机表达法自动生成标注），再用 LLM 查询视觉模型、必要时做 RAG 回答从分子到组织层级的问题；目标部署 4 台显微镜（每台 5–10 TB/天）采集预训练数据（<1 PB/台，约 150 天/台）。；讲者称点扫描/共聚焦/双光子显微镜"在生成大数据所需数据速率上根本不在讨论范围"且光漂白极高，属较强对比主张，标注为 待验证；整体为愿景/路线分享，尚未给出已训练好的 4D 基础模型结果。
- 生物学动机：现代三大支柱都是还原论方法，无法理解动力学系统；只有活体、全息（4D/5D）光学显微能在生理背景下观察亚细胞动态，主张"直接看生命"而非拆解它。
- 技术基础：约 15 年前发展 lattice light sheet 显微镜，约 10 年前借天文学自适应光学（AO）校正组织散射像差，二者结合可在完整活体内高分辨长时成像，时空跨度达 7 个（时间）/10 个（体积）数量级。
- 计算瓶颈：单台显微镜约 4 TB/小时，必须开发实时（4 TB/秒）去卷积、拼接、压缩、存储管线；仅分析两个数据集各花约 300 万 CPU 小时，开放共享因"无人能处理数据"收效甚微，故认为真正需要 AI。
- AI 路线：因是时空问题倾向用 transformer/视觉 transformer；先做 3D 视觉 transformer 测斑马鱼像差（以内源网格蛋白包被小窝为 fiducial）以摸清数据量与算力缩放规律，推断 4D 预训练在当前算力内可行。
- 落地计划：构建"4D 分割"网关任务（用 Skittles 多荧光随机表达法自动生成标注），再用 LLM 查询视觉模型、必要时做 RAG 回答从分子到组织层级的问题；目标部署 4 台显微镜（每台 5–10 TB/天）采集预训练数据（<1 PB/台，约 150 天/台）。
- 讲者称点扫描/共聚焦/双光子显微镜"在生成大数据所需数据速率上根本不在讨论范围"且光漂白极高，属较强对比主张，标注为 待验证；整体为愿景/路线分享，尚未给出已训练好的 4D 基础模型结果。
活体光学成像过去十余年的主线，是让显微镜在不损伤样品的前提下把细胞动态“看全”。Betzig 实验室约十五年前发展晶格光片显微镜，实现了对从分子到胚胎、跨越四个数量级时空尺度的高分辨成像 [1]；约十年前又从天文学借来自适应光学校正组织散射像差，才得以在多细胞生物体内观察内吞、免疫细胞迁移等亚细胞过程的原生状态 [2]。这类影像已在修正还原论图景：果蝇胚胎中 Zelda、Bicoid 等转录因子并非稳定结合 DNA，而是以高解离速率形成短寿命的亚核枢纽、仅与活跃转录位点瞬时互作 [4]。深度学习亦已进入该管线的去噪与超分辨 [3]，但瓶颈正从采集端转向分析端。
在这场 Janelia 的 AI4Science 报告中，Betzig 把动机说得更直白：现代生物学的几大支柱都是把细胞拆开看零件的还原论方法，无法理解动力学系统；他举转录为例，一秒钟的活体单分子追踪即可显示转录因子与 DNA 的结合不超过几秒，从而推翻生化实验构建的稳态模型。晶格光片加自适应光学现已覆盖 7 个时间数量级、10 个体积数量级，单台显微镜约 4 TB/小时，必须配套实时去卷积、拼接、压缩与存储的计算管线；即便如此，仅分析两个数据集就各耗约一年、300 万 CPU 小时，十年的开放共享因“无人能处理这些数据”而收效甚微——这正是他转向 AI 的理由。
推进之处在于把这一数据优势转成明确的模型路线。问题被定义为 XYZT 加颜色的 5D 时空任务，因此倾向 transformer/视觉 transformer 架构：先做 3D 视觉 transformer 测量斑马鱼像差，以内源网格蛋白包被小窝为基准标记——这类结构在晶格光片成像中已被充分刻画 [5]——以此摸清数据量与算力的缩放规律，进而推断 4D 预训练在当前算力内可行。网关任务是真正的 4D 分割：现有工具在单个时间点约 70% 准确，随时间追踪便迅速丢失；人工标注每细胞每时间点约 90 分钟，推广到一小块组织需 17 人年。为此改用五种荧光随机表达的 Skittles 法让生物体自动生成标注，再以 LLM 查询视觉模型、必要时辅以 RAG 回答从分子到组织层级的问题；采集端计划部署 4 台显微镜，每台每天 5–10 TB，约 150 天、不到 1 PB 完成单台预训练数据。
需要强调的是，这目前是愿景与路线分享，尚无训练完成的 4D 基础模型结果；点扫描、共聚焦与双光子“在所需数据速率上根本不在讨论范围”的强对比主张被标注为待验证，Skittles 信号到标签的转换也仍需大量工作。缩放推断能否兑现，只能等第一个预训练模型落地检验。
- 1.Lattice light-sheet microscopy: imaging molecules to embryos at high spatiotemporal resolution · Science 2014
- 2.Observing the cell in its native state: Imaging subcellular dynamics in multicellular organisms · Science 2018
- 3.Rationalized deep learning super-resolution microscopy for sustained live imaging of rapid subcellular processes · Nat Biotechnol 2023
- 4.Dynamic multifactor hubs interact transiently with sites of active transcription in Drosophila embryos · Elife 2018
- 5.Membrane dynamics of dividing cells imaged by lattice light-sheet microscopy · Mol Biol Cell 2016
从成像硬件、自动标注到 4D 分割预训练和数据规模估算均列出具体参数，可作为活体细胞基础模型的技术路线参考。
来源：专家解读（YouTube） · youtube.com