专家解读(YouTube)· HHMI's Janelia Research Campus · YouTube·· 9 天前评分58
Janelia 专家解读:用 LLM 与 VLM 驱动生物图像数据分析
【AI4Science】用大语言 / 视觉-语言模型做生物图像数据分析(Janelia, Robert Haase)
导读
HHMI Janelia 在 YouTube 发布 65 分钟专家解读,Robert Haase 介绍用 LLM 与 VLM 自动驱动生物图像分析流程的方法。讲者演示 VLM 结合图像与文本推荐分割算法,并生成代码在 Docker 内自动执行,强调模型应用需匹配训练数据分布,避免跨域滥用。
要点概括
Janelia 介绍 Robert Haase(Leipzig, ScaDS AI)——从传统生物图像分析(CLIJ/GPU)转向用大语言模型(LLM)与视觉-语言模型(VLM)驱动图像数据科学。
- 主线:讲者 10-15 年用非语言模型做生物图像分析(曾开发 GPU 软件 CLIJ),现转向用 LLM/VLM 自动选择并执行分析流程。
- 方法:用 VLM 结合图像与文本,让其推荐“最佳分割算法”等;强调训练/应用需匹配数据分布(勿跨域滥用模型)。
- 工具:演示用语言模型生成并自动执行 notebook/代码(如 Docker 内顺序执行),降低分析门槛。
- 定位:AI4Science(LLM/VLM for bioimage data science);Tier E(HHMI Janelia);字幕(11869 词,含大量 Q&A)。
来源:专家解读(YouTube) · youtube.com