Biohub Webinar 解读 ESMC 蛋白语言模型可解释性方法

蛋白质结构预测长期依赖比较建模：把目标序列与已知结构的模板比对后再搭建模型，精度受限于模板可得性与比对质量 ^[1]。蛋白语言模型改变了这一局面——当 ESM 扩展到 150 亿参数时，原子级结构直接从序列表示中“涌现”，并据此预测了逾 6.17 亿条宏基因组蛋白的结构 ^[2]；ProtTrans 等工作也显示，无监督预训练的嵌入已捕获序列的生化特性，可直接用于二级结构等下游预测 ^[3]。此后这条路线不断外推：ESM1b 用于预测人类基因组中约 4.5 亿个可能的错义变异效应 ^[6]，ProGen 能跨家族生成具可预期功能的序列 ^[4]，ESM3 则在序列、结构、功能多模态上生成远离已知蛋白的荧光蛋白 ^[5]。但性能持续攀升的同时，模型内部始终是“黑箱”：稠密嵌入里究竟编码了哪些可辨认的概念，一直缺乏打开的手段。

Biohub（ESM 团队）这场 61 分钟的 webinar 正以此为主题。其出发点是：蛋白序列经数十亿年进化优化，蕴含着结构–功能的“蓝图”，语言模型的任务就是从序列中抽取它。ESMC 的训练范式与 GPT 一致——掩码单个氨基酸、用上下文预测它，逐层堆叠 transformer；只要序列足够多，这一极简任务就能让结构与功能从表示中涌现。缩放规律上，预训练参数量与数据量越大，直接从表示预测结构的精度越高；最后四分之一的深层负责整合信息、生成丰富的结构表示；用带酶注释的数据集做 kNN 分类，还可逐层观察表示的功能分辨力。

相对已有认识，报告的推进集中在可解释性一侧：借用 NLP 的稀疏自编码器，从稠密嵌入中识别“单义概念”。既往工作主要证明嵌入“能做什么” ^[2][3]，这里则进一步追问嵌入“由什么构成”——选用 16000 个特征，在专精度与跨家族泛化之间取得平衡，并据此对蛋白空间做显式聚类，得到的划分区别于标准的序列或结构聚类。系统发育重建等演化问题同样可借助这些模型观察。这延续了该团队从 ESM 到 ESM3 的规模化路线 ^[2][5]，把重心从“更大更强”转向“看得懂”，构成“蛋白基础模型＋可解释性”这条 AI4Science 主线的最新进展。

当然，局限同样明显：webarin 属专家解读性质，ESMC 的具体基准表现以待论文与复现为准；16000 特征是权衡后的工程选择，这些“单义概念”能否稳定对应生物学意义上的结构–功能要素、能否在更多家族与任务上稳健泛化，仍需系统验证。