ProtModernBERT：计算高效的蛋白质语言模型
ProtModernBERT: Compute-Efficient Protein Language Modeling
ProtModernBERT 是一款现代化 BERT 架构的蛋白质语言模型，在二级结构预测、无序预测、亚细胞定位及 ProteinGym 零样本功能基准上匹配或接近 Amplify-120M 与 ProtBert 的表现，预训练 FLOPs 降低 80–90%，控制预训练条件后与 ESM2 的差距收窄。在低算力场景下，现代架构组件带来的归纳偏置对性能的影响超过单纯提升参数量。
蛋白质语言模型通过在海量无标注序列上自监督预训练来学习序列与功能的映射，这一范式已被用于指导蛋白质工程与定向进化 [1]、直接从序列推断原子级结构 [3]，以及全基因组范围内错义变异效应预测 [7]。它的成功长期与“规模”绑定：ProtTrans 系列在 Summit 超算上动用 5616 块 GPU 训练了包括 ProtBert 在内的多个模型 [2]，ESM2 更是把参数推到 150 亿才在表征中涌现出高分辨率结构信息 [3]。这条路线对算力的依赖使资源有限的实验室难以参与，而 ProteinBERT 等工作虽然证明小而快的模型也能在多个基准上接近最优 [5]，但在低算力条件下如何系统性地借助架构改进换取效率，始终缺乏清晰答案。
这正是 ProtModernBERT 切入的位置。作者将现代架构改进引入仅编码器的 BERT 式蛋白质预训练模型，并与 ProtBert、Amplify-120M 和 ESM2 在一组监督结构任务（二级结构预测、无序区预测、亚细胞定位）以及 ProteinGym 零样本功能基准上对比。核心结果相当直观：预训练 FLOPs 削减 80–90% 的条件下，ProtModernBERT 的性能与 Amplify-120M 和 ProtBert 相当或紧随其后；在控制预训练因素后，与 ESM2 的差距也被缩小。
这项工作真正的增量不在于刷榜，而在于方法学上的拆解。作者采用基于聚类的验证协议做超参数选择，并引入随机初始化的模型作为对照，从而把“架构”与“数据”的贡献分离开来。结论是：在低算力情形下，现代组件带来的更强归纳偏置比参数量更能决定成败。这与以往文献主要围绕数据规模和参数规模的叙事 [2][3] 形成了有价值的补充——对算力受限的研究者而言，升级架构可能比堆数据更划算。
需要保持审慎的是，这是一篇 arXiv 预印本，尚未经过同行评议；即便控制了预训练，模型与 ESM2 之间仍有差距而非持平；评测也集中在结构相关任务和零样本功能预测，尚未触及蛋白质序列生成等生成式能力，而后者已被证明是大规模语言模型最具显示度的应用方向之一 [4][6]。低算力架构红利能否延伸到设计场景，仍有待回答。
- 1.Machine-learning-guided directed evolution for protein engineering · Nat Methods 2019
- 2.ProtTrans: Toward Understanding the Language of Life Through Self-Supervised Learning · IEEE Trans Pattern Anal Mach Intell 2022
- 3.Evolutionary-scale prediction of atomic-level protein structure with a language model · Science 2023
- 4.Large language models generate functional protein sequences across diverse families · Nat Biotechnol 2023
- 5.ProteinBERT: a universal deep-learning model of protein sequence and function · Bioinformatics 2022
- 6.Simulating 500 million years of evolution with a language model · Science 2025
- 7.Genome-wide prediction of disease variant effects with a deep protein language model · Nat Genet 2023
来源：AI × 生物医药 · arxiv.org