ESM-2 系列蛋白质语言模型预训练数据过滤的有效性与持久性研究
The Effectiveness and Durability of Pretraining Data Filtering in Protein Language Models
针对 ESM-2 系列蛋白质语言模型，研究者测试预训练阶段过滤病毒蛋白对下游任务的影响。过滤后模型在病毒蛋白的掩码语言建模、突变效应预测和远距离接触预测上明显下降，人类感染病毒蛋白上最明显，非病毒蛋白性能基本保留；模型从 8M 扩到 3B 参数时负面影响随之扩大。
发生了什么
研究者用 ESM-2 蛋白质语言模型家族系统测试了预训练数据过滤这道防线的有效性、耐用性和可扩展性。把病毒蛋白从预训练数据里剔除后，模型在病毒蛋白上的掩码语言建模、突变效应预测和长程接触预测明显退化，非病毒蛋白性能大体保留；退化集中在人类感染病毒的蛋白上，且随模型从 8M 扩到 3B 参数而加剧，规模越大、严格过滤越有效。但用被剔除病毒家族的序列做微调就能恢复失去的性能，恢复成本随规模上升，即便最大模型也只需约 80 美元的 H100 算力。论文结论是过滤能中等程度地选择性削弱病毒蛋白能力，却挡不住低成本微调。
为什么重要
预训练过滤是开源权重语言模型最常见的防护手段之一，这篇研究直接回答了它到底有没有用、能扛多久这个悬而未决的问题：答案是中等有效、不耐用。对发布开源蛋白质模型的团队、做生物安全和模型治理决策的人，以及评估开源模型风险敞口的 BD 和投资方，这意味着不能把过滤当成可靠的安全边界，几十美元算力加相关数据就能绕过。方法上，这套测量过滤有效性和耐用性的做法可以迁移到其他模型家族的安全评估上。
还缺什么
这是 arXiv 预印本，未经同行评议，结论还需审稿检验。材料未披露具体测试的模型尺寸档位、过滤严格程度的定义和实施细节，也未说明结论能否推广到 ESM-2 之外的其他蛋白质语言模型；被剔除病毒家族序列的可获取性如何 likewise 待确认。下一步看同行评议版本、其他模型家族上的重复验证，以及是否有实际工程或湿实验层面的验证讨论。
给出 8M–3B 规模下过滤效果与微调恢复成本的定量对照，可作为生物安全过滤策略设计的参照基线。
来源：AI × 生物医药 · arxiv.org