recAMPLIFY：递归蛋白质语言模型的大规模预训练
recAMPLIFY: Large-Scale Pretraining of Recursive Protein Language Models
作者以 recAMPLIFY 将递归预训练适配至掩码蛋白质语言模型，并在与 AMPLIFY-350M 相同的 2T tokens 上训练。该模型参数量为 155M，较 AMPLIFY-350M 少 56%，并改善 CASP 接触恢复及四项监督任务中的三项，折叠准确率提高 22.5%。
发生了什么
recAMPLIFY 是一个只有 155M 独特参数的蛋白质语言模型，用与 AMPLIFY-350M 相同的 2T tokens 训练，参数少了 56%，但在 CASP 接触恢复上更好，四项监督任务中有三项提升，折叠准确率提高 22.5%。做法是把递归预训练移植到 masked pLM 上：一个权重共享的 Transformer 核心按可调的循环次数反复精修残基对齐的隐状态。作者还提出 Gated Mixture Recurrence（GMR），把递归过程中访问过的隐状态按概率加权混合后解码，用可学习的残差门（标量、低秩或逐维分辨率）控制每轮更新被接受的比例，并把 halting 和 gating 统一成一个自适应计算目标，PonderNet 式 halting 是其无门控的特例。叠加在 recAMPLIFY 上，GMR 把期望层深度最多降低 37%，但精度代价随任务不同。
为什么重要
这项工作回答的问题是：pLM 的进步长期靠堆大模型和数据，成本高且容易记忆化，而自回归 LLM 那套测试时扩展方法因为 masked 编码器没有生成循环、氨基酸也不会用推理语言表达，无法直接照搬。recAMPLIFY 证明可以把计算花在推理时的递归精修上，用 56% 更少的参数换来 CASP 接触恢复和多数监督任务的提升，对做蛋白注释、突变效应预测和结构相关应用的研发团队是一条不靠堆参数的路线。GMR 还给出按任务自适应分配计算深度的框架，机制分析显示 halt 深度与生物学性质相关，说明递归深度本身可能携带可解释的生物信号。
还缺什么
材料没写四项监督任务中哪一项没有提升、差多少，也没给 GMR 降深 37% 时各任务的具体精度损失数字，均待确认。各任务最优递归深度的具体设置、推理时延和算力开销、代码与权重是否公开、能否被第三方复现，材料均未披露。这是 arXiv 预印本，下一步看它是否过同行评议，以及递归加门控这套配方能否迁移到其他规模或生成式蛋白模型上——材料只在 155M 这一档做了验证，其他规模待确认。
在相同2T tokens下，recAMPLIFY以少56%的参数改善CASP接触恢复及四项监督任务中的三项，形成参数效率对照。
来源：AI × 生物医药 · arxiv.org