跳到正文
原文
AI × 生物医药· arXiv · cs.LG·· 2 小时前评分33

PairIT:面向低数据分子优化的自回归 Transformer 框架

PairIT: Autoregressive Transformers for Low-Data Molecule Optimization

导读

研究提出 PairIT 框架,基于自回归 Transformer 在 SMILES 序列上学习结构相似分子对以实现种子分子生成,并通过 prompt token 指定属性、方向与变化幅度支持多属性优化,必要时可结合强化学习后训练。

深度解读

发生了什么

arXiv 两天前挂出的预印本(未经同行评议)提出 PairIT,一个在 SMILES 序列上训练自回归 Transformer 的框架,用结构相似分子对教会模型对给定种子分子做局部、化学上有意义的编辑以改进其性质[1]。推理时用提示 token 指定目标性质、改动方向和大约幅度,多个 token 拼接即可做多性质优化;对配对监督不够用的性质还能叠加强化学习后训练,在贴近种子分子与优化目标之间留出可调的权衡。框架支持大数据集预训练加小数据微调,作者在 MoleculeNet 和 Therapeutics Data Commons 上实证:经恰当的配对数据整理,一个 68M 参数的常规规模 Transformer 就能在低数据条件下完成稳健的种子式分子优化。他们还意外发现预训练数据规模存在收益递减。

为什么重要

分子生成的落地难点不在从零设计,而在以已有分子为起点、多性质同时优化、且实验标注数据稀少的场景,这篇论文正面处理的就是这个问题。收益递减加小模型够用的结论,冲击了堆数据、堆参数的默认打法,说明配对数据的整理方式可能比数据量更关键,这对算力和标注数据都有限的工业界先导优化项目是可直接照搬的配方:预训练加小数据微调、提示 token 控制方向和幅度、强化学习后训练调权衡。据报道作者自己把贡献概括为一套在小型实验标注数据集上做种子优化的、经验验证的低算力配方[2]。

还缺什么

摘要没给关键细节:配对数据具体怎么筛选、在哪些性质上跟哪些基线比、具体指标数值、收益递减从多大规模开始、强化学习的奖励设计与算力开销,都要读正文确认。生成分子的新颖性、合成可行性与对种子分子的结构改动幅度如何量化,摘要也未披露。另外论文尚未过同行评议,据报道已出现在 OpenReview 和 ICML 的页面上[2][3],后续看评审意见、是否被会议收录以及代码和数据是否开源,均待确认。

来源:AI × 生物医药 · arxiv.org

CBACBA Frontier Insights (CFI)美国华人生物医药科技协会(CBA)www.cba-usa.org