跳到正文
原文
bioRxiv Genomics· Yang, X., QIN, C., Wang, F., He, B., Zhao, Y., Wu, J., Zhang, Y., Yao, J. ·· 1 天前评分40

USM-AA:面向长程 DNA 建模的对齐感知基因组坐标编码方法

Alignment-Aware Genomic Coordinate Encoding for Long-Range DNA Modeling

导读

研究人员提出对齐感知基因组基础模型 USM-AA,在多项长程 DNA 建模下游任务中持续优于已有模型。该模型通过非连续位置编码、Alignment-Aware Rotary Position Embedding 及整合染色体、链与 CIGAR 信息的对齐嵌入模块引入参考基因组坐标,并采用反向互补掩码学习策略。模型在跨物种进化与人类群体变异数据上预训练,凸显对齐感知表征对基因组序列建模的重要性。

深度解读

仅凭 DNA 序列预测基因调控活性,一直是计算基因组学的核心目标。早在卷积神经网络时代,研究者已能从序列出发预测细胞类型特异的表观遗传与转录谱,并借此识别启动子和远端调控元件、合成调控信息以预测基因表达 [1];此后的群体规模分析进一步表明,人类基因组中数以万计的常见变异可直接改变体内转录因子占据与调控区可及性 [2],凸显了调控功能对上下文的依赖。近年来,基因组基础模型发展迅猛:Nucleotide Transformer 整合 3,202 个人类基因组和 850 个多物种基因组,在低数据量场景下也能给出准确的序列表示 [4];Evo 在数百万原核与噬菌体基因组上训练,实现从分子到基因组尺度的预测与生成 [3];Evo 2 更以 9 万亿碱基对的训练数据和百万 token 的上下文窗口覆盖所有生命域 [5]。然而,正如新论文指出的,这些模型擅长捕捉局部、顺序性的依赖,对稀疏 motif 和超出线性邻近范围的远端调控元件建模效率不高,且标准位置编码未能充分利用参考基因组的坐标系统。

针对这一瓶颈,作者提出比对感知的基因组基础模型 USM-AA。其设计包含三个关键部件:通过非连续位置编码与 Alignment-Aware Rotary Position Embedding 引入参考基因组坐标;用对齐嵌入模块显式编码染色体、链方向以及 CIGAR(Compact Idiosyncratic Gapped Alignment Report)比对信息;再辅以反向互补掩码学习策略来改善长程序列建模。模型在横跨物种进化与人类群体变异的比对感知序列上完成预训练,并在多个下游任务上持续优于现有模型,说明比对感知的表示对基因组序列建模确有价值。

相对已有认识,这一工作的推进在于把此前被当作一维字符串对待的 DNA 序列 [3][4],与其在参考基因组中的坐标和比对结构直接绑定:模型不再只依赖线性邻近关系,而是能利用染色体、链和比对信息这类先验,为跨越线性距离捕捉调控关系提供了新的建模范式,与以往依赖局部卷积合成启动子与远端元件信息的思路 [1] 形成了互补。

当然,作为预印本,其结论尚待同行评审与独立数据验证;摘要未给出具体任务设置、参数规模或训练数据量等细节,跨物种比对质量与人群结构对“比对感知”表示的影响也有待进一步拆解,远端调控建模能力的提升是否来自坐标捷径仍是后续需要回答的问题。

来源:bioRxiv Genomics · biorxiv.org

CBACBA Frontier Insights (CFI)美国华人生物医药科技协会(CBA)www.cba-usa.org