跳到正文
原文
AI × 生物医药(arXiv / AIHOT)· arXiv · cs.LG·· 2 小时前评分41

QLoRA 与 4 比特量化在蛋白质语言模型适配中的分析

Analysis of Quantized and Efficiently Adapted Protein Language Models

导读

研究在 ESM-2、ESMC、ProtBERT、ProtT5、Ankh、Ankh3、Profluent-E1 等蛋白质语言模型上评估 QLoRA 与 4 比特量化效果:多数模型-任务对保留全参数微调 90% 以上性能,最大模型 GPU 显存节省近 90%。

来源:AI × 生物医药(arXiv / AIHOT) · arxiv.org

CBACBA Frontier Insights (CFI)美国华人生物医药科技协会(CBA)www.cba-usa.org