MIPS：缓解大结果空间强化学习中的模式坍缩
MIPS: Mitigating Mode Collapse in Reinforcement Learning for Large Outcome Spaces
针对大结果空间强化学习的模式坍缩问题，MIPS（Marginal IPS）通过将采样轨迹与轨迹学习模型做边际估计，替代基于频率的 IPS。在 Hypergrid 任务中，结果空间相对采样组增大时 MIPS 仍逼近奖励分布目标，基于频率的 IPS 退化；在分子合成与系统发育推断任务中，GRPO 与频率 IPS 出现模式坍缩时，MIPS 仍维持多样化高质量采样。
发生了什么
该论文提出边际逆概率缩放（MIPS）以缓解大结果空间中强化学习的模式崩塌问题。期望奖励最大化会将概率质量集中在少数结果上，而基于组的策略梯度（如GRPO）中的逆概率缩放（IPS）通过将奖励除以组内频率估计的结果概率来对抗此现象。当结果空间相对于采样组较大时，频率估计变得无信息量；MIPS 通过将采样轨迹与通向各结果的轨迹学习模型相结合，执行边际评估。在可计算精确采样分布的超网格实验中，随结果空间增长，MIPS 保持接近奖励分布目标，而基于频率的 IPS 性能下降。在分子合成和系统发育推断任务中，MIPS 能维持多样且高质量的采样，而 GRPO 和基于频率的 IPS 发生崩塌。
为什么重要
这项工作解决了强化学习在需要多样化高质量解的生成任务（如药物分子设计、系统发育推断）中长期存在的模式崩塌难题。通过引入边际评估和学习轨迹模型，MIPS 在结果空间大幅扩大时仍能保持采样多样性，为基于强化学习的大空间生成任务提供了更可靠的算法基础，可能提升 AI 制药等领域的候选物生成质量与覆盖面。
还缺什么
论文为 arXiv 预印本，尚未经同行评审；实验细节、学习轨迹模型的计算开销、超参数设置及代码可用性未在材料中披露。与其他缓解模式崩塌方法的直接对比、在真实药物发现流程中的部署效果、以及在更多生物医药任务上的泛化性能均待后续研究验证。
来源：AI × 生物医药 · arxiv.org