探索还是确认？LLM 代理在含噪实验中错配测量预算
Explore or Confirm? LLM Agents Misallocate Measurements Under Noise
作者提出 Wellocate 基准，在生成景观和 GB1、PhoQ 两组真实蛋白数据上测试五款语言模型代理在固定测量预算下的探索与确认分配行为。结果显示三款过度确认、生成景观上一款过度信任单次读数；给前者一张未试候选清单可在真实蛋白数据上明显改善两款模型的最终选择，把复测推到终轮只能挽回约四分之一选错损失。
发生了什么
arXiv 上一篇未经同行评议的预印本发布了 Wellocate：一个真值已知的模拟测定 campaign，由一个生成景观加两个打乱处理的真实蛋白数据集（GB1、PhoQ）构成，模型无法靠记忆答对，并配套冻结切分、脚本基线，以基准和强化学习环境形式开源在 GitHub。作者用五个大语言模型做最小 agent，不给工具、不给跨轮记忆，让它们在固定预算下决定测新候选还是复测旧候选。结果是双向失配：三个模型过度确认，把大部分预算花在复测上；在生成景观上另有一个模型信任单次读数、确认不足，而且在生成景观上所有模型的最终选择都不如一个基础脚本策略。
为什么重要
当推理越来越便宜，物理实验成了发现流程里最慢最贵的一环，这篇论文回答了一个悬而未决的问题：LLM agent 在有噪声的读数面前到底怎么分探索和确认的预算，而在此之前没有公开的办法去量这件事。它把两种失败的原因拆开了——过度确认者缺的是哪些候选还没试的信息，给一份未试清单就能减少复测，其中两个模型在真实蛋白数据上选得好得多；而确认不足者只在最后一轮补测，只能挽回约四分之一的损失，说明确认必须贯穿整个 campaign。对做自动化实验和 AI 制药的人来说，价值在于可以在把 agent 交给真实实验之前，先用这个环境量化它的预算分配，同时结果表明运行摘要或景观描述这类 prompt 补丁最多改变五个百分点，不是出路。
还缺什么
材料没有披露五个模型的具体名称、预算规模、噪声设定和绝对成绩，也没给出两个模型选得好多少的幅度，均待确认。最关键的是，用 Wellocate 通过强化学习训出的 agent 是否真能比脚本基线分得更好，材料只给了环境没给结果，这是需要读出的数据。此外这是预印本，能否过同行评议、结论能否迁移到真实湿实验，都待确认；下一步可看 GitHub 上基线的复现情况和后续训练结果。
Wellocate 把五款语言模型代理在生成景观和 GB1、PhoQ 两组蛋白数据上的测量分配偏差固化为可复现读数。
来源：AI × 生物医药 · arxiv.org