自主智能体 AI 自主性中的缺失环节
The missing links in agentic AI autonomy.
一项新研究采用本地部署的智能体与基于一致性的 gating 机制,应对自主智能体 AI 在临床中的操作性与决策性信任,将不确定病例转交人工。但转交后的处置流程尚未经过测试,被认为是当前自主智能体 AI 自主性中的关键缺口,相关 News & Views 发表于 Nature Medicine。
基于大语言模型的医疗智能体已经能够规划任务、调用外部工具、执行多步临床流程并整合多源数据,但学界对其真实表现、乃至多智能体架构是否优于单一智能体,系统性证据仍然有限[3];与此同时,临床AI的落地长期卡在治理与评估两端——此前的共识性工作强调可信度、偏见与安全挑战,却明确指出针对透明度、性能监测和不良事件报告的部署前后评估方法学尚未建立[1]。换言之,智能体"做得对不对"与"该让它自主到什么程度",是两个悬而未决又彼此纠缠的问题。
2026年10月2日《自然·医学》刊出的这篇News & Views,将其所评论的研究[2]放进上述语境,概括为一次同时回应"操作性信任"与"决策性信任"的尝试。该研究构建了完全本地部署的临床智能体,把机构层面的本地运行控制与多视角可靠性框架结合,以支持"选择性自主":在两个源自MIMIC-IV的基准上,七病种任务准确率达90.04%,四病种任务为83.8%,并在主要基准上接近云端基线;针对决策时的不确定性,研究量化了内部似然、语言与行为稳定性等指标,其中诊断行为一致性对判断结论正确与否的判别力最强(AUC为0.860),压力测试下依然有效(AUC为0.875),并据此通过一致性门控把不确定病例转交人工处理。
在评论作者看来,这项工作的推进之处在于把以往分头讨论的两条线索接了起来:本地部署回应了关于部署规则与持续监督的呼吁[1],一致性门控则为"何时应把决定权交还给人"提供了可量化、可操作的机制,而不再停留于对智能体性能的汇总与比较[3]——从"全能自主"转向了有选择的自主。
不过,评论的标题本身就点明了剩余缺口:转诊之后发生了什么,尚无人检验。门控触发后,被转出的病例如何经人工裁决、这一环节能否真正改善临床结局,均未经测试;从一致性门控到临床最终解决(该文图1的主题),最后一环仍有待真实临床环境的验证。
- 1.Toward a responsible future: recommendations for AI-enabled clinical decision support · J Am Med Inform Assoc 2024
- 2.On-premise medical AI agents for reliable clinical decision-making · Nat Med 2026
- 3.AI Agents in Clinical Medicine: A Systematic Review · 2025
来源:顶刊论文(社媒热度) · doi.org