急诊大型语言模型临床决策支持系统前瞻性评估显示四周内采用率下降
Prospective evaluation of a large language model clinical decision support system in the emergency department
一项在三级急诊科开展的大型语言模型临床决策支持系统前瞻性试点研究显示,系统可安全整合,但四周内临床采用率持续下滑。该研究由Nature Medicine在线发表,DOI:10.1038/s41591-026-04601-5。
过去几年,大语言模型的临床能力已在线上评测中被反复检验:Flan-PaLM在MedQA上取得67.6%的准确率,较此前最佳水平提升逾17个百分点[2];ChatGPT回答标准化病例的总体准确率为71.7%[3]。然而贴近真实场景的评估并不乐观——基于一万例急诊就诊记录的研究显示,GPT-4-turbo与GPT-3.5-turbo给出的临床建议平均比住院医师分别低8%和24%,且普遍过于保守[5];在模拟真实诊疗环境的数据集上,模型诊断明显差于医师、既不遵循诊断也不遵循治疗指南、难以嵌入既有工作流程[4]。综述对本领域的概括是“令人印象深刻但参差不齐”[1],而研究者自己也指出,急诊科AI决策支持的前瞻性证据仍然有限[7]。
这项2026年8月19日在线发表于Nature Medicine的研究,正是把LLM临床决策支持系统前瞻性地放进真实急诊环境:在一家三级医院急诊科开展的先导性实施研究。注册信息显示,研究在以色列海法的Rambam Health Care Campus进行,注册号NCT06902675[8],并按DECIDE-AI第一阶段规范报告[9]。据报道,该系统名为SHAKED,并非给基础模型套一个对话窗口,其扩展数据描述的是一条事件驱动的处理管线[10]。4周的观察得出一好一坏两个结论:系统实现了安全整合;但临床采纳率持续稳步下降。
从领域认识的角度看,这项工作把问题从“模型行不行”推进到了“系统用不用”。此前证据多来自考试基准、病例测试和回顾性数据[2][3][5],本研究则表明,即便安全落地这一技术门槛得以跨过,医生的持续使用本身成为新的瓶颈。这一瓶颈也并非AI独有:一家教学医院将电子病历中的会诊下单与寻呼整合后6个月,新流程使用率也只有25%[6],说明急诊环境中的采纳障碍由来已久。
当然,作为单中心、为期4周的先导研究,它尚不能回答采纳率为何逐周走低——是新鲜感消退、工作流摩擦还是信任问题,摘要未给出解释;安全整合能否转化为可测量的患者获益、下降趋势在更长时间里会否延续,也都有待后续更大规模的验证。
- 1.Large language models in medicine · Nat Med 2023
- 2.Large language models encode clinical knowledge · Nature 2023
- 3.Assessing the Utility of ChatGPT Throughout the Entire Clinical Workflow: Development and Usability Study · J Med Internet Res 2023
- 4.Evaluation and mitigation of the limitations of large language models in clinical decision-making · Nat Med 2024
- 5.Evaluating the use of large language models to provide clinical recommendations in the Emergency Department · Nat Commun 2024
- 6.Improvements to emergency department length of stay and user satisfaction after implementation of an integrated consult order · J Am Coll Emerg Physicians Open 2023
- 7.Prospective evaluation of a large language model clinical · nature.com 2026
- 8.Study Details | NCT06902675 | Artificial Intelligence as a · clinicaltrials.gov 2026
- 9.Prospective evaluation of a large language model clinical · pubmed.ncbi.nlm.nih.gov 2026
- 10.An ER AI was rated appropriate in 99 of 100 outputs. Doctors still · thegoodsignal.com 2026
来源:文献与产业新闻 · nature.com