急诊科大语言模型临床决策支持系统 SHAKED 的前瞻性评估
Prospective evaluation of a large language model clinical decision support system in the emergency department.
基于多款大语言模型的急诊科决策支持系统 SHAKED 在 4 周前瞻性评估中(1138 例)临床采纳率从 68% 降至 30%,与每班次工时延长驱动的医生脱离使用相关(OR=0.72,95% CI 0.62–0.83)。
过去几年,大语言模型的临床能力已在线上评测中被反复检验:Flan-PaLM在MedQA上取得67.6%的准确率,较此前最佳水平提升逾17个百分点[2];ChatGPT回答标准化病例的总体准确率为71.7%[3]。然而贴近真实场景的评估并不乐观——基于一万例急诊就诊记录的研究显示,GPT-4-turbo与GPT-3.5-turbo给出的临床建议平均比住院医师分别低8%和24%,且普遍过于保守[5];在模拟真实诊疗环境的数据集上,模型诊断明显差于医师、既不遵循诊断也不遵循治疗指南、难以嵌入既有工作流程[4]。综述对本领域的概括是“令人印象深刻但参差不齐”[1],而研究者自己也指出,急诊科AI决策支持的前瞻性证据仍然有限[7]。
这项2026年8月19日在线发表于Nature Medicine的研究,正是把LLM临床决策支持系统前瞻性地放进真实急诊环境:在一家三级医院急诊科开展的先导性实施研究。注册信息显示,研究在以色列海法的Rambam Health Care Campus进行,注册号NCT06902675[8],并按DECIDE-AI第一阶段规范报告[9]。据报道,该系统名为SHAKED,并非给基础模型套一个对话窗口,其扩展数据描述的是一条事件驱动的处理管线[10]。4周的观察得出一好一坏两个结论:系统实现了安全整合;但临床采纳率持续稳步下降。
从领域认识的角度看,这项工作把问题从“模型行不行”推进到了“系统用不用”。此前证据多来自考试基准、病例测试和回顾性数据[2][3][5],本研究则表明,即便安全落地这一技术门槛得以跨过,医生的持续使用本身成为新的瓶颈。这一瓶颈也并非AI独有:一家教学医院将电子病历中的会诊下单与寻呼整合后6个月,新流程使用率也只有25%[6],说明急诊环境中的采纳障碍由来已久。
当然,作为单中心、为期4周的先导研究,它尚不能回答采纳率为何逐周走低——是新鲜感消退、工作流摩擦还是信任问题,摘要未给出解释;安全整合能否转化为可测量的患者获益、下降趋势在更长时间里会否延续,也都有待后续更大规模的验证。
- 1.Large language models in medicine · Nat Med 2023
- 2.Large language models encode clinical knowledge · Nature 2023
- 3.Assessing the Utility of ChatGPT Throughout the Entire Clinical Workflow: Development and Usability Study · J Med Internet Res 2023
- 4.Evaluation and mitigation of the limitations of large language models in clinical decision-making · Nat Med 2024
- 5.Evaluating the use of large language models to provide clinical recommendations in the Emergency Department · Nat Commun 2024
- 6.Improvements to emergency department length of stay and user satisfaction after implementation of an integrated consult order · J Am Coll Emerg Physicians Open 2023
- 7.Prospective evaluation of a large language model clinical · nature.com 2026
- 8.Study Details | NCT06902675 | Artificial Intelligence as a · clinicaltrials.gov 2026
- 9.Prospective evaluation of a large language model clinical · pubmed.ncbi.nlm.nih.gov 2026
- 10.An ER AI was rated appropriate in 99 of 100 outputs. Doctors still · thegoodsignal.com 2026
来源:顶刊论文(社媒热度) · doi.org