跳到正文
原文
AI × 生物医药· arXiv · cs.CL·· 3 小时前评分63

MEDIATOR:面向词表无关电子病历建模的离散神经中介表示

Discrete Neural Interlingua for Ontology-Agnostic EHR Modeling

导读

MEDIATOR 是一种将任意临床概念文本映射到共享向量量化码本的词表无关离散分词器,无需手工映射或固定词表。该分词器在 MIMIC-III 20 项任务上将平均 AUPRC 较此前最强分词器提升 4.0 个百分点,在 eICU 14 项任务零样本迁移中提升 8.6 个百分点并可利用全部事件。控制实验显示文本编码器主导同域精度,离散化目标主导迁移鲁棒性。

深度解读

深度学习处理EHR的预测能力早已得到验证:把患者全量原始病历统一为FHIR格式后,深度模型无需站点特定的数据整合即可跨中心预测住院死亡、非计划再入院等事件[1]。但“格式统一”不等于“概念统一”——同一临床概念在不同系统中会以不同本体编码、本地标识、同义词或自由文本出现,而概念规范化长期依赖人工标注语料与词典映射[2]。近年工作试图缓解这一摩擦:在HPO语料上微调开源大模型可将罕见病表型术语对齐到标准ID,且把同义词纳入训练能明显提升对错拼等扰动的鲁棒性[3];CODER则利用UMLS知识图谱的术语与关系三元组做对比学习,把医学知识注入术语嵌入以支持零样本术语规范化[5];社交媒体场景同样显示,口语化症状表达要经“识别—归并—映射”流水线才能落到UMLS概念上[4]。这些方案有个共同前提:存在一个目标词表或本体。

这篇论文(arXiv预印本,未经同行评议,作者为Tong Ding、Caiwei Tian等[6])正是要拆掉这个前提。它先给出一个量化痛点:在MIMIC-III上用闭集词表分词器训练的模型,只能用到eICU中13%的事件。作者提出的MEDIATOR是一个本体无关的离散分词器,把任何以文本形式出现的临床概念映射进共享的向量量化码本,从而把EHR概念统一变成开放词表的tokenization,不需要人工映射,也不需要固定词表。其训练信号包括同义监督、富化的概念描述、码元共现与关系图。作为EHR Transformer的token接口,MEDIATOR在20个MIMIC-III任务上把平均AUPRC较此前最强分词器提高4.0分(相对8%),零样本迁移到14个eICU任务时提高8.6分(相对29%),且能使用全部事件;即便在完全相同的输入下,它在操作性任务与亚组死亡任务上仍分别领先1.0和1.9分,说明迁移收益同时来自覆盖面与表示质量。

同编码器对照进一步把问题拆开:域内精度主要由文本编码器驱动,而MEDIATOR自身的学习目标才决定迁移鲁棒性与实体链接质量。相较于已有认识,这一步的推进在于:此前工作要么在记录层面统一数据格式[1],要么把术语规范化到MeSH、HPO、UMLS这类固定词表或本体[2][3][5],MEDIATOR则把统一动作搬进分词器的离散潜在空间——等价表达塌缩到同一码元,不同概念按医学语义排布,并使跨医院的归因可迁移。

需要保留的审慎是:这是未经同行评议的预印本,证据目前限于MIMIC-III与eICU两个ICU数据库上的回顾性任务;码本对真正未见过的概念、非英语表达或非文本模态如何表现,摘要并未给出答案,这些仍是悬而未决的问题。

来源:AI × 生物医药 · arxiv.org

CBACBA Frontier Insights (CFI)美国华人生物医药科技协会(CBA)www.cba-usa.org