自监督三维医学视觉基础模型与迁移性估计的基准评测

三维医学影像分析从卷积神经网络起步，分割、分类、检测等方向积累深厚^[1]。早期迁移学习多借用自然图像的二维权重，但把 CT、MRI 任务压平成二维会损失三维解剖信息，Models Genesis 由此提出自监督的三维通用预训练，证明其优于从头训练与二维迁移^[2][3]。此后三维基础模型加速涌现：面向神经影像分割的两阶段视觉 Transformer 预训练^[4]、以多尺度掩码重建为核心的 MiM^[6]，架构、目标与数据各异；半监督一侧的观察还提示，体素级分割对局部表征的依赖不同于分类对全局表征的需求^[5]。卡点随之而来：各家评测用的数据集、终点和微调协议互不相同，结论缺乏直接可比性，而要在新任务上真正比较候选模型，只能逐个在有标注数据上微调，算力开销巨大。

这篇未经同行评议的 arXiv 预印本把 23 个候选模型放进同一框架，在覆盖多解剖部位、多模态的 14 个分割、分类与回归任务上评测。没有任何模型能在全部分割任务或全部分类回归任务上稳定进入前三；同一预训练目标下，卷积编码器与 Transformer 在不同任务上互有胜负。作者再用微调后的真实排名检验各类迁移性估计方法，发现其一致性随任务类型而变，进而提出 InsightRank：以与任务匹配的冻结特征统计量和架构感知的成对比较，在微调前给候选排序。它在 23 个模型池上的平均 Kendall tau-b 达到分割 0.431、分类与回归 0.352，整体排名一致性优于匹配的传统估计器；分割任务的前三名在九个任务中的四个里含最终赢家，而图像级任务的前三名在五个任务中一个也未命中。以三模型短名单替代全量微调，在七个分割任务上把特征提取加训练的作业时间压缩了 85.8%。

这项工作把分散证据放上了同一把尺子，说明模型选择没有普适答案、须按任务类型权衡，并给出一条微调前低成本筛候选的路径；其“按任务选统计量”的设计，也呼应了分割依赖局部表征、分类更依赖全局表征的既有观察^[5]。同类问题正被多方逼近：2025 年的同行评审研究已构建针对基础模型迁移学习策略稳健性与效率的结构化基准^[7]，另有预印本提出拓扑驱动的非参数框架，对三维医学影像做迁移性估计^[8]。

局限同样清楚：估计器在图像级任务上排名相关性更好，却从未把任务赢家收进前三，“排序相近”与“找到最优”仍有距离；且 2026 年的另一项分析显示，目标数据集的微小改动即可改变迁移性排名，评价指标的选择本身也会影响结论^[9]。究竟是什么决定一个三维基础模型向特定任务的迁移能力，仍是悬而未决的问题。