GPN沿类人眼动路径预测下一视觉特征,形成与人类视觉皮层对齐的场景表征
Predicting upcoming visual features during eye movements yields scene representations aligned with human visual cortex.
glimpse prediction networks(GPNs)通过沿类人扫描路径预测下一瞥的嵌入,提取物体共现和空间排列等复杂场景信息,并整合跨瞥取的信息。
自然场景由物体、表面与背景组成,人类视觉系统不仅识别其中有什么,还把握它们的空间与语义关系。神经影像研究早已定位出对场景选择性反应的脑区——海马旁位置区、压后复合体和枕叶位置区,它们既具视网膜拓扑特性,也承载布局、物体与表面属性等较高级表征 [1];其中 PPA 对含局部空间布局信息的刺激反应最强,即使场景中没有离散物体 [2];海马旁皮层与压后皮层还共同介导空间与非空间的情境关联加工 [3]。在计算理论一侧,预测编码提出高级脑区向低级区传递预测、前向通路传递预测误差,可解释多种感受野外效应 [5]。模型与脑的对齐研究同样进展迅速:NSD 大规模 fMRI 数据集让训练能预测脑活动的深度模型成为可能 [4],语言模型的场景描述嵌入也能刻画高级视觉皮层的反应 [7];但大规模对照比较显示,架构与任务目标差异的影响有限,训练数据的影响反而最大,且许多模型预测精度相近,提示常用的模型—大脑关联方法可能过于灵活 [6]。卡住的问题在于:视觉系统究竟通过何种自监督机制学会物体共现与空间排列这类场景结构,仍缺少一个生物学上可信的解释。
新论文从主动视觉切入给出方案。自然视觉固有的时间规律是:每次注视只呈现局部一瞥,相邻一瞥之间通过物体共现与受眼跳制约的空间规律相互关联。作者据此提出 glimpse prediction networks(GPNs)——一类循环网络模型,沿人类样扫描路径训练,任务只有一个:预测下一瞥的嵌入表示。
结果显示,仅凭这一预测目标,GPN 便成功提取了复杂场景信息,包括物体共现与空间物体排列,并能跨一瞥整合信息;其表征与人类中、高级视觉皮层的 fMRI 反应高度对齐,在与多种最先进 ANN 模型的比较中持平、且常常更优。
这一步的推进在于把预测编码思想 [5] 与真实的眼动采样结合起来,与主动预测编码所倡导的感知—行动统一视角 [8] 相呼应,说明“预测下一瞥”本身即可成为通往脑对齐场景表征的一条路径,为场景区域信息加工的计算建模 [1] 提供了具体候选,也与依赖标注数据或语言嵌入的对齐路线 [7] 形成对照。当然,鉴于 [6] 对方法灵活性的质疑,GPN 的对齐优势仍需更严格的受控检验;其训练依赖人类扫描路径,真实视觉系统如何在发育中自发形成这种采样与预测策略,以及它与 PPA、压后皮层所承载的布局与情境加工 [2][3] 如何对应,都还是尚未解决的问题。
- 1.Scene Perception in the Human Brain · Annu Rev Vis Sci 2019
- 2.A cortical representation of the local visual environment · Nature 1998
- 3.Cortical analysis of visual context · Neuron 2003
- 4.A massive 7T fMRI dataset to bridge cognitive neuroscience and artificial intelligence · Nat Neurosci 2022
- 5.Predictive coding in the visual cortex: a functional interpretation of some extra-classical receptive-field effects · Nat Neurosci 1999
- 6.A large-scale examination of inductive biases shaping high-level visual representation in brains and machines · Nat Commun 2024
- 7.High-level visual representations in the human brain are aligned with large language models · Nat Mach Intell 2025
- 8.Active Predictive Coding: A Unifying Neural Model for Active Perception, Compositional Learning, and Hierarchical Planning · Neural Comput 2023
来源:顶刊论文(社媒热度) · doi.org
