沉浸式视觉注意力与任务绩效：新数据集与神经网络模型

"沉浸式视觉注意力的影响与任务绩效相关: 新数据和功能的研究可能揭示任务执行过程背后的决策" 本文深入探讨了沉浸式视觉注意力在任务执行中的重要性，特别是其与任务绩效之间的关联。传统的视觉注意力研究往往集中于有限视野内的自下而上注意力，而现实生活中人们更常面临具身的视觉任务，这些任务由于信息过载，对注意力的需求更为迫切。然而，对于这些任务中注意力如何影响绩效的研究相对较少。 作者们为填补这一研究空白，构建了第一个关于沉浸式场景中自上而下注意力的数据集——沉浸式问题导向视觉注意力（IQVA）数据集。这个数据集记录了参与者在头戴式显示器（HMD）中观看360°视频时的视觉注意力以及对应的任务表现，包括975个问题和答案。通过对这些数据的分析，研究人员发现，人们的任务表现确实与他们的目光聚焦有显著关联。 基于这些发现，研究者开发了一个神经网络模型，该模型能编码正确和错误的注意力差异，并同时预测这两者。提出的注意力模型首次考虑了答案的正确性，使得模型能够区分出任务中的关键区域和可能的干扰因素。这一创新性的模型输出可以为未来的任务提供指导，利用注意力和答案的正确性，有助于优化智能视觉系统的性能。 此外，新数据集和模型功能的提出将开启新的研究方向，进一步揭示在执行各种任务时的决策过程。图1展示了正确的注意力（第一行）和不正确的注意力（第二行）如何影响任务完成，更亮的等高线表示更高的凝视密度，表明了视觉关注的集中程度。 过去的研究多聚焦于静态图像和常规视频中的注意力预测，但受限于视场和观察方式，难以应用于解决实际问题。因此，这项工作强调了聚合人类注意力模式的重要性，以了解在特定任务中应关注或避免的视觉特征，这对于构建更加智能的视觉系统具有重要意义。 本文通过提出新的数据集和模型，推动了对沉浸式环境中视觉注意力的理解，为未来在复杂任务执行中优化注意力分配策略提供了理论基础和实证支持。这一领域的发展有望对人机交互、虚拟现实、人工智能等领域产生深远影响。