单眼视频中的人眼追踪技术：推断3D注视点与场景理解

"本文介绍了一种名为‘多凝视’的方法，通过分析单眼视频中的注视行为来推断场景中的3D位置。该方法利用交叉凝视原理，即通过观察个体的视线方向来推测他们关注的3D目标，类似于多摄像头视角的效果。此技术能够推断出那些未直接出现在相机视野中的物体位置，这对于场景理解具有重要意义。 文章提出一个贝叶斯生成模型，用于同时估计相机参数、人物位置、视线方向以及他们所关注的对象。在模型中，还要考虑场景中的人数和引起注意力的额外物体数量，这些都是未知但需要推理的变量。为了实现这个复杂的联合推理过程，作者采用了概率数据关联方法，结合马尔可夫链蒙特卡洛（MCMC）算法和大都会拉普拉斯近似，以及哈密顿（混合）蒙特卡罗最大化来处理离散和连续参数的边缘化。 由于现有的数据集缺乏关于人们注视的3D位置信息，作者创建了一个新的小型数据集。在该数据集上，该方法能够以59%的准确率推断出人们正在看什么，显著优于基线方法的13%，并且还能精确到0.58米内的物体位置。 关键词涵盖了三维场景理解、三维凝视估计、单目视频处理、目标检测、MCMC以及模型选择。文章指出，观察人与环境的互动可以揭示3D结构信息，这对各种应用，如自动化监控、人机交互等，都有潜在的价值。例如，可以利用这种技术来减少操作员的工作负担，提高工作效率。" 在介绍部分，作者强调了观察人类行为在计算机视觉领域的应用，如功能理解、地面平面检测以及3D表示对于人-物交互的理解。通过这种方法，不仅能够理解当前时刻的交互，还可以追踪历史交互，如图1所示，人物的Z坐标变化揭示了他们在不同时间点的位置。这种方法的创新之处在于，即使物体不在直接视线内，也能通过人们的凝视行为推断出它们的存在和位置，这对于增强现实、虚拟现实以及机器人导航等领域有潜在的应用价值。