2020虚拟现实智能硬件研究综述

虚拟现实智能硬件2020年第2期引文：胡志明，李胜，孟盖。沉浸式虚拟实境中未来凝视预测之视觉注意时间连续性。虚拟现实智能硬件，2020，2（2）：142-152DOI：10.1016/j.vrih.2020.01.002·文章·沉浸式虚拟现实ZhimingHU1，ShenggLI1，2*，MengGAI1，21. 北京大学电子工程与计算机学院计算机科学与技术系，北京邮编：1008712. 北京大学虚拟仿真与可视化工程技术研究中心，北京100871*通讯作者，lisheng@pku.edu.cn投稿时间：2019年10月30日接收时间：2020年1月7日接受时间：2020年1月9日国家重点&研发计划（2017 YFB 0203000）和国家自然科学基金（61632003; 61661146002; 61631001）资助。摘要背景眼动跟踪技术在虚拟现实领域受到越来越多的关注。具体而言，未来的视线预测是至关重要的预计算的许多应用程序，如视线视情况渲染，广告投放，和基于内容的设计。为了探索未来注视预测，有必要分析沉浸式虚拟现实中视觉注意的时间连续性。方法提出了视觉注意时间连续性的概念。随后，提出了一种自相关函数方法来评估时间连续性。然后，在自由观看和任务导向两种情况下分析了时间连续性。 具体来说， 在自由观看条件下，对自由观看注视数据集的分析表明，时间连续性仅在短时间间隔内表现良好。建立了一个面向任务的游戏场景条件，并进行了用户的凝视数据收集。对所收集的注视数据的分析发现，时间连续性具有与自由观看条件相似的性能。时间连续性可以应用于未来的注视预测，并且如果时间连续性良好，则可以直接利用用户的当前注视位置来预测他们未来的注视位置。结论在自由观察和任务导向条件下进一步评估了当前注视的未来预测性能，发现当前注视可以有效地应用于短期未来注视预测任务。长期凝视预测的任务仍有待探索。时间连续性;视觉注意;自相关分析;注视预测;虚拟现实1引言眼动跟踪技术旨在跟踪用户的注视位置，并且在虚拟现实（VR）领域中具有许多重要应用，包括基于眼动的交互[1，2]、注视相关渲染[3，4]、注视行为分析[5- 7]和中央凹成像[8]。眼睛跟踪方法可以分为实时和未来的视线预测方法。目前，实时凝视预测的最常见解决方案是2096-5796/©版权所有2020北京中科学报出版有限公司Elsevier B. V.代表KeAi Communization Co. Ltd.提供的出版服务。这是CC BY-NC-ND许可证下的开放获取文章（http：//creativecommons.org/licenses/by/4.0/）。www.vr-ih.comZhiming HU et al：沉浸式虚拟现实中视觉注意力的时间连续性，用于未来凝视预测143基于眼动仪眼动仪是集成到头戴式设备[9]（HMD）中的硬件。除了眼动跟踪器之外，还提出了一种基于软件的解决方案，用于虚拟现实中的实时凝视预测[6]。然而，与实时凝视预测相比，未来凝视预测的工作有限。未来视线预测在许多应用（诸如视视线而定的渲染、广告投放和基于内容的推荐）的预计算中是至关重要的。为了探索未来凝视预测的主题，需要分析视觉注意的时间连续性。本文提出了沉浸式虚拟现实中视觉注意时间连续性的概念。时间连续性是指用户在屏幕上的注视位置序列的连续性和一致性。利用自相关函数（ACF）来评估时间连续性。如先前的工作[10，11]所揭示的，存在两种视觉注意机制：自上而下的机制和自下而上的机制。自顶向下机制下的视觉注意的时间连续性可能不同于自底向上机制。因此，在这两种机制下的时间连续性独立分析。具体而言，自由观看条件（自下而上的机制）和任务导向条件（自上而下的机制）进行了探索。自由观看条件：在自由观看条件下，通过计算用户凝视位置序列的ACF来执行自由观看凝视数据集的分析[6]（第4节），以评估时间连续性。结果发现，ACF仅在100ms内表现良好。ACF随着时间间隔的增加而显著恶化，当时间间隔大于700ms时，ACF变得非常小。任务导向条件：为了分析任务导向条件下视觉注意的时间连续性，创建了一个任务导向游戏场景，并进行了用户研究，收集了19名玩家的凝视数据（第5节）。使用收集的凝视数据分析时间连续性。任务导向条件下的ACF具有与自由观察条件下类似的特征。未来注视预测：进一步应用视觉注意的时间连续性进行未来注视预测。如果时间连续性良好，则可以直接采用用户的当前注视位置来预测他们未来的注视位置。结果发现，在自由观看（第4.3节）和面向任务的条件（第5.3节），当前凝视只能很好地进行短期凝视预测，不能有效地处理长期凝视预测。总体而言，本研究的贡献包括(1) 沉浸式虚拟现实中视觉注意时间连续性的概念及其评价方法。(2) 自由观看条件和任务导向条件下视觉注意的时间连续性(3) 时间连续性在未来注视预测中的应用及其性能评估。2相关工作本节简要概述了先前关于视觉注意力、视觉注意力的时间特征和凝视预测的工作。2.1视觉注意分析人类的视觉注意是视觉研究的一个活跃领域许多先前的工作表明，人类的视觉注意力是由两种机制控制的，自下而上和自上而下[10，11]。自下而上的机制是快速的，并且将注意力偏向于内容的显著区域，而自上而下的机制是缓慢的，并且它将人类视觉注意力引导到与任务相关的对象。这两种机制是相互独立的[12]。此外，水平和垂直的眼球运动被发现表现不同[13]。人类视觉注意力在虚拟现实领域也得到了研究，并有许多应用。Sitzmann等人发现当用户观看360度全景图像时存在赤道偏差，144虚拟现实智能硬件2020年第2期利用这种偏差来适应现有的显着性预测[14]。Hu等人揭示了用户的凝视位置与其头部旋转速度之间的线性相关性，并且他们进一步利用用户的头部运动来预测其实时凝视位置[6]。本文主要研究视觉注意的时间特性及其在未来注视预测中的应用。2.2视觉注意视觉注意的时间特性已经被许多研究者所研究。Henderson专注于现实世界场景感知过程中视觉注意力的时间特征[15]。他透露，在现实世界的场景观看过程中，平均固定时间约为330毫秒，尽管这个近似值存在很大的变化。研究发现，注视持续时间的长度受到场景的低级特征（如影响自下而上处理的亮度[16]）和影响自上而下处理的高级特征[17]的在虚拟现实领域，视觉注意的时间特性也得到了研究。Sitzmann等人揭示了虚拟现实中的观察者以两种不同的模式行为：“注意力”和“重新定向”[14]。注意模式是指观察者将注意力集中在某个区域的状态，而重定向模式是指观察者转移注意力的状态。Hu等人专注于自由观看条件下视觉注意的时间特征[6]。他们报告说，扫视，这是指快速眼球运动，很少发生在自由观看条件。在本文中，重点是沉浸式虚拟现实中的视觉注意的时间连续性。2.3注视预测视线预测是视觉研究领域的一个热点问题，已经提出了许多视线预测方法。一般来说，大多数现有的凝视预测方法都是基于自下而上的模型[18，19]，其专注于强度，颜色和方向等低级图像特征，或自上而下的模型[20，21]，其考虑特定任务和上下文等高级特征。此外，随着深度学习的最新进展，许多基于深度学习的凝视预测方法也被提出[22]。然而，在虚拟现实领域，很少有关于注视预测的工作。Sitzmann等人专注于360幅静态图像中的显着性[14]。他们进行了一项研究，收集了360张照片中用户的眼球跟踪数据，并提出了一种预测虚拟现实中显着性图的方法。Koulieris等人专注于面向任务的视频游戏中的凝视预测[23]。他们提出了一种基于机器学习的方法来预测用户在玩游戏时注视的对象类别Hu等人专注于自由观看条件下虚拟现实中的实时凝视预测[6]。他们提出了一种用于实时凝视预测的眼头协调模型。本文探讨了沉浸式虚拟现实中未来视线预测的可行性3视觉注意在这一节中，时间连续性的概念，包括其定义，重要性和应用。随后，一种方法来评估的时间连续性。3.1时间连续性的概念本研究将沉浸式虚拟现实中视觉注意的时间连续性定义为用户在屏幕上注视位置序列的连续性和一致性。笛卡尔坐标用于通过将原点设置为HMD屏幕的中心、从左到右定向X轴并且从下到上定向Y轴来如在先前的作品[6，24]中所使用的，用户的水平Zhiming HU et al：沉浸式虚拟现实中视觉注意力的时间连续性，用于未来凝视预测145不并且测量使用视角的垂直屏幕上注视位置，即，用户的线条之间的角度和HMD屏幕平面的法线方向。例如，如果用户注视HMD，屏幕中心，他在屏幕上的注视位置将是（0°，0°）。视觉注意的时间连续性对于未来注视预测是非常重要的。目前，眼动仪主要用于测量用户当前的视线位置，无法预测用户未来的视线位置。对于短期的未来注视预测，可能不需要开发新的眼动跟踪技术。然而，对于长期的未来注视预测，有必要提出准确的注视预测方法。分析视觉注意力的时间连续性可以帮助确定需要注视预测方法的时间间隔。如果用户的屏幕上注视位置具有良好的时间连续性，则可以直接采用用户的当前注视位置来预测他们未来的注视位置：xt0+ Δt=x t0，yt0+ Δt=y t0，（一）其中x g（t0）和y t0分别是当前水平和垂直注视位置; t0是当前时间; x g（t0+ Δt）和y g（t0+ Δt）分别是未来的水平和垂直注视位置; Δt是时间间隔。目标之一是确定Δ t的值，对于该值，等式1的预测性能是相当可观的。3.2时间连续性如果用户的注视位置具有良好的时间连续性，则他们当前的注视位置将与他们在不久的将来的注视位置高度相关。换言之，用户的注视位置序列具有自相关性。因此，为了评估时间连续性，通过估计注视位置序列与序列的延迟副本之间的相关性来计算用户的注视位置序列的ACF。具体地，使用Box等人所做的工作中提出的公式来计算用户的水平和垂直注视位置序列的ACF。【25】：R =1个K∑T-kyt-yt+k-，（2）c0Tt= 1其中，rk是yt的自相关函数，并且它位于范围[-1，1]内，其中一般来说，rk的绝对值为0.1被归类为小，0.3被归类为中等，0.5被归类为强，0.7被归类为高[26，27]。yt是水平或垂直注视位置序列，其自相关被分析;c0是yt的方差;T是yt中的凝视数据的数量，即，这是一个令人惊讶的过程，也是一个令人兴奋的过程。yt+K 是yt的延迟副本k是序列yt和序列yt+k。 例如，如果k= 10，则序列yt是（y1，y2，y3，在该计算中，k= 0，1，2， 由于在本研究中分析的注视位置序列是每10ms采样的，因此对于k= 0，1，2，.，100，yt和yt+k4自由观看条件在本节中，分析了自由观看条件下视觉注意的时间连续性。具体而言，执行自由观看凝视数据集[6]的分析。首先计算凝视位置序列的自相关函数以评估时间连续性。然后将时间连续性应用于未来视线预测，以评估其性能。虚拟现实智能硬件2020年第2期1464.1注视数据Hu等人最近研究了沉浸式虚拟现实中自由观看条件下的人类凝视行为，并建立了一个大型眼动跟踪数据集[6]，其中包含7个静态虚拟场景中60名参与者的自由观看凝视数据。在他们的数据收集过程中，每个参与者被要求在2种照明条件下探索2个场景，因此数据集总共包含240条数据。每一段数据都包含了参与者在场景中的连续探索数据，可以用来分析视觉注意的时间连续性。该数据集包含超过4000000个凝视位置，因此足够大，可以用于凝视行为分析。因此，为了简单起见，基于该数据集直接分析时间连续性。4.2时间连续性评价为了评估时间连续性，采用等式2来计算用户的注视位置序列的自相关函数。由于用户的水平和垂直凝视行为不同[13]，因此估计水平和垂直凝视位置序列的ACF。由于总共有240条数据，因此首先计算每条数据的ACF。然后确定240个ACF的平均值，并将平均ACF用作自由观看条件下用户注视位置序列的ACF。图1示出了水平和垂直自相关函数，其显示水平和垂直ACF都随着滞后时间的增加而减小。在100ms的范围内，水平ACF大于0.75，垂直ACF大于0.7。当滞后增加到400ms时，水平和垂直ACF的值都显著减小。水平ACF减小到约0.45，垂直ACF减小到约0.3。当滞后大于700ms时，ACF的值变得非常小。水平ACF减小到小于0.3，垂直ACF减小到小于0.15。图1自由观看条件下用户注视位置序列的水平（左）和垂直（右）自相关函数。上述分析揭示了自由观看条件下视觉注意的时间连续性特征.可以得出结论，时间连续性在短时间内（100 ms或更短）表现良好，当时间间隔增加时显著降低，并且在长时间后（700 ms或更长）变得非常弱。4.3未来凝视预测视觉注意的时间连续性的一个重要应用是未来注视预测。如果Zhiming HU et al：沉浸式虚拟现实中视觉注意力的时间连续性，用于未来凝视预测147如果时间连续性良好，则用户的当前注视位置可以直接用于预测他们未来的注视位置（等式1）。为了更好地评估注视位置预测的性能，设置了评估度量。具体地，角距离被用作评估度量，地面实况和预测的注视位置，即，用户的地面实况视线和预测的视线。角距离越小，预测误差越小，更好的表现。此外，在Hu等人的工作[6]中提出的两个基线，屏幕中心（中心基线），即（0°，0°），以及所有注视位置的平均值（平均基线），is（0.13μ m，-2.32μ m）作为本研究的基线。为了评估时间连续性对未来凝视预测的性能，该研究采用当前凝视位置、中心基线和平均基线来预测未来在50、100、150、 图2显示了预测结果。中心基线和均值基线在不同的预测时间保持相同的性能，因为它们是恒定的。目前的目光表明，一百毫秒其预测性能恶化 显著 与 的 增长预测时间在600 ms的预测时间，它的表现甚至比基线更差。上述结果表明，在自由观看条件下，菲古热E2 在自由观看条件下，电流计和基本传感器的功能表现良好。时间连续性可以显著提高短期注视预测的性能，但是它不能有效地处理长期注视预测。图3的左侧示出了在自由观看条件下用户的注视轨迹。菲古热E3用户的气体传感器处于紧急状态（左）和任务状态（右）。 绿色表示用户当前的注视位置;蓝色表示未来100 ms内的用户注视位置;绿色表示未来400 ms内的注视位置;红色表示未来700 ms内的注视位置。5面向任务的条件在本节中，视觉注意的时间连续性在面向任务的条件下进行了分析。人类虚拟现实智能硬件2020年第2期148面向任务的条件下的视觉注意力与自由观看条件下的视觉注意力的不同之处在于，用户的视觉注意力受到分配给他们的特定任务的影响。在虚拟现实中，游戏是非常常见的面向任务的应用程序。因此，为了分析时间连续性，创建面向任务的游戏场景来收集用户的注视数据。对数据进行自相关分析，以评估时间连续性，并测量时间连续性的未来注视预测性能。5.1注视数据为了探索面向任务的条件，创建了面向任务的游戏，并进行了用户研究以收集用户的凝视数据。Stimuli：使用Unity游戏引擎的游戏场景，随机放置动物，如ibex和鹿。动物是动态的，它们的动作由自己的动画控制。动物的路径是使用为这项研究开发的Unity脚本控制的，该脚本允许动物以随机的方式在场景中漫游。动物被用作游戏中的目标。这个游戏的快照在图4的左边展示。图4左：任务导向的游戏场景;右：实验设置。参与者：共有19名玩家（13名男性，6名女性，年龄18- 28岁）参与了用户研究。每个参与者都报告了正常或矫正至正常的视力。在他/她开始游戏之前，为每个玩家校准眼动仪。系统细节：在这项用户研究中，HTC Vive被用作HMD来显示游戏，Vive控制器用于用户交互。使用采样频率为100 Hz、精度为0.5Hz的7 invensun VR眼动仪采集用户的注视数据。游戏场景使用Unity游戏引擎创建。该平台的CPU 和GPU 分别是Intel（R）Core（TM ）i7- 8700@3.20GHz和NVIDIA GeForce RTX 2080 Ti。实验装置的快照如图4右侧所示。过程：玩家获得了一个Vive控制器来帮助他们传送到场景中。他们得到了一个魔杖，这是由Vive控制器控制，击中游戏中的目标，我。例如，那些动物他们击中的目标越多，得分就越高。目标一旦被击中就会消失。在开始游戏之前，每个玩家都有至少3分钟的时间来熟悉实验系统。参与者被要求参与游戏至少2分钟，在游戏期间，他们的凝视数据被收集用于以后的分析。凝视数据：19名玩家参与了游戏，因此总共有19个数据。每条数据包含至少12000个注视位置，总共约300000个注视位置。Zhiming HU et al：沉浸式虚拟现实中视觉注意力的时间连续性，用于未来凝视预测1495.2时间连续性评价为了评估时间连续性，通过利用等式2对用户研究中收集的注视数据进行自相关分析。计算19条数据的ACF，然后计算平均ACF。利用平均ACF作为用户在面向任务的条件下的注视位置序列的ACF。如图5所示，类似于自由观看条件下的ACF，面向任务条件下的ACF随着滞后时间的增加而减小。在水平方向和垂直方向上，在100 ms内，ACF值都比较高;随着滞后的增加，ACF值明显恶化;当滞后大于700 ms时，ACF值变得很小（水平ACF<0.3，垂直ACF 0.25）。图5在任务导向条件下用户注视位置序列的水平（左）和垂直（右）自相关函数。这一分析揭示了任务导向条件下视觉注意的时间连续性特征。时间连续性随着时间间隔的增加而降低。它在短时间间隔（100 ms或更短）内表现良好，如果时间间隔很大（700 ms或更长），则会严重恶化。5.3未来凝视预测基于游戏中收集的注视数据，还评估了角距离为作为评价指标，中心基线和平均基线用作研究基线。在这种情况下，Mean baseline是指所有凝视数据的平均值，即（4.88μ m，0.97μ m）。计算当前注视、中心基线和平均基线对未来50、100、150、图6示出了当前注视和基线的平均预测误差，并且示出了中心和平均基线的性能是恒定的。在100毫秒内，当前注视保持高精度然而，随着预测时间，当前注视的准确性恶化图6当前关注点和基线的未来预测任务导向条件下的性能。虚拟现实智能硬件2020年第2期150显著当预测时间大于700 ms时，当前凝视的表现比平均基线差。这些结果表明，时间连续性仅对短期凝视预测（100 ms或更少）有效。在图3的右侧示出了在面向任务的条件下的用户的注视轨迹6结论、局限性和未来工作本文提出了沉浸式虚拟现实中视觉注意时间连续性的概念，并讨论了一种新颖的时间连续性分析方法。通过计算用户注视位置序列的自相关函数来评估自由观看和任务导向条件下的时间连续性。在自由观看条件下，进行自由观看凝视数据集的自相关分析，并且发现仅当滞后很小时自相关才表现良好。在面向任务的条件下，创建游戏场景并进行用户研究以收集用户的注视数据。基于所收集的注视数据计算自相关函数，表明任务导向条件下的时间连续性与自由观看条件下的时间连续性相似。时间连续性被进一步应用于未来注视预测的任务，即，利用当前注视位置来预测未来的注视位置。未来的视线预测是至关重要的预计算的许多应用，如视线视情况渲染，广告投放，和基于内容的推荐。凝视预测性能表明，在自由观看和面向任务的条件下，时间连续性只能有效地促进短期凝视预测。随着预测时间的增加，时间连续性的效率显著下降。长期凝视预测的任务仍有待探索。这项工作有一些局限性。第一，视觉注意的时间连续性机制在本研究中没有得到深入的探讨。时间连续性的机制是复杂的，本文的重点是时间连续性的特点。探索时间连续性的机制是未来工作的一个有趣途径。其次，在任务导向条件下分析时间连续性时，仅考虑VR游戏场景，因此结果可能会对记录数据产生偏差。在其他VR游戏中，如多方游戏和其他VR应用，如VR购物，VR培训和VR教育中，视觉注意力的时间连续性仍有待探索。第三，在这项工作中没有考虑声音对视觉注意的时间连续性的影响。在该分析中，自由观看和面向任务的凝视数据都是从无声场景中收集的。然而，如果场景中存在声音，则时间连续性可能受到影响。因此，考虑声音对时间连续性的影响可能会进一步改善这项工作。引用1杜霍夫斯基基于目光的互动：30年回顾。计算机图形，2018，73，59-69 DOI：10.1016/j.cag.2018.04.0022[10]杨文，李文. EyeSeeThrough：在虚拟环境中统一工具选择和应用。2019年IEEE虚拟现实和3D用户界面（VR）会议大坂，日本，IEEE，2019，474DOI：10.1109/vr.2019.87979883Guenter B，Finch M，Drucker S，Tan D，Snyder J. Foveated 3D graphics. ACM图形学报，2012，31（6）：164DOI：10.1145/2366145.23661834Patney A，Salvi M，Kim J，Kaplanyan A，Wyman C，Benty N，Luebke D，Lefohn A.走向中心凹渲染，Zhiming HU et al：沉浸式虚拟现实中视觉注意力的时间连续性，用于未来凝视预测151视线追踪的虚拟现实ACM Transactions on Graphics，2016，35（6）：1-12 DOI：10.1145/2980179.29802465杨文辉，陈文辉.通过视觉注意力分析优化视觉元素布局。2019年IEEE虚拟现实和3D用户界面（VR）会议日本大坂，IEEE，2019年，第464DOI：10.1109/vr.2019.87978166胡志明，张春英，李胜，王国平，马诺查. SGaze：一个数据驱动的眼头协调模型，用于实时凝视预测。IEEETransactions on Visualization and Computer Graphics，2019，25（5）：2002-2010 DOI：10.1109/tvcg.2019.28991877Berton F，Olivier A H，Bruneau J，Hoyet L，Pettre J.研究与虚拟步行者避免碰撞期间的凝视行为：虚拟现实设置的影响2019年IEEE虚拟现实和3D用户界面（VR）会议大坂，日本，IEEE，2019，717DOI：10.1109/vr.2019.87982048陈军，米立堂，陈春平，刘宏伟，蒋建华，张文斌.用于增强现实的中心凹隐形眼镜显示器设计。光学快报，2019，27（26）：38204DOI：10.1364/oe.3812009周丽，陈春平，吴永生，张志玲，王开英，于波，李英.可实现视力矫正的透视近眼显示器。光学快报，2017，25（3）：2130DOI：10.1364/oe.25.00213010伊蒂湖自下而上和自上而下的视觉注意模型。加州理工学院。200011[10]李文辉，李文辉，李文辉.视觉注意力：自下而上与自上而下。当代生物学，2004，14（19）：R850R852 DOI：10.1016/j.cub.2004.09.04112Pinto Y，van der Leij A R，Sligte I G，Lamme V A F，Scholte H S.自下而上和自上而下的注意力是独立的。视觉杂志，2013，13（3）：16DOI：10.1167/13.3.1613Rottach K G，von Maydell R D，Das V E，Zivotofsky A Z，Discenna A O，Gordon J L，Landis D M D，Leigh R J.Evidence for independent feedback control of horizontal and vertical saccades from Niemann-Pick type C disease.视觉研究，1997，37（24）：3627DOI：10.1016/s0042-6989（96）00066-114[10]李文，李文. VR中的显着性：人们如何探索虚拟环境？IEEE Transactions on Visualization and ComputerGraphics，2018，24（4）：1633-1642 DOI：10.1109/tvcg.2018.279359915亨德森·J真实世界场景感知中的人类注视控制认知科学趋势，2003，7（11）：498504DOI：10.1016/j.tics.2003.09.00616刘伟，王伟，王伟.在场景观看过程中的眼动控制：场景亮度对注视持续时间的直接影响。Journal of ExperimentalPsychology：Human Perception and Performance，2013，39 (2)：318-322DOI：10.1037/a003122417Henderson J M，Olejarczyk J，Luke S G，Schmidt J.在场景观看过程中的眼动控制：空间频率滤波的即时退化和增强效应。视觉认知，2014，22（3/4）：486-502 DOI：10.1080/13506285.2014.89766218程明明，张国祥，米特拉宁杰，黄晓琳，胡世民.基于全局对比度的显著区域检测。见：CVPR 2011。美国科罗拉多州斯普林斯，IEEE，2011：409DOI：10.1109/cvpr.2011.599534419杨伟，王伟.基于显著性的快速场景分析视觉注意模型。模式分析与机器智能学报，1998，20（11）：1254DOI：10.1109/34.730558虚拟现实智能硬件2020年第2期15220作者：王晓平，王晓平.任务特定视觉注意的概率学习。2012年IEEE计算机视觉与模式识别会议。Providence，RI，IEEE，2012，470DOI：10.1109/cvpr.2012.624771021Harel J，Koch C，Perona P.基于图形的视觉显着性。在：神经信息处理系统的进展。2007年，第545-552页DOI：10.7551/mitpress/7503.003.007322放大图片作者：Marcella C，Lorenzo B，Giuseppe S，Rita C.通过基于LSTM的显着性注意模型预测人眼注视。IEEE图像处理学报，2018，27（10）：5142DOI：10.1109/tip.2018.285167223[10]杨文，王文.在游戏中使用机器学习进行动态立体操作的注视预测。2016年IEEE虚拟现实（VR）。关闭MT，USA. IEEE，2016，113-120 DOI：10.1109/vr.2016.750469424Arabadzhiyska E，Tursun O T，Myszkowski K，Seidel H P，Didyk P.用于凝视视情况渲染的扫视着陆位置预测。ACM图形学报，2017，36（4）：1DOI：10.1145/3072959.307364225Box G E，Jenkins G M，Reinsel G C.时间序列分析：预测与控制。John Wiley Sons，201526Lachenbruch P A，Cohen J.行为科学的统计功效分析（第2版）。美国统计学会杂志，1989，84（408）：1096DOI：10.2307/229009527Rumsey D. J. Statistics II for Dummies. John Wiley Sons，2009年