医学信息学解锁21（2020）100488基于前庭眼反射的人机界面注视跟踪中的眼动定位问题AdamPantanowitz *，Kimoon Kim，Chelsey Chewins，Isabel N.K. 作者声明：David M. 鲁宾生物医学工程研究小组，电气和信息工程学院，威特沃特斯兰德大学，约翰内斯堡，1 Jan Smuts Avenue，Braamfontein，南非A R T I C L EI N FO保留字：眼动扫视眼动跟踪平滑眼动跟踪图像处理瞳孔检测前庭眼反射A B S T R A C T比较了平滑眼动跟踪和扫视眼动跟踪的特点，为人机交互提供了依据.这项研究是通过实施一个定制的头戴式系统来跟踪平滑的眼球运动，以控制鼠标光标。该系统包括头戴式红外摄像机、红外光源和计算机。在MicrosoftVisual Studio、OpenCV和Pupil中实现的基于软件的图像处理技术可以近实时地检测瞳孔位置和瞳孔移动的方向。 所识别的方向用于确定光标的期望定位，并且光标朝向目标移动。两名用户参与了测试，以量化由前庭眼反射引起的平滑眼球运动的增量跟踪与扫视眼球运动的阶跃变化跟踪之间的差异。跟踪平滑眼球运动比跟踪扫视眼球运动精确四倍以上，距离目标的平均位置分辨率为0.80 cm。相比之下，跟踪扫视眼球运动测量的平均位置分辨率为3.21厘米。使用增量跟踪平滑的眼球运动，用户能够将光标放置在90%的时间内的9× 9像素Xel平方然而，当使用扫视眼球运动的阶跃变化跟踪时，用户无法将光标定位在9× 9PIX el目标内。平滑眼球运动的增量跟踪跟踪到目标的平均时间为6.45 s，而扫视眼球运动的阶跃变化跟踪的平均时间为2.61 s。的平滑的眼睛跟踪系统虽然比扫视眼睛运动跟踪慢得多，但能够实现对鼠标光标的更可预测、可靠、精确和准确的控制1. 介绍扫视眼睛运动的传统步长变化跟踪（其中使用安装在计算机上的相机来确定用户的注视）出于三个原因而表现出不准确性，如所识别的由参考文献[1]，即，在点位置中大约一度的容差，眼睛跟踪的准确性严重依赖于所执行的校准的质量，并且在用户控制光标的会话期间紧急校准漂移。校准漂移的发生是因为瞳孔大小和头部移动的变化修改了校准的有效性。除了这些问题之外，当视觉固定在目的地点上时跟踪光标运动是开环控制的阶跃变化。这提出了一个实质性的挑战：用户的目光从鼠标光标移动到目的地位置，并且在光标移动时不跟踪光标的位置。由前庭眼反射（VOR）[ 2 ]引起的平滑眼球运动提供了一种另一种较慢的闭环控制，用户可以在鼠标光标向目标移动时观察鼠标光标。这种闭环跟踪发生在用户能够在监视其轨迹的同时平滑地移动鼠标光标，直到光标到达其预期目的地。由Jahnke [ 3 ]首次提出的系统能够跟踪VOR相关的平滑眼球运动，并且包括安装在用户头部的摄像机，允许用户保持聚焦于光标的位置以用于跟踪目的，同时保持实现大规模眼球运动的高偏转的能力。测量进行了比较平滑的眼球运动的增量跟踪和跳跃眼球运动的步进变化跟踪使用头戴式系统。这有助于开发和评估自定义眼动跟踪鼠标光标控制系统。系统的控制性能进行了测量和评估，以评估光标跟踪。* 通讯作者。电子邮件地址：adam.pantanowitz@wits.ac.za（A.Pantanowitz）。https://doi.org/10.1016/j.imu.2020.100488接收日期：2020年11月16日;接收日期：2020年11月20日;接受日期：2020年11月23日2020年11月27日网上发售2352-9148/©2020的 作者。发表通过 Elsevier 公司这是一个开放接入文章下的CCBY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）中找到。可在ScienceDirect上获得目录列表医学信息学期刊主页：http://www.elsevier.com/locate/imuA. Pantanowitz等人医学信息学解锁21（2020）10048822. 背景Hutchinson等人[4]认为，眼动在用户界面中的应用是人机交互研究的一个关键领域，因为大多数人都可以控制眼动，而不管残疾与否。这可以解决各种可用性问题，例如：Web使用;移动设备的操作;软件;和游戏系统[5]。因此，通过眼睛跟踪控制鼠标光标的改进可以预期增强眼睛跟踪用户界面。2.1. 眼球运动在各种情况下描述的几种眼睛运动中[6]，聚散运动用于跟踪接近的物体[7]。当物体靠近时，眼睛向中间移动。快速扫视运动用于跟踪快速移动的物体或阅读时[8]。类似地，快速平滑追踪运动用于跟踪较慢移动的对象。在传统的阶跃变化眼动跟踪算法中，使用了扫视运动和平滑追踪运动。当头部在空间中移动时，由VOR产生的平滑运动用于聚焦在物体上 [9]。[2]指出平滑跟踪产生的眼球运动比扫视运动慢，例如阅读时使用的。VOR允许用户在头部在空间中移动时稳定视网膜视野上的图像[ 2 ]。有两种类型的头部运动是大脑系统补偿的：旋转和平移。头部的旋转运动由内耳中的半圆形耳道检测，而头部的平移运动则由内耳中的耳石决定。眼外肌作为VOR中的致动器，促进眼睛凝视的稳定性[10]。投射到视网膜上的图像在头部运动期间是稳定的，因为眼外肌在头部运动的相反方向上旋转眼睛。2.2. 眼睛跟踪参考文献[11]使用角膜反射的光进行了第一次记录的精确、非侵入性眼动跟踪技术。从那时起，各种眼动跟踪技术已经开发和测试。两种这样的技术，眼电描记术和视频眼电描记术，已被广泛用于研究。眼电描记术是一种用于测量由于视网膜中的代谢活动而存在的角膜-视网膜动作电位的技术[12]。这分别在角膜和视网膜处产生正极和负极。因此，在眼睛的前部和后部之间存在小的电压差，可以使用成对放置在眼睛上方和下方或眼睛左侧和右侧的电极来测量该电压差测量的电压范围通常为0.4至1.0 mV。当眼睛水平移动时，可实现的最大旋转是近似x70μ V，从而产生5至20μV的运动信号。的然后，信号被放大、滤波并转换为数字信号，以获取可用数据[13]，将视频眼电描记术定义为使用数字摄像机捕捉眼球运动的技术。在视频眼电图中，使用各种方法来捕获眼球运动，包括使用头戴式装置或配备有相机的一副眼镜来捕获眼球运动。这些技术产生眼睛的特写图像，使用图像处理软件处理起来很简单。一种更具挑战性的技术是使用远离头部安装的摄像机，例如安装在屏幕上的网络摄像机，以捕捉眼球运动[14]。这需要更多的图像处理，因为在提取眼球运动之前必须检测面部和眼睛[15]。这两种技术都可以使用可见光或红外光进行[14]，然而，红外光和安装的相机可能是优选的，因为瞳孔在图像上显示为黑色圆圈，并且很容易检测到[16]。3. 方法利用较慢、平滑的移动进行眼睛跟踪为用户提供了对光标的更大增量控制，并且与扫视眼睛跟踪不同，允许用户在光标运动时观察光标。闭环控制是平滑眼动跟踪的主要优势。相比之下，平滑的眼睛跟踪确定眼睛相对于头部的位置，而不是用户的注视所固定的位置，同时允许大尺度偏转。这有可能为平滑光标跟踪控制系统带来许多好处：通过闭环跟踪提高精度;在眼睛偏转较少的情况下提高眼睛运动舒适度;以及更强的鲁棒性。更大的鲁棒性发生，因为跟踪是连续的增量运动，而不是不稳定的扫视运动，如在扫视眼睛跟踪中所展示的。因此，系统必须允许用户使用平滑的眼睛跟踪来移动光标，并且提供光标移动的全范围。使用的硬件必须与标准和常用的操作系统兼容。为了解决扫视眼动跟踪的挑战，系统必须能够在眼睛相对于头部在空间中移动时进行瞳孔检测和平滑的眼动跟踪。4. 系统设计图像处理受到计算机处理能力的限制。电气安全和设置眼睛安全的红外线暴露限值是优先考虑的。该系统使用平滑的头部运动和眼睛跟踪来移动鼠标光标在计算机屏幕上。该系统分为硬件和软件两个子系统。图1提供了整个系统的俯视图，包括可穿戴头盔、瞳孔检测、硬件到软件连接和视觉反馈。4.1. 硬件子系统使用与Jahnke [3]相同的一般方法，硬件子系统由PlayStation-Eye摄像头、头盔和红外电路组成。如图1所示，瞳孔运动是使用附接到头盔的改进的PlayStation-Eye相机来获取的。这创造了可穿戴仪器，使头部运动的自由。摄像机被改装成只接收红外光。一个单独的电路被构建并连接到头盔上以提供红外光源。PlayStation-Eye通过通用连接器连接到计算机Fig. 1. 系统概述，指示所有系统元素。A. Pantanowitz等人医学信息学解锁21（2020）1004883×++++串行总线（USB）。安装在计算机上的Code Laboratories Eye（CL-Eye）平台驱动程序提供了经过认证的硬件驱动程序，以便第三方软件程序可以访问PlayStation-Eye摄像头。更多信息见[17]。PlayStation-Eye摄像机内置了红外线滤光片和镜头，规格制造商为索尼电脑娱乐公司[18]。这是修改捕捉特写红外图像和视频。根据索尼[18]在电脑娱乐方面，PlayStation-Eye可以通过使用其内置机制将其变焦镜头从56厘米的视场更改为75厘米的视场。然而，利用这些信息和基本的三角学，示于图 2，焦距为200mm时可以实现的最短视场距离-出于眼睛安全原因-为213 mm。考虑到眼睛的大小，这是很大的[ 19 ]。因此，PlayStation-Eye镜头必须更换为在焦距为200毫米选择的镜头是一个60毫米M12变焦镜头，具有23毫米的视野如参考文献[20]所述。该镜头满足必要的要求，在焦距处具有81 mm的视野，可以拍摄足够的眼睛特写照片必须在图像传感器和镜头之间插入可见光滤光片，以便只有红外光通过。可见光滤波器是使用从软盘上切下来的磁带构建的[23]。这导致图1所示的眼睛的红外图像。头盔是一个板球（运动）头盔，修改后为PlayStation-Eye相机和红外电路提供结构支撑。它可以确保头部移动时相机对准眼睛。头盔的护目镜被移除，以消除对眼睛的阻碍。一根有延展性的铜线用于将PlayStation-Eye摄像头连接到头盔上。这确保了当不同的人使用头盔时，相机和红外发光二极管（LED）的方向可以改变。红外线电路向眼睛提供红外光。它由一个连接到3 V电源的AtmelATmega328p微控制器组成，两个红外LED连接到微控制器的脉宽调制（PWM）引脚。3 V电源由两个AA电池串联而成，每个AA电池的标称电压为1.5 V。PWM占空比设置为50%，以进一步限制眼睛的红外线暴露。电气安全和眼睛安全暴露限值在设计中优先考虑。4.2. 软件子系统一旦检测到瞳孔的移动，软件子系统负责移动鼠标光标。这是使用C集成开发环境（IDE）（例如Microsoft Visual Studio 2013）以及用于图像处理的OpenCV 3.0（开源C库）实现的。根据Code Laboratories（2014）的数据，PlayStation-Eye以每秒60帧的速度在640 480像素因此，我们认为，执行图像处理算法以检测每帧处的瞳孔位置。所提出的算法基于从图像中提取瞳孔的位置[ 24 ]。当瞳孔被定位时，笛卡尔图二. 焦距和视场之间的关系，改编自参考文献。[21、22]。使用平面坐标来跟踪瞳孔。控制光标的眼睛跟踪涉及瞳孔检测，并且此后建立光标移动的方向。用于这些过程的算法和方法在第4.3至4.5小节中讨论。4.3. 瞳孔检测选择瞳孔检测而不是虹膜检测有两个原因：标准瞳孔形状和虹膜颜色的变化。瞳孔通常被视为一个完整的圆形，而虹膜的顶部通常被上眼睑覆盖。由于形状变化，这使得检测困难。虹膜可以是各种颜色，这使得边缘检测复杂化，因为图像必须转换为二进制图像。用于生成二值图像的阈值需要用户特定的校准-例如，蓝色眼睛的阈值远低于深棕色眼睛。然而，瞳孔对于每个用户的眼睛来说是恒定的。因此，使用瞳孔检测极大地简化了系统。由于光学滤光器和红外光源，相机产生灰度图像。为了完成边缘检测，原始灰度图像被转换为二值图像。适当的阈值通过记录房间中的光强度来确定，其可以自动校准。阈值化过程导致包含黑色圆圈的二进制图像。取决于房间中的光强度变化，二进制图像可能包含呈现为黑点的伪影。用于检测瞳孔边缘的算法是OpenCVfindContours（）函数[25]。此函数定位二进制图像中的轮廓。每个轮廓是存储在轮廓向量中的点向量。瞳孔检测的最后步骤依赖于两个瞳孔特征：颜色（黑色）和形状（圆形）。分析轮廓向量中的每个轮廓。首先，确定轮廓是否足够大以作为瞳孔。这可以防止系统检测到图像中来自噪声和光强度变化的小的黑色闪烁（伪影）。第二，确定轮廓 是循环的。需要进一步的工作，椭圆轮廓检测。圆形轮廓检测分两步进行：创建轮廓周围的边界，并计算轮廓的面积。将在轮廓周围创建一个边框。如果轮廓是圆形的，则边界矩形的宽度和高度应该相同，表示边界是正方形。 因此，用高除以宽得到统一。使用OpenCVcontourArea（）函数可以找到轮廓的面积。对于瞳孔检测，在瞳孔是圆形的条件下，所找到的面积应当反映当使用等式（1）时所面积=π×r2（ 1）如果轮廓是一个圆，则用contourArea（）找到的面积除以预期面积会得到一个单位但是，结果不能与单位进行比较，因为边界矩形覆盖的面积大于圆。因此，每个结果从1中减去，并与0.2（近似启发式值）进行比较。这说明了由边框和contourArea（）引起的任何错误。检测到瞳孔后，使用OpenCVdrawContours（）函数在瞳孔周围绘制该系统确定眼睛移动的方向。4.4. 方向确定在平滑眼球运动的增量跟踪中，头部和眼睛沿相反方向移动，使得注视保持固定在单个点上。这用于使用平滑眼球运动的增量跟踪在期望的方向上移动光标。当系统初始化时，鼠标光标移动到屏幕中心。用户必须看着光标，以便捕获瞳孔的位置以用于校准目的。的中心位置A. Pantanowitz等人医学信息学解锁21（2020）1004884：=××× × ××鼠标光标提供存储的基线图像。在基线图像中检测瞳孔并且存储瞳孔的位置。一旦校准，原始瞳孔位置可以与新检测到的瞳孔位置进行比较，以找到其移动的方向。随后，随着头部的移动，必须找到瞳孔的方向。从基线瞳孔位置的对应x和y坐标中减去瞳孔的新位置x和y坐标，如等式（2）所示。将所得到的坐标（其将被称为差异坐标）与基线坐标进行比较。如果差值x坐标xdifference小于基线x坐标xbaseline，则新的x位置xnewPosition是将xdifference和xbaseline相加的结果，如等式（3）所示。使用相同的程序计算yx差值=x基线-x新位置（2）x新位置=x差异+x基线（3）确定新光标位置所需的所有条件和相应计算反映在表1中。这将设置光标的新位置。例如，如果基线瞳孔位置是（25，25）并且发现新的瞳孔位置是（35，25），则使用等式2计算的x差是-10，并且y差是0。表1给出了新的x和y共同作用的条件。坐标是确定的。在该示例中，x和y差坐标都小于相应的基线坐标，这表明使用表1中提供的新位置公式确定的光标的新位置是（15，-25）。所有其他坐标使用相同的过程来找到，新的位置坐标根据表1中所示的条件来确定。4.5. 眼位跟踪Pupil，一个开源的凝视跟踪软件，由Ref.[26]，用于比较平滑眼睛跟踪系统与扫视眼睛跟踪。选择瞳孔是因为它的简单性-是时候追踪位置了在平滑和扫视眼睛跟踪实验的每个测试开始时，用户的头部和眼睛位置保持恒定。这是通过要求用户在每次测试前注视计算机显示器的中心，使他们的目光垂直于屏幕来完成的。这意味着对于平滑和扫视眼动跟踪实验，面部和眼睛的位置被假设为相似。在进行测试之前，使用定制的校准来校准瞳孔与用户的焦点中心屏幕的位置。在进行扫视眼动跟踪测试时，用户被告知在测试期间保持头部在同一位置，仅移动眼睛。对于平滑的眼睛跟踪测试，用户的头部和眼睛被定位在与扫视眼睛跟踪测试相同的起始位置。然而，在实验期间头部位置改变，因为移动鼠标光标需要头部的移动。在进行更流畅的眼动追踪实验之前，用户被告知要用头看着屏幕的中心，在原地运行重新校准，以进行一致的实验。然后，用户测试了该系统的某些特性，即精确度、分辨率和跟踪指定目标位置的时间。该研究旨在优化瞳孔位置数据的质量构建的头盔与游戏站眼相机，如图。1、每个用户都有。红外光照射在用户的左眼上该系统最初进行了测试的准确性和时间特性。重复测量收集并与Pupil的测量进行比较。每个测试重复10次，并将结果取平均值。5.2. 精度当使用平滑跟踪和扫视跟踪系统时，距正方形中心的平均距离分别为28.87和116.6像素。等式（4）用于将测量值从像素转换为厘米，从而得到比率0。0276厘米/像素。与定制的PlayStation-Eye摄像头集成。它有一个定制的校准设置，以跟踪瞳孔，以可视化厘米像素比屏幕 长度 以cm屏幕 长度 以像素为单位（四）注视位置带有十字（）。然后将其用作参考点，以使用通过眼动跟踪确定的位置来移动鼠标光标。当应用程序第一次运行时，用户直接查看摄像头用于校准。此后，用户具有头部移动的完全自由度。瞳孔被认为是完全可见的;它总是一个完整的圆形，从不被上眼睑覆盖。对于瞳孔部分被遮挡的情况，需要进一步的算法开发和研究，但这超出了本工作的范围5. 试验和结果5.1. 实验程序两位作者测试了这个系统，他们坐在一把倾斜100度的椅子上。椅子经过调整，都躺在地上计算机显示器直接放置在他们眼前，距离50厘米。然后，该系统用于测试某些系统特性：准确度;分辨率;以及表1条件和相应的新光标位置。新职位x差异x基线x差异+x基线x基线x差值-x基线y差值y基线y差值-y基线y基线y差值+y基线当使用平滑眼动跟踪系统时，平均距离为距离正方形中心0.80 cm，而当使用扫视跟踪时，平均距离为3.22 cm平滑眼睛跟踪系统的平均距离相对于扫视跟踪系统的平均距离大于四倍。5.3. 决议为了测试分辨率，绘制了四个正方形，其尺寸以pixels为单位：100100; 5050; 2525; 99.目的就是把光标移到每个方块的中心。这些方块被放置在屏幕的中心，坐标为（960，540）。用户必须将光标从左上角坐标（0，0）移动到广场内。该距离约为30.4 cm，光标必须相对于显示器左上角以135°重复该过程以提高结果的准确性平滑跟踪和扫视跟踪系统都被测量用于比较。结果显示在表2中，表示分辨率，为此目的，分辨率被定义为用户能够重复放置光标的最小边界框。对于平滑的眼球运动跟踪，用户能够在90%的时间内将光标放置在9 × 9像素的最小边界框内。然而，对于扫视眼睛跟踪，边界boX内的放置的百分比随着时间的推移而降低正方形尺寸减小，测量值分别为75%、65%、5%和0 100× 100、50×50、25× 25和9× 9正方形A. Pantanowitz等人医学信息学解锁21（2020）1004885±±±××表2平滑和扫视眼动跟踪系统在不同目标方块尺寸下的分辨率测量。方形大小（像素）平滑眼动跟踪（%）扫视眼动跟踪（%）5.5. 瞳孔检测范围瞳孔并不总是被认为是一个圆圈。当瞳孔位于眼眶的最外侧或内侧边缘时，100× 100 100 7550× 50 100 6525× 25 100 59× 9 90 0分别考虑到每个用户对每个正方形尺寸测量进行了10次测试，可以部分推断精度。5.4. 跟踪位置测量用户将鼠标从一个位置移动到另一个位置所花费的时间。对于每个测试，光标从(100，500），并且用户将光标移动到（1700，480）处的指定终点，当x>1700时停止实验。当使用平滑眼动跟踪系统时，一个标准差所花费的平均时间为6.45 2。04s和2.611。03 s时使用扫视跟踪系统。这方面的一个例子如图所示。3.第三章。在软件中进行了时间测试。当瞳孔第一次移动时，计时器启动，当光标进入像素的特定区域时，计时器停止。这确保了比手动计时更准确的结果，手动计时必须考虑反应时间。图4示出了平滑眼睛跟踪和扫视跟踪系统的跟踪曲线。平滑眼睛跟踪系统的跟踪曲线示出了从开始位置到结束位置的更直接的线。这表明用户对光标的位置和方向有更大的控制，其中光标以闭环、无扫视、更平滑的运动移动。如图4所示，在扫视跟踪曲线中，光标以具有正梯度的直线移动。然后，光标移动到结束位置，但过冲。扫视跟踪算法通常是开环的并且更快，这损害了控制并且阻碍了用户快速校正光标轨迹的能力（并且在y维度上引入了一些不稳定的移动）。选择用于图1和图2的说明性示例。3和4来自相同的实验运行。数据可用于研究其他运行。椭圆形的这影响瞳孔检测范围。经计算，范围约为12μ g。然而，用户仍然能够将光标定位在屏幕上的任何地方。进一步的工作这是改善瞳孔检测所必需的，但这超出了本主要概念验证研究的范围。5.6. 平滑跟踪和扫视跟踪系统特性使用平滑眼睛跟踪和扫视跟踪的鼠标光标的移动具有相同的瞳孔检测和图像处理特性，因为这两个系统基于相同的硬件和软件算法。PlayStation-Eye相机的镜头有一个23视野，转换为0。012像素/像素或83像素/像素（1920）1080像素Xel屏幕。6. 讨论在这项研究中，通过利用VOR的平滑眼睛跟踪的性能被表征，并与如图1和2所示的扫视跟踪系统进行比较。3和4与VOR相关的平滑眼动跟踪系统比扫视跟踪系统精确大约四倍。精度测试表明，扫视跟踪系统具有75%的成功率为100 × 100像素像素的块，而平滑的眼睛跟踪系统具有90%的成功率为9 × 9像素的块。平滑的眼动追踪系统为用户创造了更好的体验，因为它提供了更精细、更可控的光标处理。改进的处理部分是由于固有的缓慢平滑的眼睛运动。通过迫使较慢的眼睛移动速度，用户增强了以下能力：使用头部移动来拖动光标;连续监视光标在其轨迹上;以及更容易地控制光标位置。这允许用户根据需要频繁地操纵光标，并且用户不会受到缺乏控制的阻碍。平滑眼睛跟踪系统比扫视跟踪系统简单，因为它不必补偿扫视跟踪中固有的不准确性。时间测试显示，平滑眼动跟踪系统比扫视跟踪系统慢，光标到达其终点图三. 曲线图显示了光标移动以实现平滑和扫视眼球跟踪所需的时间。×A. Pantanowitz等人医学信息学解锁21（2020）1004886见图4。描绘用于平滑眼睛跟踪和扫视眼睛跟踪系统两者的光标的空间跟踪曲线的图。选择的数据点用时间（ms）标记。其速度大约是扫视跟踪速度的40%。由于所使用的不同眼球运动的相应速度，该结果是预期的。较慢的速度增加了用户对光标的控制。此外，平滑的眼睛跟踪运动为用户提供了更好的视觉反馈，因为当光标移动时，眼睛也随之移动。这导致视觉反馈的时间延迟以及由于扫视而导致的进一步反馈。该头盔是笨重的，并且干扰用户对屏幕的观看，尽管努力防止这种情况。本研究中使用的方法无法区分有意的平滑眼动跟踪运动和眼睛的一般运动，这会导致光标随着任何轻微的眼动而轻微移动。当瞳孔位于眼眶的最外侧或内侧边缘时，该算法无法检测到瞳孔，因为它不再呈现圆形，而是椭圆形。这会降低光标移动的速率，但不会降低移动范围。平滑眼动追踪的应用包括方便那些无法操作手控鼠标的人使用计算机。随着点击功能的增加，该系统可以允许用户更容易地与计算机交互，并且它可以在第一人称游戏中创造更好的游戏体验-玩家可以通过改变头部的方向来改变他们的视角。该系统在玩《反恐精英》时进行了测试，用户能够自然轻松地移动玩家的视觉视角，创造出一种身临其境的愉快游戏体验。一个视频显示瞳孔检测和光标移动，而玩反恐精英是在补充材料。其他应用包括：工业设备的远程控制;外科应用;控制抬头显示器;以及可能的国防。扫视跟踪更便宜，因为它可以使用网络实现相机，通常配备标准的计算机。此外，这是一种更直观的移动光标的方式，而使用平滑的眼睛跟踪最初需要时间来适应程序。然而，鼠标倒置可以解决这个问题，但在这项工作中没有测试。选择红外线而不是可见光来简化图像处理，然而，这需要额外的安全考虑。即使与扫视运动的2.61 s相比，平滑眼睛跟踪到达终点所跟踪系统提供更高的准确度、精度和更少的过冲。这转化为与扫视眼睛跟踪系统的不可预测的鼠标移动相比，用户具有更多控制的感觉和更可用的界面。其他研究人员[27]受到我们早期工作的激励，独立测试了基于VOR的平滑眼动跟踪与扫视跟踪，并证明了类似的准确性，但他们没有研究这两种方法的时间动态。我们认为，实际上，精度不需要在使用系统控制计算机在一个普通的方式一样高，所以平均时间很可能是小于报告的值。此外，在多次运行中，扫视眼睛跟踪没有导致成功的跟踪事件（即，目标没有成功到达）。因此，用户将需要重新跟踪目标（可能再次过冲或过冲）。因此，我们认为所花费的时间是在跟踪目标位置时具有更大成功的6.1. 未来工作可以通过增加可以检测瞳孔的范围，特别是通过引入椭圆瞳孔检测来改进系统。 可以改进或重新设计安装摄像头的头盔，以提高用户的舒适度。阈值常数可以取决于光强度，使得瞳孔检测保持恒定。当用户阅读文本时，可以引入一个功能来区分平滑（增量）眼球运动和一般眼球运动。7. 结论平滑（增量），VOR相关的眼球运动的跟踪性能进行了研究，并与扫视（阶跃变化）眼球跟踪。测试设备包括一个头戴式PlayStation-Eye摄像头，该摄像头被修改为仅检测红外光、红外光源和计算机。软件子系统允许分析从相机接收的图像。分析包括瞳孔检测、确定瞳孔移动的方向以及将光标移动适当的距离和方向。当与扫视眼睛跟踪系统相比时，平滑眼睛跟踪系统具有A. Pantanowitz等人医学信息学解锁21（2020）1004887更高的准确性和精确度。然而，平滑眼睛跟踪的增量性质导致光标移动比使用扫视眼睛跟踪时更慢。尽管平滑眼睛跟踪系统中的速度降低，但是由该方法引入的闭环控制的性质允许更可预测和受控的移动。竞合利益作者声明，他们没有已知的可能影响本文所报告工作确认该项目的资金由约翰内斯堡威特沃特斯兰德大学电气信息工程学院提供。&引用[1] 希尔斯基卡里湾利用眼球运动：克服阅读时跟踪注意力焦点的不准确性。ComputBehav 2006;vol. 22 （4）：657-71。[2] 张伟，王伟，王伟.正常人鼻枕前庭眼反射反应。IEEE Eng Med Biol Mag2000;vol.19（2）：43-7。[3] Jahnke NA.基于前庭眼反射的光标位置控制系统和方法。“美国专利号2013169533 A1; 2013。[4] [10]杨文辉，杨文辉，杨文辉. 使用眼睛注视输入的人机交互。IEEE Trans.系统曼·赛伯恩1989年;vol. 1（6）：1527-34。[5] Rosson MB，Carroll JM.可用性工程：基于网络的人机交互开发。MorganKaufmann;2002.[6] 王X，WeemJ，Jonker P.一个先进的主动视觉系统模仿人眼运动。国际先进机器人会议（International Conference on Advanced Robotics，ICAR），2013年。p. 1比6[7] 张X。从系统与控制工程观点探讨聚合度与共轭眼球运动之关系。IEEE国际Symp.Circ.系统2005年：4783-6。[8] Alkan Y，Alvarez T，Gohel S，Taylor P，Biswal B.利用granger因果分析评估聚散度与扫视眼球运动任务的功能连结。在：IEEE医学和生物学工程学会年度国际会议。卷1; 2011年。p. 8114- 7[9] [10]张晓刚，张晓刚，张晓刚.三神经元前庭-眼反射弧的模拟：对眼动计算的贡献。国际神经网络联合会议（International Joint Conference on NeuralNetworks）卷2; 1990年。p. 699- 704[10] 古曼斯人类的三维前庭-眼反射：一个平衡问题。 2010年。[11] 道奇R，克莱恩T。眼球运动的角速度。Psychol Rev 1901;vol. 8（2）：145157.[12] MalmivuoJ，Plonsey R.源自眼睛的一九九五年[13] 甘斯河视频眼电描记术：一种新的前庭疾病诊断技术2001年;卷。54（5）：40-2。[14] ChennammaYX. 视线跟踪技术研究综述印第安纳 J. Comp. Sci. Eng. 2013年;vol.4（5）：388-93。[15] 周成，彭伟，洪义. 实时三阶段眼睛特征提取。 2008年[16] 潘德P，贾达夫M，曼扎R. 眼动追踪系统及其应用综述 Int. J. 现代潮流。Eng.Res. 2014年;vol. 2（2）：599-605。[17] 代码实验室，“CI眼平台驱动程序。2014年3月。[18] 索尼电脑娱乐游戏机之眼：指导手册。 2007年[19] 放大图片作者：J. 健康成人眼球直径的变化。J.Opthalmol. 2 0 1 4 年;2014年：503645。[20] PeauProductions，“6. 0mm m12镜头（变焦镜头）。2011年4月。[21] 阿莫斯playstation eye是一款与playstation3和move系统一起使用的数码相机。2012年。[22] 国家仪器公司。计算相机传感器分辨率和镜头焦距。2014年。[23] McllvainJ. 网络摄像头转换为（近）红外。2012年10月。[24] 古普塔KD。用c#实现眼睛图像中瞳孔或眼球的检测与提取。2010年12月。[25] Suzuki S，Be K.用边界跟踪法对数字化二值图像进行拓扑结构分析。1985年，《计算机视觉图形图像处理30（1）：32-46。[26] 张文辉，张文辉. Pupil：一个用于普适眼动追踪和移动凝视交互的开源平台。在：2014年ACM普适和普适计算国际联合会议的附属程序，UbiComp '14 附属程序 。New York，NY，USA）：ACM; 2014.p. 1151- 60[27] Aharonson V，Coopoo VY，Govender KL，Postema M.在低成本眼动追踪装置中使用前庭眼反射的自动瞳孔检测和凝视估计。SAIEE Afr. Res.J. 2020;vol. 111（3）：120-4。
我的内容管理
展开
