Python实现的PeyeMMV注视检测算法的新模块，可用于空间噪声滤波、注视识别及数据提取

软件影响15（2023）100475原始软件出版物PeyeMMV：EyeMMV的注视检测算法的Python实现瓦西里奥斯·克拉萨纳基斯西阿提卡大学，工程学院，测量和地理信息工程系，埃加利奥公园校区，Ag。斯皮里多诺斯海峡12243 Egaleo（雅典），希腊A R T I C L E I N F O保留字：眼动注视检测基于离散度的算法PythonEyeMMV工具箱LandRate工具箱A B标准本文介绍了一个新的Python模块，称为PeyeMMV。该模块实现了在EyeMMV和LandRate MATLAB工具箱中导入的两步空间分散注视检测算法。该算法是基于时空准则的，属于基于I-DT的算法族，可以用于作为注视识别过程中的空间噪声滤波方法。可以使用PeyeMMV模块为了在原始注视数据中提取注视聚类以及生成基本图注视数据和注视中心位置两者。该模块可以很容易地导入到每个Python脚本或模块中。代码元数据当前代码版本v1用于此代码版本的代码/存储库的永久链接https://github.com/SoftwareImpacts/SIMPAC-2022-305可复制胶囊的永久链接https://codeocean.com/capsule/3587755/tree/v1GNU通用公共许可证，第3版（GPL v.3）使用的代码版本控制系统使用Python（v.3）的软件代码语言、工具和服务编译要求、操作环境和依赖关系Python模块：统计、数学、matplotlib、itertools如果可用，请链接到开发人员文档/手册问题支持电子邮件krasvas@uniwa.gr1. 介绍在实验性眼动追踪数据的分析过程中，注视检测的过程被认为是非常关键的，因为它可能对任何进一步的步骤[1]产生直接影响，包括统计指数的计算以及可视化技术的实现，以突出显示单个或聚合的视觉搜索策略和/或模式。在实践中，注视检测构成了一个聚类过程，其目的是揭示在自由观看或基于任务的条件下相对静止的情况下的眼动事件。因此，这样的事件可以直接连接到在观察不同类型的视觉（或视听）刺激期间产生的感知和认知反应。注视事件的识别基于利用作为主要输入的单眼或双眼原始图像用眼动追踪设备收集的凝视数据。考虑到所实施的检测标准的性质以及被检查以评估其有用性的典型标准（例如，准确性、速度、鲁棒性、实现、参数数量[1]），两种主要类别的算法满足眼睛跟踪领域的广泛接受;基于色散（I-DT）和基于速度（I-VT）的算法。这两种方法都在商业（或非）系统中实现，并被眼动跟踪社区认为是可接受的这项工作旨在描述一个新的Python模块，称为PeyeMMV。可以执行所引入的模块以便在眼动跟踪数据协议中提取注视事件。所实现的检测算法应用空间和时间标准（I-DT类型）来识别注视事件。更具体地，PeyeMMV实现在EyeMMV（Eye本文中的代码（和数据）已由Code Ocean认证为可复制：（https://codeocean.com/）。更多关于生殖器的信息徽章倡议可在https://www.elsevier.com/physical-sciences-and-engineering/computer-science/journals上查阅。电子邮件地址：krasvas@uniwa.gr。https://doi.org/10.1016/j.simpa.2023.100475接收日期：2023年1月5日;接收日期：2023年1月25日;接受日期：2023年2月3日2665-9638/©2023作者。由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表软件影响杂志 首页：www.journals.elsevier.com/software-impacts诉克拉萨纳基斯软件影响15（2023）1004752[2]和LandRate [3] MATLAB工具箱。第2节描述了最初的算法，该算法首次通过引入EyeMMV工具箱分发，后来也导入了LandRate工具箱，而第3节涉及固定识别过程的Python实现，还提供了一个简单的示例，显示了如何执行该模块。EyeMMV工具箱的影响及其在Python中实现的附加值将在第4节中讨论。最后，第5节介绍了现有的限制，以及未来的计划，对扩展的PeyeMMV模块。2. EyeMMVEyeMMV更具体地说，该算法实现了两步空间阈值（参数t1和t2）和最小持续时间标准。一个空间约束的实现构成了I-DT类算法的典型过程。然而，可以使用EyeMMV算法中实现的第二空间参数，实际上，使用参数t1t2来定义注视事件的空间特征更详细地，t1参数对应于用于计算注视的空间范围。因此，如果我们假设由若干（点）注视数据组成的注视聚类，则t1指示点可以具有的距聚类中心的最大距离该参数可以考虑文献中报道的相应空间分散阈值来定义。空间参数t2可以在考虑针对特定眼睛跟踪设备（使用人造眼睛）然而，该算法可以考虑两个参数的相同值（t1 = t2）来实现。在这种情况下，分析不考虑所用设备的空间噪声。对于常规分析，认为该方法是可接受的。第三参数是指注视事件可以发生的最小持续时间。也可以根据现有文献选择该参数（更多详情请参见[4]所述工作在这一点上，提到EyeMMV的设计是为了独立于眼睛跟踪设备使用的坐标系工作，这一点用户需要以与原始注视数据中使用的单位相同的单位来选择所需的参数（例如，像素和毫秒）。此外，可以避免第二空间参数（t2），而不是在去除3×s阈值之外的点之后过滤注视聚类过程。然而，正如[2]中所报道的，这种方法不太准确。3. Python实现PeyeMMV模块在Python中实现了EyeMMV的算法，旨在提供一个简单的框架，可以轻松地导入到任何其他脚本中。更具体地，PeyeMMV考虑空间参数（t，t）以及用于注视的最小持续时间的值图1.一、原 始 单 眼 注 视 数 据 的前十五行（x，y，通过时间）。参与每个注视聚类的原始注视数据。此外，注视和原始注视数据图的产生是可选的，并且可以由用户选择。为了突出PeyeMMV的功能，使用[2]提供的演示数据提供了更具体地说，该文件对应于使用Arrington Research的Viewpoint Eye Tracker®和空间频率30 Hz（每33.3 ms收集一次凝视数据），并且是指一个观察者对均匀分布在视觉场景。它包含眼动仪单元系统中的原始凝视数据坐标（最大值相应地在水平和垂直方向上等于1.25和1.00）和以毫秒为单位的时间戳（通过时间）。文件的前十五行如图所示。1.一、为了提取固定作为Python列表，产生固定报告并绘制相应的图表，PeyeMMV模块可以导入并在脚本中执行，如图所示。二、在本例中，使用与[ 2 ]中报告的输入值相同的输入值（t 1 = 0. 25个追踪器单元，t2= 0. 1个追踪器。最小持续时间= 150 ms）。在这个例子中，我们使用一个典型的命令来清除Windows中的命令提示符，然后再获得最终结果。如果同样的剧本在基于Unix的系统（Mac OS或Linux）中执行，必须使用命令'clear'而不是'cls'。因此，图2中提供的源代码在命令提示符窗口中导出相应的报告（图2）。 3）以及相关图表（图。4）.用户也有机会使用模块的main函数，以便将固定提取为Python列表，其中每个固定集群作为单独的Python列表包含在内。一个简单的例子在图中提供。 五、执行图中提供的源代码。 6，固定集群导出为Python列表（图。6）。在这一点上，值得一提的是，检测过程受相应计算精度的影响。与文献[2]中的相应结果相比，在MATLAB中得到的结果表明，在某些聚类中，同一个注视点存在差异。然而，这样的差异在更高水平的分析中没有影响，特别是当实验过程是用12种高频眼动仪，目前广泛用于科学研究识别.该模块仅涉及一个功能，该功能可用于提取注视事件以及将其可视化在具有原始注视数据的公共图中。原始凝视数据可以使用简单的 *.txt文件以[水平坐标，垂直坐标，通过时间]格式导入模块。空间参数必须在与水平和垂直坐标相同的坐标系中定义，而最小注视持续时间的值必须在与导入通过时间相同的单位中定义。由该模块提取的注视事件的完整列表涉及关于注视中心的坐标、注视持续时间、开始和结束时间戳以及注视事件的总数的信息目的（例如，SR Research Ltd.的EyeLink®1000 Plus提供了每0.5 ms（2000Hz）记录一次凝视数据的4. 影响基于Elsevier的Scopus数据库（h t t p s：/ / w w w. 我们的公司。com/results/results.你呢？cc=10sort=cp-fsrc=snlo=nlr=nls=sid=4b4e65d9d734a402594e21369c2fa1c1sot=asdt=clclust=scopubr%2c%222014%22%2ctsl=23s=SOURCE-ID+%282110028691%29ss=cp-fps=r-feditSaveeSearch=origin=resultslistzone=resultslist，最后访问：2022年12月18日），到目前为止，EyeMMV工具箱是2014年发表的作品中被引用最多的研究文章。诉克拉萨纳基斯软件影响15（2023）1004753图二、 示例源代码用于提取固定作为python列表，生成固定报告并使 用 Pe y e M M V 模 块 绘制相 应 的图表。图3.第三章。 在命令提示符窗口环境中的固定提取报告。见图4。 原始注视数据和注视中心图。图五、在命令提示符下不报告结果的情况下提取固定列表并生成相 应 的图表。《眼动研究杂志》（Journal of Eye Movement Research，JEMR）更具体地说，EyeMMV工具箱已被用于不同的科学/研究领域，例如自动识别[5]、生物识别[6]、阅读[7]、安全设计[8]、低成本眼睛跟踪[4]、无人机视频感知[9]、汽车设计[10]、显著性检测[11]、虚拟现实[12]、自闭症研究[13]、制图[14]、体育研究[15]、手术[16]等。此外，EyeMMV工具箱已用于大规模眼动跟踪数据库的开发（[9，17]），并在相关领域的前瞻性研究[18]和调查[19]中报告to eye眼movement运动research研究.上述研究中的大多数采用EyeMMV工具箱提供的主要功能，该工具箱涉及该过程fixation集群。因此，PeyeMMV源代码的免费分发诉克拉萨纳基斯软件影响15（2023）1004754见图6。 提取固定集群作为Python列表。在他们的实验分析中此外，考虑到PeyeMMV函数是用Python开发的，它可以很容易地与实验设计和/或眼动跟踪或相关数据分析中使用的现有工具箱相结合，例如通过EEG收集的数据（例如，[20]）或fMRI（例如，[21]）方法。5. 今后的工作PeyeMMV的开发是为了提供一个开源的解决方案，可以在不同的操作系统，包括MS Windows，Mac OS，Linux，Chrome OS中执行，而不需要任何商业软件。该模块支持基于眼动分析的大多数研究所需的注视识别核心功能，同时它为用户提供了此外，它支持原始和分析（注视）凝视数据的基本可视化。与EyeMMV和LandRate工具箱相比，新模块不支持进一步的分析指标或可视化技术。因此，今后的工作可能涉及其进一步扩展，包括图形用户界面（GUI）的开发竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作引用[1]D.D. Salvucci，J.H. Goldberg，在眼动跟踪协议中识别注视和扫视，在：眼动跟踪研究和应用研讨会论文集2000，2000，pp.71http://dx.doi.org/10.1145/355017.355028[2]V. Krassanakis，V. Filippakopoulou，B. Nakos，EyeMMV工具箱：基于用于注视识别的两步空间分散阈值的眼动后分析工具，J.Eye Mov.第7（1）（2014）号决议。http://dx.doi.org/10.16910/[3]V. Krassanakis，M.梅内加基湖M. Misthos，LandRate工具箱：用于眼动分析和景观评级的自适应工具，见：用于空间研究的眼动跟踪，第三届国际研讨会论文集，2018年，http：//dx.doi.org/10.3929/ethz-b-000222478网站。[4]K. Ooms，V. Krassanakis，测量低成本眼动仪的空间噪声以增强注视检测，J.Imaging 4（8）（2018）http://dx.doi.org/10.3390/jimaging4080096。[5]联合Saeed，在场景理解期间使用眼动的自动人识别，在：第17届IEEE国际多主题会议：技术的协作和可持续发展，IEEE INMIC 2014 - Proceedings，2014，pp.240http://dx.doi.org/10.1109/INMIC.2014.7097344[6]联合Saeed，在生物特征识别的场景理解过程中的眼动，模式识别。Lett. 82（2016）190 http://dx.doi.org/10.1016/j。patrec.2015.06.019网站。[7]A. 戈斯瓦米湾 瓦利亚 M. 麦考特， G. 帕德玛纳班， 使用 眼睛 跟踪 调查软件需求检查员的阅读模式和学习风格，以提高检查团队的成果，在：经验软件工 程 和 测 量 国 际 研 讨 会 ， 2016 年 ， http://dx.doi.org/10 。1145/2961111.2962598。[8]F.你Y利河，巴西-地Schroeter，J.Friedrich，J.Wang，使用眼动跟踪来帮助设计基于hud的车道变化安全指示器，载于：AutomotiveUI 2017-第9届国际ACM汽车用户界面和交 互式车辆应用会议， 附属会议记录， 2017年， 第11页。 217http://dx.doi。org/10.1145/3131726.3131757。[9]V. Krassanakis，M.P. Da Silva，V. Ricordel，在观察无人机（UAV）视频期间监测人类视觉行为，无人机2（4）（2018）36，http://dx.doi.org/10.3390/drones2040036。[10] S.- E.穆恩，J. - H.金，S.- W.金，J. - S.李，预测汽车设计感知使用脑电图和凝视模式，IEEEtrans.affect。Comput.12（4）（2021）843http://dx.doi.org/10.1109/TAFFC.2019.2901733[11] C. Antonya，F. Gargrbacia、C. Postelnicu，D.沃伊特，S. Butnariu，显著性检测在虚拟驾驶环境中改善自动驾驶车辆的行为，见：Lect. Notes Comput. Sci.（包括Subser。Lect. Notes Artif. 内特尔 Lect.Notes Bioinformatics），在：LNCS，第12980 卷 ， 2021 年 ， 第 129 页 。 511 http://dx.doi 。 org/10.1007/978-3-030-87595-4_37。[12] D.J. Harris，K.J. Hardcastle，M.R. Wilson，S.J. Vine，评估沉浸式虚拟现实中凝视行 为 的 学 习 和 转 移 ， 虚 拟 现 实 。 25 （ 4 ） （ 2021 ）961http://dx.doi.org/10.1007/s10055-021-00501-w[13] T.亚瑟等人，调查明确的上下文线索如何影响自闭症成年人的预测感觉运动控制，J。 自闭症发展混乱。（2022）http：//dx.doi.org/10.1007/s10803-022-05718-5网站。[14] 诉Krassanakis，V.菲利帕科普卢湾Nakos，地图背景上的移动点符号的检测，J.Eye Mov.2004。Res. 9（2）（2016）http://dx.doi.org/10.16910/jemr.9.2.2.[15] D.J. Harris，M.R.威尔逊，T.霍姆斯，T. de Burgh，S.J. Vine，Eye movements insports research and practice：Immersive technologies as optimal environmentsfor the study of gaze behavior，Neuromethods 183（2022）207-221，http：//dx. doi.org/10.1007/978-1-0716-2391-6_12网站。[16] A.J. Berges，S.S. Vedula，A.查拉Hager，M. Ishii，A. Malpani，眼动跟踪和运动 数 据 预 测 内 窥 镜 鼻 窦 手 术 技 能 ， 喉 镜 （ 2022 ）http://dx.doi.org/10.1002/lary.30121。[17] 答 ： F. Perrin， V. Krassanakis， L. Zhang， V. Ricordel， M.P. Da Silva， O. LeMeur，EyeTrackUAV 2：无人机视频的大规模双目眼跟踪数据集，无人机4（1）（2020）1http://dx.doi.org/10.3390/drones4010002[18] V. Krassanakis，P. Cybulski，制图学中的眼动跟踪研究：国际摄影测量和遥感学会国际地理信息杂志。10（6）（2021）http://dx.doi.org/10.3390/ijgi10060411.[19] T. Blascheck，K.库尔扎尔斯湾Raschke，M.伯奇，D。Weiskopf，T. Ertl，眼动追踪 数 据 的 可 视 化 ： 分 类 和 调 查 ， Comput。 Graph.论 坛 36（ 8） （ 2017）260http://dx.doi.org/10.1111/cgf.13079[20] L.卡瓦涅罗-戈麦斯河赫瓦斯岛冈萨雷斯湖 Rodriguez-Benitez，Eeglib：用于EEG特征提取的Python模块，SoftwareX 15（2021）100745，http：//dx.doi.org/10.1016/j.softx.2021.100745网站。[21] V.S. Bokharaie ， Mitfat ： A python based analysis tool for molecular fMRIexperiments ， J.OpenSourceSoftw.6 （ 58 ） （ 2021 ） 2827 ，http://dx.doi.org/10.21105/joss.02827。