互联网干预25（2021）100432社交环境中的虚拟现实面部情绪识别：一项眼动跟踪研究C.N.W. Geraets a，*，S. Klein Tuente a，B.P. Lestestuiver a，M.van Beilen a，S.A. Nijman a，b，J.B.C. Marsman c，W. 韦林aa荷兰格罗宁根大学格罗宁根大学医学中心精神病学系b荷兰阿森GGZ-Drenthe精神病科c认知神经科学中心，细胞生物医学科学系，格罗宁根大学，格罗宁根大学医学中心，荷兰A R T I C L EI N FO保留字：虚拟现实情感识别眼动追踪影响情绪化身A B S T R A C T背景：虚拟现实（VR）使管理现实和动态刺激的社会背景下的评估和训练的情绪识别。我们测试了一种新的VR情感识别任务，通过比较VR，视频和照片任务中的情感识别，调查识别的协变量并探索VR中的视觉注意力。方法：健康个体（n= 100）完成三个情绪识别任务;照片，视频和VR任务。在VR任务期间，对VR街道环境中的虚拟角色（化身）的情绪进行评级，并在VR中记录眼动跟踪。结果：VR的识别准确率（总体为75%）与照片和视频任务相当。然而，也有一些不同之处;厌恶和快乐在VR中的准确率较低，与视频任务相比，VR中的惊讶和愤怒的准确率更高。参与者花更多的时间来识别厌恶，恐惧和悲伤，而不是惊讶和快乐。一般来说，注意力集中在眼睛和鼻子部位的时间比集中在嘴巴部位的时间要长。讨论：沉浸式VR任务可用于情绪识别的训练和评估。VR可以在与日常生活相关的环境中轻松控制化身。经验证的情感表达和任务将与临床应用相关1. 介绍识别面部情绪表情对日常社会功能至关重要在患有神经和精神障碍的患者中已经发现面部情感识别的损伤（Henley等人，2012;Griffiths等人，2019; Kohler等人，2011年; Savla例如， 2013;Dalili等人， 2015年）。因此，情绪识别任务是评估和培训的关键，以改善社会认知和功能（Horan和Green，2019）。最近，沉浸式虚拟现实（VR）已经成为一种很有前途的方法。传统的使用照片或视频的情感识别任务有几个缺点：刺激不能很容易地被操纵以适应任务难度（Calvo和Nummenmaa，2016）。此外，大多数刺激只在白色或中性背景下显示孤立的面部或上身。此外，人们并不在场的情况下，因为他们在看2D电脑屏幕或照片。相比之下，日常生活中的情感识别发生在复杂的环境中，并且经常在互动中发生。因此，传统的任务在捕捉现实生活中情感识别的复杂性方面受到限制。基于VR的评估和培训材料可以提供一种解决方案;虚拟面孔是动态的，可适应的，并且能够进行交互式练习（Grabowski等人，2019;Nijman等人，2019; Nijman等人，2020年）。使用内隐测量的研究表明，沉浸式VR可以用来引发情绪（Marín-Morales等人，2020年）。在VR中，情感刺激可以在相关的3D环境中呈现，类似于日常生活中发生情感识别的场景。 例如，物理环境、噪音、环境的拥挤程度以及对情况的评价都可以通过分散和吸引注意力来影响情绪识别。在有认知障碍的* 通讯作者：格罗宁根大学，格罗宁根大学医学中心，精神病学系，PO BoX 30.001，9700 RB格罗宁根，荷兰。电子邮件地址：c. n.w. umcg.nl（C. N.W.Geraets）。https://doi.org/10.1016/j.invent.2021.100432接收日期：2020年12月23日;接收日期：2021年6月20日;接受日期：2021年7月14日2021年7月17日在线提供2214-7829/© 2021作者。由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表互联网干预期刊主页：www.elsevier.com/locate/inventC.N.W. Geraets等人互联网干预25（2021）1004322±特别是，环境可能会影响情绪识别（Wieser和Brosch，2012）。在精神病或焦虑症中，环境因素可能会影响注意力和感知，因为对感官刺激更敏感，过度警觉，信息处理速度降低或情境诱导的恐惧（Wieser和Brosch，2012; Mühlberger等人，2008; Nikolaides等人， 2016; Sasson等人， 2007; Sasson等人， 2016年）。已经在各种障碍中观察到对面部和社交场景的视觉注意力的偏差，所 述 障 碍 例 如 精 神 病 、 社 交 焦 虑 、 行 为 障 碍 和 自 闭 症 谱 系 障碍（Griffiths等人，2019; Dechant等人，2017; Toh等人，2011; Martin-Key等人，2018年）。对精神病的眼动追踪研究显示，面部扫描受限，通过避免突出的面部特征（眼睛、鼻子和嘴）等特征化（Toh等人，2011年）。研究发现，当有更多的人在场时，自闭症患者对面部的注意力较少，这与通常发育中的成年人形成对比（Guillon et al.，2014年）的报告。此外，社交焦虑的人被发现在VR列车中执行社交互动任务时，更多地关注AV-atar的身体和环境，而不是面部（Dechant等人， 2017年）。隔离的静态和动态2D虚拟面部的有效性先前已经在健康人群和患有精神障碍的人中显示（Gut i′errez-Maldonado等人， 2013;Dyck等人，2008;Dyck等人， 2010年;Gut i'errez-Maldonado等人， 2012年）。这些研究报告说，真实和虚拟面孔的情感识别准确率是相似的，其中快乐被识别得最好。悲伤、愤怒和厌恶等负面情绪是最难识别的。然而，沉浸式3D VR中的情感感知仍然未知。我们研究了一种用于评估和训练的新型沉浸式VR情感识别任务。这是通过1]将识别准确性与两个常规任务进行比较来完成的（Young等人，2002; Bryson等人，1997年），2]探索协变量（年龄，性别，教育和VR环境干扰因素在街道拥挤方面），和3]阻止-通过VR中的眼动追踪挖掘视觉注意力。我们预计女性和教育水平较高的人会有一些优势（Bediou等人，2007; Kret和De Gelder，2012; Meletti例如，2009年; Kestival等人，2014年），以及由于年轻人更多地接触计算机，虚拟面孔比真实面孔的年龄相关下降更强（Dyck等人，2008年）。我们预计环境干扰会降低情绪识别的准确性和速度。关于视觉注意力，假设在虚拟面部中，像真实面部一样，大多数注意力集中在眼睛上（Wells等人，2016），并且针对显著面部特征（眼睛，鼻子和嘴巴）的注意力比例在情绪之间存在差异（Eisenbarth和Alpers，2011）。最后，我们期望更多的注意力集中在更难评价的情绪的显著特征上，即，准确率较2. 材料和方法2.1. 程序使用传单和社交媒体（即，Facebook和Twitter）。参与者被研究人员告知并签署知情同意。他们获得了10欧元的参与补偿。中 单个90分钟 会议，与会者完成 一个人口问卷和三个情感识别任务;照片，视频和VR任务。给药顺序随机化。参与者被随机分配到VR环境中完成VR任务，其中环境干扰物的数量较少或较多。格罗宁根大学心理学系伦理委员会给予了伦理批准。2.2. 措施2.2.1. 照片任务-面部情绪表达：刺激和测试（FEEST）（Young等人，（2002年）FEEST是一个10分钟的计算机任务，由60张描绘6种基本情绪（愤怒、厌恶、恐惧、快乐、悲伤或惊讶，见图2）的图片组成。面部显示5秒，之后参与者决定显示哪种情绪2.2.2. 视频任务- Bell-Lysaker情感识别测试（BLERT;荷兰版）（Bryson等人，（1997年）BLERT由35个10秒的视频片段组成，其中演员说情感模糊的句子（图2）。通过身体语言、面部表情和语调，表达一种基本的情感，或者说一种中性的表情。参与者必须指出描绘的是任务大约需要8分钟。2.2.3. VR情感识别任务VR任务在CleVR创建的VR街道环境中进行，参与者对虚拟角色（化身）的情绪进行评级（图1）（Nijman等人，2019年）。VR是通过Oculus Rift DK2 呈 现 的 ， 它 集 成 了 眼 动 追 踪 器 （ SensoMotoricInstruments）和带有环境街道噪音的耳机。参与者通过改变他们的身体方向和操作一个操纵杆来导航街道，从而实现向前和向后的运动。20个化身站在VR街道环境中的随机位置。当参与者在两米半径内移动时，化身将其位置朝向参与者并显示情绪（愤怒，厌恶，恐惧，快乐，悲伤，惊讶或中性）10秒。与此同时，一个选择界面弹出，显示了四个随机选项，一个正确选项，三个错误选项。可以用操纵杆选择答案。屏幕通过变绿（正确）或变红（错误）提供反馈。如果回答错误，则给予第二次机会街道上的化身数量被操纵;在低环境分心条件下，没有额外的化身穿过街道，而在高环境分心条件下，22个中性外观的化身悠闲地穿过街道。该任务需要大约12分钟的时间。2.3. 眼睛跟踪在VR任务期间，用75 Hz HMD集成眼动仪（SMI）记录双眼的眼动。在VR任务开始之前，进行了9点校准。使用有限半径Voronoi曲面细分方法为眼睛、鼻子和嘴巴预定义感兴趣区域（AOI），该方法被发现是用于面部刺激的最客观和最鲁棒的方法（图1）（Hessel等人，2016年）。AOI被编程为当参与者查看AOI时进行注册。在刺激之前不注意力，操作为凝视时间计算每个AOI和情绪。相对注视也以每个AOI和情绪的百分比计算。相对注视是通过将特定AOI的注视持续时间除以每个情绪观看化身的AOI（眼睛、鼻子和嘴）的总时间来计算的。通过比较实验前半部分和后半部分的注视时间，检查眼动跟踪数据是否存在可能的漂移。在漂移或校准不足的情况下，不使用眼动跟踪数据。2.4. 统计使用SPSS 24进行分析。意义被接受 p <0.05。<情绪准确率（正确百分比）与RM-ANOVA或非参数为VR任务中，只有对第一次尝试的响应用于分析。对每个任务进行回归分析，探讨了识别准确性、年龄、性别和教育之间的关联的混淆矩阵C.N.W. Geraets等人互联网干预25（2021）1004323Fig. 1. VR街道环境，以及头像上的AOI位置。AOI被缩放为头像的脸的大小。 （资料来源：CleVR.）图二、A）VR任务、B）照片任务（FEEST）和C）视频任务（BLERT）的情绪刺激的示例。做出正确和不正确的回答，并报告发生的百分比。使用t检验或非参数Mann-WhitneyU检验比较低和高VR牵张条件的准确性。眼动数据采用RM-ANOVA对情绪（愤怒、厌恶、恐惧、快乐、悲伤和惊讶）、AOI（眼睛、鼻子）、和 口 ） 和 分 心 状 态 （ 低 和 高 ） 。 如 果 违 反 球 度 假 设 ， 则 应 用Greenhouse-Geisser校正。为了进一步分析情绪之间的差异，进行了单因素方差分析。对事后成对比较进行Bonferroni校正。C.N.W. Geraets等人互联网干预25（2021）1004324=-- -- -图三. 每个情绪识别任务的识别率。成对比较显著性为 *p 0.05或 **p 0.001。<<3. 结果共纳入100名参与者（M年龄37.1，SD年龄12.3），其中57人为女性。参与者的教育水平各不相同：23%的职业教育，18%的高中教育，33%的高等教育和26%的高等教育/大学学位。由于VR中的恶心（n=1）和技术问题（FEEST n= 1; BLERT n= 4; VR），数据随机缺失任务n= 4）。3.1. 情感识别对于VR任务，惊喜的识别准确率最高（93.7%）。幸福（86.7%）和愤怒（82.7%）也有很高的准确率。悲伤（69.7%）、恐惧（69.6%）和厌恶（53.8%）的识别正确率最低。在高和低牵引条件下，准确性没有显着差异。三项任务的情绪准确率相当相似（图3）。RM-ANOVA确定了VR任务与照片（FEEST）和视频（BLERT）任务之间的准确性差异。与VR任务相比，FEEST的快乐和厌恶以及BLERT的厌恶具有更高的识别准确率。愤怒和惊讶在VR中的表现明显好于视频任务。的困惑 矩阵X示出 的 厌恶 是 最 通常见图4。每个情绪和AOI的总样本的绝对注视持续时间。成对比较显著性为 *p0.05。<在所有任务中与愤怒混淆（表1）。然而，在VR和照片中，恐惧主要与惊讶混淆。对于视频任务，恐惧最常与悲伤混淆。在VR和视频评级的面孔中都发现了将悲伤与中性混淆的倾向。对于照片来说，中性是不可能的，悲伤主要是与恐惧和厌恶混淆。愤怒主要与厌恶、惊讶（除了视频任务）或中性混淆。在三个情绪识别任务中，性别或教育程度都不能预测识别准确性。对于BLERT，预测精度（b0.38，p 0.001）;进一步分析显示<这种年龄效应表现为悲伤厌恶和恐惧年龄也影响VR任务的准确性（b0.59，p 0.001）;每10岁，情绪识别表现平均下降5.9%。<每种情绪的分析表明，这种年龄效应是一贯存在的所有情绪，除了惊喜。表1混淆矩阵X显示每个任务的正确和不正确回答的百分比正确答案快乐惊讶愤怒悲伤恐惧厌恶VR任务选择的答案幸福86.73.91.11.11.61.1惊喜3.993.74.62.115.62.9愤怒0.71.182.73.50.828.5悲伤1.80.00.069.76.15.0恐惧0.41.11.82.569.65.8厌恶0.40.44.63.23.253.8中性6.30.05.318.03.22.9照片任务（FEEST）选择的答案快乐99.31.00.10.00.10.0惊喜0.690.88.04.618.41.0愤怒0.00.279.42.60.722.8伤心0.10.21.272.31.61.3恐惧0.07.02.510.772.50.5厌恶0.00.78.89.86.674.4视频任务（BLERT）选择的答案幸福86.914.80.20.21.70.4惊喜5.663.51.00.86.73.5愤怒0.04.074.80.21.317.5悲伤0.41.02.172.310.25.2恐惧0.21.70.612.565.81.9厌恶0.06.315.00.66.566.7中性6.98.86.313.36.34.8C.N.W. Geraets等人互联网干预25（2021）1004325====SD=-=-=-=-===-=-=----=3.2. 眼睛跟踪50名参与者具有良好质量的眼动追踪数据（M年龄= 35.7，年龄12.4岁; 48%为女性）。由于校准不充分（n 25）、配戴软性角膜接触镜/眼镜（n 13）、技术问题（n6）、任务未完成（n3）、电脑病（n（二）漂移（n 1）。对于绝对注视持续时间（图4和表2），RM-ANOVA显示AOI的主效应（F（2，96）12.4; p 0.01）。<事后比较显示，更多的时间花在看眼睛（M1.58; SE0.14）和鼻面积（M1.42; SE0.11）嘴（M）0.78; SE0.12）。此外，类型的主效应观察到情绪（F（5，184））17.7; p 0.01）。<总的来说，快乐的脸被认为是最短的，而厌恶和悲伤的脸被认为是最长的。情绪与AOI之间存在轻微的交互作用（F（6，282）2.1; p 0.06）。AOI的方差分析显示，与惊讶相比，厌恶和悲伤的眼睛花费了更多的时间。此外，花在悲伤的眼睛上的时间明显多于快乐。此外，与悲伤，恐惧和厌恶的面孔相比，参与者在观看惊讶面孔时花费的时间更少。对于嘴巴，没有观察到情绪之间的差异。发现AOI和牵张条件之间存在轻微显著的相互作用（F（2，81）2.8; p 0.08）; 高分心条件下，更多的时间花在看的眼睛和更少的嘴相比，低分心条件。对于相对注视，AOI的显著主效应（F（2，77））15.0; p<事后比较显示，注视的大部分时间是指向眼睛（M 42.2%; SE 2.8%）和鼻子（M37.5%; SE 1.7%）与口腔（M20.2%; SE 2.5%）。情绪与AOI之间存在显著的交互作用（F（10，480）） 3.7; p0.00）。事后比较表明，对于愤怒和快乐，与其他情绪相比，眼睛的注意力比例较小，鼻子的注意力比例更大。4. 讨论我们研究了一种用于神经精神评估和训练的新型VR情感识别任务。我们的研究结果支持VR任务的有效性;虚拟面孔中的情感识别准确性和混淆模式与照片和视频中的真实面孔非常相似，除了厌恶，这在VR中识别得不太准确。这是一个年龄效应;年轻人对虚拟面孔的评价更准确。眼球追踪显示，表2主要集中在眼睛和鼻子上，与其他情绪相比，当看到快乐和愤怒的面孔时，眼睛的注意力相对较少。虚拟和真实面部任务之间的相似性支持VR任务的有效性和实用性，并且还支持情绪化身一般用于训练和干预的实用性，例如基于VR的CBT（Nijman等人，2019; Pot-Kolder等人，2018; Klein Tuente等人，2018年）。 随着VR领域的迅速发展，经过验证的情感表达将与未来的临床应用密切相关4.1. 虚拟与真实的情感在大样本范围内对三个任务进行直接比较是本研究的一个重要优势。当考虑到任务之间的差异时，结果非常相似。任务在刺激的数量、呈现方式、言语信息的存在、颜色、强度和动态方面存在差异。虽然使用照片或视频似乎更方便，如果它们产生相同的信息，VR提供了重要的优势。VR任务可以很容易地个性化并实现交互（例如，注视方向，言语交互）（Nijman等人，2019年）。此外，融入沉浸式环境可以增强生态有效性，并促进在类似于现实生活情况的环境中的实践。与之前的研究一致，我们发现识别准确率惊讶和快乐最高，其次是悲伤和愤怒，恐惧和厌恶最低（Calvo和Nummenmaa，2016）。与照片和视频任务相比，厌恶是虚拟面孔中唯一没有达到令人满意的识别的情绪。然而，与真实面孔类似，虚拟厌恶主要与愤怒混淆。虚拟面孔中厌恶识别的这种限制是有据可查的（Guti'errez-Maldonadoet al.， 2013;Dyck等人， 2008;Fabri等人， 2002年）。虽然已经取得了显着的进步，识别准确率在十年内从20%提高到55%（Guti'errez-Maldonadoet al.， 2013; Calvo等人，2018; Spencer-Smith等人，2001年），有人建议，可以通过改善在鼻子的底部（Dyck等人，2008年）。或者，有人认为厌恶代表了一种情感的混合物，而不是一种基本情感（Kohler et al.， 2004年）。这可能会导致创建和识别厌恶，也许60-70%左右的识别率虚拟面孔中的混淆模式与真实面孔中的模式非常相似。根据Calvoand Nummenmaa（2016）的研究，恐惧最常被误认为是惊讶，厌恶被误认为是愤怒，悲伤被误认为是厌恶和中性。出乎意料的是，VR悲伤主要与中性而不是厌恶混淆，每种情绪和分心条件下凝视持续时间的平均值和标准差低牵张（n= 25）高牵张（n= 25）眼睛鼻子嘴巴总计眼睛鼻子嘴巴总计绝对注视持续时间（秒）惊喜0.86（0.56）0.88（0.54）0.51（0.47）2.25（0.83）1.22（0.79）0.87（0.47）0.39（0.39）2.48（1.08）0.23快乐1.11（0.71）1.29（0.84）0.91（0.94）3.30（1.26）1.37（1.13）1.24（0.73）0.56（0.70）3.18（1.67）-0.12愤怒1.19（0.88）1.37（0.85）0.79（0.81）3.35（1.49）1.81（1.64）1.46（0.71）0.53（0.52）3.80（2.28）0.45恐惧1.37（0.77）1.49（1.36）0.96（1.21）3.82（2.22）2.07（1.17）1.54（0.96）0.80（0.93）4.41（2.12）0.59厌恶1.45（0.83）1.62（1.14）1.12（1.16）4.19（1.92）2.51（2.17）1.69（0.84）0.84（0.90）5.05（2.83）0.86悲伤1.89（1.70）1.89（1.70）1.10（1.72）4.87（3.28）2.14（1.64）1.65（0.99）0.83（0.91）4.62（2.70）-0.25总计1.31（1.02）1.42（1.16）0.90（1.12）1.86（1.53）1.41（0.84）0.66（0.76）相对注视持续时间（%）惊喜38.0（23.3）37.8（16.3）24.2（24.4）47.0（20.2）34.8（10.6）18.3（17.3）幸福36.1（21.7）38.3（15.7）25.6（21.4）42.3（23.2）39.8（16.6）17.8（17.7）愤怒35.9（21.4）40.2（17.1）23.9（21.7）42.6（21.1）41.8（13.1）15.6（13.6）恐惧41.3（22.5）36.7（15.7）22.1（21.0）49.5（19.3）33.9（12.6）16.6（17.1）厌恶38.3（20.4）36.8（14.4）24.9（19.2）47.9（18.7）35.2（11.9）16.8（14.0）悲伤41.8（25.8）38.5（16.0）19.7（20.7）46.3（21.0）36.4（14.7）17.3（15.7）总38.8（22.3）38.0（15.6）23.4（21.1）45.9（20.5）36.9（13.5）17.1（15.7）C.N.W. Geraets等人互联网干预25（2021）1004326±==-=-=这可能归因于前述的VR中的厌恶的非最佳呈现。在目前的研究中，年龄与VR和视频任务中的情绪识别准确性呈负相关。对于另一个2D VR情感识别任务，已经发现了可比较的年龄相关的下降（Dyck等人，2008年）。电脑游戏暴露被认为是一种解释。然而，游戏并没有完全解释年龄相关的衰退，因为即使在校正游戏体验后，年龄效应仍然存在（Dyck等人，2008年）。此外，我们发现性别和教育水平与任何任务的准确性都无关。虽然女性和高等教育水平在一般人群中有微妙的优势，但研究结果并不一致（Bediou等人，2007; Kret和DeGelder，2012; Meletti等人，2009年; Kestival等人，2014年）的报告。对于抑郁症和双相情感障碍，已经发现了教育和情感感知之间的正相关，但对于精神分裂症则没有发现（Kohler等人，2011; Kohler等人，2010年）。 这表明，更好的神经认知技能或智力可能发挥着特定于疾病的补偿作用。4.2. 环境干扰物和眼动追踪没有发现更多的环境干扰时，准确性的差异，即使更高数量的刺激可能更需要的认知能力。可能，健康的人有足够的认知能力来处理刺激的数量，或者由于刺激的中性，干扰物的影响可能很小（Wieser和Brosch，2012）。眼球追踪数据确实显示了一些潜在的有趣模式。对于4/6的情绪，在拥挤的街道上，凝视的时间更长（稍微显着）。更具体地说，在拥挤的街道上，人们的目光平均要多停留0.5秒。这可能意味着在更具挑战性的情况下，眼睛区域更重要。与之前的研究一致，积极情绪需要对显著面部特征的关注最少，分别为2.4秒的惊喜和3.2秒的幸福（Calvo和Nummenmaa，2016; Wells等人，2016年）。厌恶、悲伤和恐惧的低识别准确性反映在较长的凝视持续时间（4.5秒）中（Wells等人，2016; Eisenbarth和Alpers，2011;Calvo等人，2018年）。这说明在无约束探索期间，人们在决策之前花费大量时间，并且表明出于训练目的，甚至更大或无约束的时间窗口可能是合适的。眼睛和鼻子比嘴巴更容易引起注意。眼-嘴区域中的这种差异与真实面部中的发现一致（Wells等人，2016; Eisenbarth和Alpers，2011）。虽然吸引到鼻子区域的注意力可能看起来很大，但该区域包含鼻唇沟区域和脸颊的一部分，其中包含通过鼻孔扩张和扩大的信息。同样，Calvo等人（2018）报告说，在对视频中的情绪进行评级时，大约有40%的时间注视着鼻子区域。对于悲伤和厌恶，与公认的惊喜相比，注意力被引导到眼睛和鼻子上的时间更长;此外，快乐和悲伤也有显着差异。这些发现强调了眼睛的重要性。注意力通常停留在眼睛上的时间比其他区域长，例如嘴巴，随着情绪变得越来越难以识别，这种相对差异变得更加明显（Escheren-barth和Alpers，2011）。有趣的是，对于环境干扰物也发现了类似的趋势;随着环境中存在更多的化身，平均8.5%的注意力被吸引到眼睛上。关于相对注视时间，参与者直接注视眼睛的时间百分比较短的愤怒和高兴的脸比其他情绪。与先前的研究一致，降低这些表达的重要性。当看到快乐的面孔时，与其他情绪相比，嘴部的注意力比例略高（范围：0-4%）。最初，我们期望通过嘴传达更多的信息，因为微笑是幸福的。 对此的解释可能是，识别微笑可能是如此简单，几乎不需要任何时间。或者，虚拟的嘴巴可能缺少某些笑纹。然而，在照片任务中发现了与我们研究相似的结果，作者认为嘴和眼睛对于快乐识别同样有价值（Wells et al.，2016年）。4.3. 限制一般的限制是使用自我报告的眼睛问题（例如，眼睛敏锐度和立体盲）、神经和精神疾病。照片、视频和VR任务在情感呈现方式上有很大不同，例如，彩色和黑白，不同的情感和声音强度。这限制了关于任务的哪些方面导致了情绪识别分数差异的结论。然而，我们选择这些任务是因为我们想将VR任务与临床实践中常用的现有验证任务进行比较。此外，FEEST中没有中性选项。然而，由于FEEST显示出高强度的情绪，我们预计中性的影响是微不足道的（Calvo和Nummenmaa，2016; Wells等人， 2016年）。目前研究的一个主要局限性是由现有软件的限制造成的。在VR任务中，参与者只提供了四种情绪可供选择，这可能会影响准确性得分，因为通过随机猜测，人们在VR任务中有25%的机会正确回答，而照片任务的机会为16.6%。此外，还提供了反馈意见，并给予了两次机会。尽管只有第一次尝试被用于分析，但这可能会导致学习效应。为了检查参与者的情绪识别准确性是否随着时间的推移而提高（即，调查在试验期间是否有任何学习效果），我们分析了VR任务的前半部分和后半部分（每半部分由10个项目组成）之间的情绪识别准确性差异。平均准确率在任务的前半部分为74%，在后半部分为76%，表明试验中的学习效果很小。此外，我们还检查了第二次尝试的正确率。在第二次尝试中，惊讶和快乐也被认为是最好的：惊讶94.4%（n 18），快乐89.5%（n 38），愤怒82.4%（n 51），厌恶80.7%（n恐惧79.5%（n 117），悲伤78.2%（n 87）。最后，VR眼动跟踪需要进一步发展;在进行研究时，除了VR环境之外，不可能连续记录眼动跟踪，因为这在图形上要求太高。因此，AOI是预先编程的，减少了对环境干扰物的视觉注意力进行详细分析的时间。此外，眼睛跟踪系统只能在75 Hz的频率下记录，这是相对较低的频率，并且妨碍了对诸如扫视的其他测量的准确检测。尽管需要谨慎地对待扫视，因为发现电脑病会影响扫视（Cebeci等人， 2019年）。4.4. 未来研究未来的研究将需要调查患者样本中的VR情感识别任务，其中情感识别问题很常见，例如患有精神病，自闭症和神经损伤的患者。由于认知和注意力的损害，环境预计对神经或精神疾病患者的情绪识别技能有更大的影响。这些信息与我们如何训练情绪识别技能有关，因为当前的干预措施通常使用孤立的面孔作为练习刺激，即使在现实生活中，识别发生在高度复杂和苛刻的情况下。此外，还需要研究虚拟和真实情感面孔处理的认知和神经机制。在不同类型的任务（照片，视频和VR）中使用眼动跟踪可以是第一步。最后，诸如瞳孔扩张的隐式生理测量可以为情绪刺激的处理提供有价值的见解（Cebeci等人，2019年;斯诺登等人，2016; Chen等人， 2017年）。C.N.W. Geraets等人互联网干预25（2021）10043275. 结论沉浸式虚拟现实似乎是一种很有前途的面部情绪识别方法。虚拟面孔和真实面孔的识别模式相似。这对当前和未来的干预和研究具有临床重要性使用可以用作刺激。目前，这种VR刺激尤其用于社会认知训练以及焦虑和精神病的认知行为治疗（Nijman等人，2019; Pot-Kolder等人，2018;Freeman等人，2019年）。此外，神经精神评估和培训可以受益于VR的可能性，使人们在与日常生活相关的社会背景下接触动态情绪资金这项研究没有从公共、商业或非营利部门的资助机构获得任何具体的竞争利益作者声明，他们没有已知的可能影响本文所报告工作确认一个也没有。引用亨利医学博士诺瓦克麻省理工学院弗罗斯特，C.，金，J.，Tabrizi，S.J.，沃伦，J.D.，2012.亨廷顿舞蹈症的情绪识别：一项系统综述Neurosci. Biobehav. Rev.36（1），237-253。https://doi.org/10.1016/j.neubiorev.2011.06.002网站。Griffiths，S.，Jarrold，C.，Penton-Voak，I.S.，伍兹，A.T.，斯金纳，A. L.， Munafo`，M.R.，2019.自闭症谱系障碍的年轻人从面部表情中识别基本情绪受损：评估表达强度 的 重 要 性J.自 闭 症 发 展 混 乱49 （ 7 ） ， 2768-2778 。https://doi.org/10.1007/s10803-017-3091-7。科勒，C.G.，霍夫曼，L.J.，Eastman，L.B.，Healey，K.，Moberg，P.J.，2011.抑郁症和双相情感障碍的面部情绪感知：一项定量综述。Psychiatry Res. 188（3），303-309.https://doi.org/10.1016/j.psychres.2011.04.019网站。Savla，G.N.，维拉湖阿姆斯特朗，C.C.，宾夕法尼亚州，Twamley，E.W.，2013年。赤字精神分裂症的社会认知领域：经验证据的荟萃分析。精神分裂症Bull.39（5），979-992. https://doi.org/10.1093/schbul/sbs080网站。Dalili，M.N.，Penton-Voak，I.S.，Harmer，C.J.， Muna fo`，M.R.，2015年。的meta分析重度抑郁症的情绪识别缺陷Psychol. Med. 45（6），1135-1144.https://doi.org/10.1017/S0033291714002591网站。Horan，W.P.，格林，M.F.，2019年。精神分裂症的社会认知治疗现状现状和未来方向。精神分裂症Res. 203，3-11. https://doi.org/10.1016/j的网站。schres.2017.07.013。卡尔沃，MG，努门马湖2016.面部表情识别中的知觉和情感机制：一个综合性综述。认知。不客气。30（6），1081-1106.https://doi.org/10.1080/02699931.2015.1049124。Grabowski，K.，Rynkiewicz，A.，Lassalle，A.，例如，2019.精神疾病中的情绪表达：临床医生的新技术。精神病学临床神经科学73，50-62。https://doi.org/10.1111/pcn.12799网站。Nijman，S.A.，Veling，W.，格里尔勋爵，K.，例如，2019.虚拟现实中的动态交互式社会认知训练（DiSCoVR）对精神病患者社会认知和社会功能的影响：多中心研究方案随机对照试验。BMC精神病学 19（272），1-11。https://doi.org/10.1186/s12888-019-2250-0。Nijman，S.A.，Veling，W.，格里尔勋爵，K.，例如，2020.虚拟现实中的动态交互式社会认知训练（DiSCoVR）对精神病患者的影响：单组可行性和可接受性研究JMIRMent Heal. 7（8），e17808https://doi.org/10.2196/17808。Marín-Morales，J.，利纳雷斯角 GuiXeres，J.， AlcanBaziz，M.，2020年。沉浸式虚拟现实中的情感识别：从统计到情感计算。传感器（瑞士）。20（18），1-26. https://doi.org/10.3390/s20185163网站。Wieser，M.J.，Brosch，T.，2012.语境中的面孔：情绪面孔加工的语境影响研究综述与系统化。前面Psychol. 3（471）doi.org/10.3389/fpsyg.2012.00471.Mühlberger，A.，Wieser，M.J.，Pauli，P.，2008.虚拟社交情境中的视觉注意取决于社交焦虑。网络心理学行为举止。11（4），425-430。网址：http：//doi.org/10.1089/cpb.2007.0084Nikolaides，A.，Miess，S.，奥韦拉岛Müller，R.， Klosterkoütter，J.，Ruhrmann，S.，2016年。精神分裂症患者对社会线索的注意力受限。EUR. Arch. 精神科诊所 Neurosci.266 （ 7 ） ， 649-661 。 https://doi.org/10.1007/s00406-016-0705-6网站。C.N.W. Geraets等人互联网干预25（2021）1004328Sasson，N.，Tsuchiya，N.，赫尔利河，例如，2007年以社会刺激为导向自闭症和精神分裂症的社会认知障碍。Neuropsychologia 45（11），2580-2588.https://doi.org/10.1016/j.neuropsychologia.2007.03.009网站。新泽西州萨森，Pinkham，A.E.，Weittenhiller，L.P.，Faso，D.J.，Simpson，C.，2016.精神分裂症和自闭症患者面部情感识别的情境效应：行为和眼-追踪证据精神分裂症Bull. 42（3），675-683。https://doi.org/10.1093/schbul/sbv 176.Dechant，M.，Trimpl，S.，沃尔夫，C.，Mühlberger，A.，Shiban，Y.，2017年。虚拟的潜力现实作为社交焦虑的诊断工具：一项试点研究。Comput. Hum.行为举止。76，128-134。https://doi.org/10.1016/j.chb.2017.07.005网站。Toh，W.L.，Rossell，S.L.，卡塞尔DJ2011年。视觉扫描路径研究现状精神病焦虑症和情绪障碍的调查压缩Psychiatry 52（6），567-579.https://doi.org/10.1016/j.comppsych.2010.12.005网站。Martin-Key，N.A.，格拉夫，E.W.，亚当斯，W.J.，Fairchild，G.，2018.品行障碍患者的面部情绪识别和眼动行为 J. 儿童心理学精神病学联合会 59（3），247-257。https://doi.org/10.1111/jcpp.12795网站。Guillon，Q.，Hadjikhani，N.，Baduel，S.， 罗格，B.，2014年。自闭症谱系障碍的视觉社会注意力：来自眼动追踪研究的见解。Neurosci. Biobehav. Rev. 四十二岁，279-297. https://doi.org/10.1016/j.neu
我的内容管理
展开
