COVID-19时代的智能口罩情感识别

智能系统与应用15（2022）200094COVID 19时代的情感识别：应对口罩Roberto Magherini，Elisa Mussi，Michaela Servi*，Yary Volpe地址：Via Santa Marta 3，50139，Florence，ItalyA R T I C L EI N FO保留字：人工智能COVID 19情绪识别Grad-CAM面部表情识别非语言交流A B S T R A C T通过机器学习技术进行情感识别是一个广泛研究的研究领域，然而，在COVID 19健康紧急情况之后，最近必须戴口罩，这使得迄今为止开发的系统无法应用。人类自然地通过嘴传达他们的情感;因此，迄今为止开发的用于识别受试者情感的智能系统主要依赖于该区域以及其他解剖特征（眼睛，前额等）。然而，如果受试者佩戴面罩，则该区域不再可见。因此，这项工作的目标是开发一种能够弥补这一不足的工具。该工具使用由八类情绪组成的AffectNet数据集。迭代训练策略依赖于众所周知的卷积神经网络架构来识别情绪的五个子类：在预处理阶段之后，训练该体系结构以在八类数据集上执行任务，然后将其重新分类为五类，从而允许在测试集上获得96.92%的准确度。该策略与最常用的学习策略进行比较，并最终集成到实时应用程序中，该应用程序允许检测帧内的面部，确定受试者是否戴着面罩，并识别每个人的当前情绪。1. 介绍一 个 人 不 能 不 交 流 ， 这 是 心 理 学 家 Watzlawich 的 第 一 个 公 理（Watzlawick等人，世界卫生组织强调，在人与人之间的互动中，任何姿态（言语、沉默、活动）都具有信息价值，沟通在公民社会的基础中发挥着关键作用。沟通可以分为7%的语言沟通，38%的副语言沟通（即，语音分析）和55%的非语言交流（通过面部表情、手势、眼神等进行的交流）（Lapakko，1997）;因此，非语言交流强烈影响日常生活的许多方面和人类互动的有效性。具体来说，表达解释可以产生信任、同意的积极感觉，也可以产生自我保护的消极感觉，如恐惧、怀疑等（ Ratliff 和 Patterson ， 2008 ） 。 因 此 ， 面 部 表 情 （ 由 声 音 支 持（Przybyzio，2008，Oosterhof和Todorov，2009））是将我们的感受传达给外部世界的第一个工具，与他人互动，通过它我们感知他人如何与我们沟通。最近的COVID-19疫情形势及随之而来的obli-许多州强制要求定期佩戴口罩， 非语言交流， 罹患重要的信息丢失。事实上，面具隐藏了在识别情绪，特别是幸福感方面起着重要作用的嘴部区域（Blais等人，2012年）。这使得情绪manifestations 难 以 解 释 ， 因 此 破 坏 了 我 们 所 知 道 的 社 会 关 系（Carragher和Hancock，2020年，Olivera-La Rosa等人，Bernsteinand Yovel，2015）。 一些研究表明，面具对情绪的识别产生了强烈的负面影响，阻止了快速印象和同步，并产生了社会距离（Bani等人， 2021，Marini等人， 2021年）。另一个重要的后果是这些保护措施可能对计算机系统执行的自动面部和情绪识别产生影响（Mao等人，2015年，Minaee和Abdolra-shidi，2019年，Kaur和Kulkarni，2021年）。通常，用于自动情感检测的系统，即对情绪敏感的机器和设备，对于丰富和鲁棒的人机交互是至关重要的。近年来，人们对将情感识别与现代人机接口技术相结合的兴趣越来越大（Oosterhof和Todorov，2009）。这一研究领域也在动画、医学和安全等领域得到了广泛的应用（Palagi等人，2020，Hess和Fischer，2013，Tramacere和Fer-rari，2016，Singh等人，2021，He，2022）。一个应用程序，作者认为极大的兴趣，为医疗保健领域，是机器人辅助* 通讯作者：佛罗伦萨大学工业工程系，Via di Santa Marta 3，50139，Florence，Italy.电子邮件地址：roberto. unifi.it（R. Magherini），elisa. unifi.it（E. Mussi），michaela. unifi.it（M. Servi），yary. unifi.it（Y.Volpe）。https://doi.org/10.1016/j.iswa.2022.200094接收日期：2022年2月7日;接收日期：2022年6月16日;接受日期：2022年6月20日2022年6月26日在线提供2667-3053/© 2022作者。出版社：Elsevier Ltd这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表智能系统及其应用杂志主页：www.journals.elsevier.com/intelligent-systems-with-applicationsR. Magherini等人智能系统与应用15（2022）2000942×××自闭症谱系障碍（ASD）儿童的治疗（Richardson等人，2018）或用于患有痴呆的老年患者（Osaka等人，2021，Cruz-Sandoval等人，2020年）。依赖于人形和宠物机器人进行诸如陪伴、作为锻炼教练以及作为日常生活辅助的活动的治疗程序现在越来越受欢迎（Cruz-Sandoval等人，2020年，Szy-mona等人，2021年）。研究正在朝着这个方向发展，使这种机器人越来越有同情心，并能够使用机器学习方法阅读患者随着面罩的引入，这些任务变得更加困难，面罩遮挡了面部的某些部分。 在这个方向上，虽然即使在存在面罩的情况下也已经有效地实现了面部检测系统（Wang等人，2020年，Machiraju等人，2021年），据作者所知，还没有开发出能够自动检测情绪的系统。这项工作的目的是测试实现基于卷积神经网络（CNN）的系统的可行性，该系统能够在戴口罩时从面部识别一些重要的情感类别。具体而言，提出了一种学习策略，以实现高水平的准确性区分情绪。 能够在面部被部分覆盖的情况下自动识别情绪的智能系统的实现可以广泛用于当前的大流行情况，在这种情况下，口罩是强制性的，并且通常在面部的一部分被例如围巾遮挡的情况下。第2提供了有关用于训练的数据集的信息网络和建议的训练算法;第3节报告的结果，在识别情绪和描述的应用程序开发执行任务的实时。在第4节中，对所得结果进行了讨论，并与现成的方法进行了比较。最后，在第5节中起草了结论。2. 材料和方法2.1. 数据集为 了 开 发 情 感 识 别 系 统 ， 作 者 选 择 使 用 AffectNet 数 据 集（Mollahosseini等人，2017年），如 在文献中可用的最多的面部表情数据集之一。原始数据集由约320K手动注释的图像组成，属于八种不同的离散情感类别：快乐，厌恶，愤怒，恐惧，惊讶，悲伤，蔑视和中性。如此组成的数据集是不平衡的，因为类具有显著不同的示例频率，例如，幸福和厌恶类在频率方面的比率约为30：1。图像的分辨率为224224。该数据集由明显不同的图像组成：存在RGB和BW图像，具有不同的亮度和非常异质的背景。 此外，框架主体主要表现为正面描绘，有时存在面部遮挡元素，例如手，头发，帽子，太阳镜等。因此，数据集涵盖了广泛的真实情况，因此充分描述了作者打算实现的工具可以使用的环境条件。在文献中，以前的情感识别研究简单-通过结合情感类别（Mehendale，2020，JA，1994）来简化任务，类似地，在这项工作中，对原始数据集的第一次操作包括将图像重新分类为以下五个类别：愤怒-厌恶，恐惧-惊喜，快乐，悲伤和中性，并消除蔑视类别。重新分类是合理的相似性的一些功能的上部区域的脸在面部表情有关的感情，分别愤怒，厌恶和恐惧，惊喜。特别是在愤怒和厌恶的情况下，眉毛向下，而在恐惧和惊讶的情况下，眉毛一起向上。蔑视类别的消除有两种理由：1）它不是交流中的关键情绪; 2）它是一种表达集中在嘴部区域的情绪，因此如果受试者戴着面具就无法检测到。这种合并过程也带来了部分平衡的数据集。由于这项工作中设想的具体任务包括在面具存在的情况下识别受试者的情绪，因此在第二步中，有必要重新创建一个合适的数据集，其中将合成面具应用于每个描绘的受试者。该处理通过使用MaskTheFace算法（GitHub 2021）实现。简而言之，该算法最初识别面部的倾斜并放置从可用掩模数据库中选择的掩模;随后通过从面部提取六个特征来细化掩模的方向;更多细节在（Anwar和Raychowdhury，2020）中描述。在图1中，在应用上述算法之前和之后的图像的两个示例。2.2. 拟议框架这项工作提出了一个端到端的深度学习框架，它由两个主要模块组成（见图1）。 2）的情况。第一块专用于检查图像的有效性，因为一些图像具有遮挡元素，诸如太阳镜、帽子、微粒阴影等，其不能使前额和眼睛区域可见，使得在存在面罩的情况下不可能识别情绪。因此，第一块的目的是过滤这些图像，考虑有效的那些图像，其中眼睛区域很好地可见，即，对象没有戴太阳镜，并且没有由帽子或其他东西给出的重要阴影。为了实现这个模块，作者测试了一些通常用于迁移学习的主要神经网络架构。迁移学习的主要优点是，它通过重用已经开发的模型的权重来减少开发和训练模型所花费的时间，因此，在可能的情况下，倾向于使用这种方法。在这项工作中，性能最好的网络是ResNet50v2（He等人，2016年）。ResNet 50是残差网络的简化版本，具有50层;该网络试图通过引入具有身份映射连接的残差学习块来解决消失梯度和退化问题。在迁移学习步骤之后，执行微调步骤以提高模型的准确性。这一步涉及解冻整个模型，并以非常低的学习率在可用数据集上对其进行重新训练。通常使用此阶段，因为它可以通过增量地使预训练的特征适应新数据来潜在地导致显著的改进。对于图像验证任务，将图像的大小调整为64六十四岁;通过测试不同的值、寻找较低的训练时间和较高的准确度之间的折衷，根据经验确定该分辨率值。框架的第二块执行情感识别。如前所述，这项工作旨在识别以下五种情绪：愤怒-厌恶，恐惧-惊讶，快乐，悲伤和中性。为此，它使用了著名的架构Inception，经过初步测试，它被认为是最适合这项任务的架构。Inception（Szegedy等人，2016年）在机器学习领域发挥了重要作用。在卷积神经网络中使用Inception模块，以通过使用堆叠的11卷积进行降维来实现更有效的计算和更深的网络。这些模块的目的是解决问题的计算开销，以及过拟合，以及其他问题。简而言之，解决方案是在CNN中采用多种大小的内核滤波器，而不是按顺序堆叠它们，而是将它们排序以在同一级别上操作。随着时间的推移，Inception模块经历了许多修改和改进，在这项工作中，采用了InceptionResnetV2架构，旨在引入剩余连接将开始模块的卷积运算的输出相加，输入.对于网络训练阶段，作者提出了一种偏离典型学习过程的策略：不是在五个类别数据集上执行单个学习阶段，而是连续两个学习阶段。R. Magherini等人智能系统与应用15（2022）2000943图1.一、 MaskTheFace算法在AffectNet数据集的两张图像上应用的两个示例。图二、拟议框架的示意图。首先对原始数据集（八类情绪），然后对重新分类的数据集执行学习阶段。因此，本文提出了一种迭代策略，其中训练过程是重复两次。在训练的第一阶段，对原始数据集执行迁移学习步骤和微调步骤;因此训练网络R. Magherini等人智能系统与应用15（2022）2000944∑==2 μm×=====-经历了第二次训练过程，包括新阶段的迁移学习和对重新分类的数据集的微调。这种策略允许网络以更通用的方式处理问题，然后专门处理新的数据集。在训练的两个阶段中，考虑到数据集的不平衡性，对类进行加权，使模型更加关注属于代表性不足类的元素。为此目的，使用以下公式计算每个类别的权重：在对有效图像进行分类时，即，眼睛区域不被太阳眼镜、阴影或帽子遮挡。第一模块认为有效的图像（264011个图像）构成第二模块的数据集（图2中的右框），即，经过验证的数据集。这些数据被分为训练集（70%），验证集（10%）和测试集（20%）。如前所述，该模型首先在对八种情绪进行分类的任务上进行训练。随后，如上文所解释的，在重新分类的对象上执行模型的训练阶段。Wi=nj=1n埃莱姆斯杂志（一）数据和准确率约为93.53%的训练集，和89.7%的验证集是在10个学习时期之后实现的（图11）。 3）。作为所述埃切列姆斯一世其中Wi表示分配给类i的权重，元素j表示属于类j的元素的数量，并且n表示类的数量对 于 迁 移 学 习 和 微 调 ， 使 用 了 Adam 优 化 器 （ Kingma 和 Ba ，2014），而不是经常使用的随机梯度下降（Reddi等人，2019年），因为它允许处理更多这些结果是通过迁移学习和微调阶段获得的。事实上，在一些测试之后，证实了使用迁移学习阶段的必要性，因为使用迁移学习完全训练模型需要不到25个epoch;没有这个阶段，学习时间是不可比的。一旦训练程序结束，根据以下指标在测试集上评价最终模型：稳定的训练变化，这是由于使用类权重。特别是，对于微调阶段，选择了amsgrad版本中的Adam优化器，学习率为1 e-04，beta_1为0.9，beta_2为0.999，最后的学习率为1 e-07。此外，分类交叉熵损失。准确度TP+TNTP+FP+TN+FNF分数精确度和召回率精确度+召回率（二）（三）对于情感识别步骤，图像的大小被调整为240 240，比前一步更高的分辨率，以提供更高层次的细节，这对任务至关重要为了减少过度拟合一些数据增量-回忆=中文（简体）TP+FN操作（例如翻转图像和改变图像亮度）应用于训练数据集。K-fold交叉验证和Leave One Out（LOO）交叉验证精密TPTP+FP（五）用于验证该方法。更详细地，使用分层k倍版本执行k倍交叉验证（k5），并且对包含与AffectNet数据集之外的九个人相关的五种情绪3. 结果本文中提出的工具是用Python实现的，使用Keras库（Ketkar和Ketkar，2017），Tensor Flow的高级API（Abadi等人，2016年）。使用具有UniX操作系统、Nvidia 3060图形卡和Intel Core i7处理器的机器进行训练。如前一节所述，第一块由图像验证组成，即，当存在所述面部掩模时，识别适合于情感识别的图像。在训练过程之后，用于验证检查的网络达到了98.55%的准确率（在测试集上）其中TP真阳性，TN真阴性，FP假阳性，FN假阴性表1是一个双条目表，每行显示真实类别，每列显示预测类别;最后两列报告了针对每种考虑的情绪获得的准确度和F分数值3.1. k折交叉验证为了确保训练方法的有效性，使用k = 5的k折交叉验证。特别是，为了能够在上述结果和k倍结果之间进行直接比较，使用了相同的测试集。因此，使用分层版本的k折交叉验证将验证和训练数据分为5个文件夹，该交叉验证尝试在训练和验证集中保持每个类别每5折80%图3.第三章。重新分类的 数据集的学习阶段的准确性。R. Magherini等人智能系统与应用15（2022）2000945=表1测试集上预测类的准确性和F分数类a-DF-SHNSTPFPTNFN精度F-scorea-D522245307036522269148773181百分之九十九点三四百分之九十六点六五F-S263815224013381570650245101百分之九十九点六三百分之九十七点四二H2993682419613991382419625928208220491.96%91.65%N3222441881331323513313157638989989百分之九十六点三九百分之九十三点零八S444919674667466742249599179百分之九十九点三五百分之九十六点三一A-D=愤怒-厌恶，F-S=恐惧-惊讶，H=快乐，S=悲伤，Acc=准确的数据用于训练阶段，20%用于根据之前描述的过程的验证图4中报告了使用k倍交叉验证获得的分类准确度。最后在表2中报告了5个模型的训练、验证和测试集3.2. 留一交叉验证为了验证解决方案的通用性，进行了留一交叉验证测试。此过程通常用于使用未包含在训练阶段中的数据来估计模型的性能。具体来说，为了进行这项测试，决定收集新的样本：所有五种情绪的图像都是从9名戴着面具的受试者那里收集的。LOO过程如下：从训练样本中逐个排除每个受试者，其余受试者用于最佳模型的一个小的微调时期（从表2中可以看出，最佳模型是K5），然后使用排除的受试者来测试模型的性能，最后使用原始测试集再次验证所得到的模型。表3显示了LOO过程的结果：可以看出，模型错误分类的唯一情绪是悲伤，并且通常模型能够正确分类44个案例中的40个，保持测试集的准确度高于93%。图 5是两个主题的一个例子。3.3. 梯度图为了调试模型并在视觉上检测网络在图像内“寻找”和“激活”什么，使用了Grad-CAM算法（Selvaraju等人， 2016年）。Grad-CAM的工作原理是找到网络中的最终卷积层，然后检查流入该层的梯度信息该算法的输出是给定的表2每个文件夹达到的准确度值。K= 1 K= 2 K= 3 K= 4 K= 5训练96.60% 96.62% 96.82%96.87%96.98%验证96.64% 96.60% 96.71% 96.66% 96.70%测试96.58% 96.32% 96.81% 96.86% 96.92%表3LOO测试的结果。错误预测是指LOO迭代中排除的受试者。 测试准确度与上述测试集相关。主题错误预测测试精度1悲伤与中性百分之九十六点九二2悲伤与中性百分之九十六点九二3悲伤与愤怒和厌恶百分之九十六点九二4-百分之九十三点四二5-94.63%6-百分之九十三点一四7悲伤与中性百分之九十六点九二8-百分之九十六点九二9-百分之九十六点九二类标签，允许在视觉上验证CNN在图像中的位置。 图图6显示了Grad-CAM算法应用的每个类的示例。3.4. 实时应用该网络获得的良好结果促使作者将该工具集成到实时应用程序中，该应用程序使用网络摄像头，旨在检测受框对象的情绪具体来说，该应用程序识别场景中的主体R. Magherini等人智能系统与应用15（2022）2000946图四、（a）迁移学习和（b）微调5个文 件夹的训练和验证集的 准确 性 。R. Magherini等人智能系统与应用15（2022）2000947图五、 两个 新受试者的五种情绪，从左起：a）愤怒-厌恶，b）恐惧-惊讶，c）快乐，d）中性，e）悲伤。见图6。Grad-CAM算法在五幅图像上的结果示例，这五幅图像代表了五种情绪类别，从左起：a）愤怒-厌恶，b）恐惧-惊讶，c）快乐，d）中性，e）悲伤。该应用程序是使用Python实现的，并得到了CaffeNet开发的网络的支持（Jia et al.， 2014）用于检测图像中的面部，Tensorflow用于情感分类网络和验证网络，后者根据面部遮挡确定输入是否有效。在图7中示出了应用执行的示例;具体地，针对五个情感类别中的每一个，示出了应用的实时响应，以及应用在检测同一图片中的多个面部上的情感的能力 图图8示出了相对梯度图。4. 讨论在表1中报告了在使用k折交叉验证进行训练之前所提出的模型在准确度和F分数方面的性能;选择这些度量是因为通常准确度提供了网络性能的简单和直接的指示，但它没有考虑类别不平衡，或者在F分数度量中考虑的假阴性和假阳性的不同成本。从数值结果（表1）可以看出，该网络如何能够以高准确度区分愤怒-厌恶、恐惧-惊讶和悲伤三个类别，分别为99.34%、99.63%和99.35%。相反，关于Happiness和Neutral类，可以注意到网络如何达到Accu- racy和F-Score的最低值。具体来说，幸福类达到了91.96%的准确度值，这是最低的，尽管是最频繁表示的类。这一现象可以用在引言部分提到，即幸福的情绪在嘴的区域产生更大的表现力。这也影响了中性类的准确性（96.39%），因为网络分析的区域，即眼睛，通常具有与幸福相似的内涵。通过k折交叉验证的验证允许评估所提出的方法的有效性。事实上，使用k折交叉验证获得的结果达到了更高的准确度值。更好的性能是由于一个新的和更平衡的组织的训练和验证集，通过使用分层版本的k折交叉验证。LOO实验通过收集9名戴口罩的新受试者在不同光照和环境条件下的表情进行，显示了网络在保持稳定性能的同时适应新输入的能力。从表3可以看出，在新的情况下，唯一不总是正确分类的表达是悲伤。在作者看来，对悲伤类错误分类的主要原因为了可视化当使用所提出的方法识别情绪时激活的连接，作者使用了Grad-CAM算法;在图8中，可以看到每个示例的相对热图以及面部的哪些区域对于区分一种情绪相对于另一种情绪至关重要。可以观察到，为了识别愤怒-厌恶的情绪，眼睛的轮廓是基本的，而悲伤是通过分析前额的区域来识别的，R. Magherini等人智能系统与应用15（2022）2000948见图7。例如，集成情绪识别网络的实时应用程序：a）愤怒-厌恶，b）恐惧-惊讶，c）快乐，d）中性，e）悲伤，f）多个主题的情绪识别。图8.第八条。 Grad-CAM算法应用于图 1的结果。 7、从左至右：a）愤怒-厌恶，b）恐惧-惊讶，c）快乐，d）中性，e）悲伤。快乐是由眼睛的区域检测到的。可以观察到，活动连接完全涉及面部的上部区域，这表明系统已经学会识别涉及情感表达的唯一解剖区域。为了将所提出的训练策略与面对新任务时使用的最常见和经典的学习方法进行比较，下面示出了作者使用相同的InceptionResnetV2架构实现的两种常见训练策略的结果。第一个策略（策略I）涉及训练模型对最初构成数据集的八种情绪进行分类：第一阶段的迁移学习，等于30个时期，以及接下来的微调阶段，等于50个时期，已经看到网络对训练集的准确率达到97.15%，对验证集的准确率达到45.83%。对于第二个比较策略（策略II），使用了InceptionRes-Netv 2架构，该架构在已经重新分类为五个类别的经验证的数据集上具有单个训练阶段（包括迁移学习和微调）。因此，与建议的学习方法中，不执行对八种情绪的训练阶段，而是对重新分类为五种情绪的数据集进行直接训练。 训练结果如图所示。9.第九条。如图9所示，验证集的准确度达到70%的值，这明显低于用所提出的方法获得的值。图9中呈现的结果在通过交叉验证改变训练集和验证集而执行的实验结果表明，该方法在情感识别能力上有明显的提高。如果策略I和所提出的方法之间的改进可以部分归因于要执行的任务的更高的简单性，则策略II和所提出的方法之间的改进是由于所采用的学习策略。在所提出的方法中，网络首先学习集中在重要的一般特征上，然后集中在特定的情绪上，特别是它们之间的差异。表4总结了在情绪识别任务上获得的准确性结果，其中描述了两种策略和建议的R. Magherini等人智能系统与应用15（2022）2000949表4见图9。 直接在重新分类的数据上训练InceptionResNetv2的准确性。各种情况下，如机器人辅助治疗儿童三种学习方法所达到的精度值的比较自闭症谱系障碍（ASD）或老年痴呆症患者。总之，这项研究证明了检测一种该方法战略一战略二通过机器学习技术，即使戴着口罩，人们通过分析鞋面的特点，首先在八类数据集上训练得到的模型，然后在五类数据集上训练在八类数据集上训练InceptionResNetv2在五类数据集上训练InceptionResNetv2脸的区域在需要佩戴面罩的情况下，例如在医院或实验室中，人们通过对面部上部的解释来检测他们的对话者的情绪，并且通过上下文来促进。考虑到这一点，未来的发展将涉及验证精度96.71% 45.8% 70%分析视频序列而不是单个帧，以允许工具也考虑和学习上下文。此外，未来的发展还将包括分析和研究方法，在验证集上。5. 结论全球社会和卫生动荡自然会影响个人的福祉。COVID 19大流行使这一现象变得明显，影响了全球日常生活的大部分领域。这项工作旨在解决与戴口罩义务有关的社会关系中丧失沟通能力的问题，以限制病毒的传播。尽管科学界一直对用于情感识别的机器学习算法的开发感兴趣，但戴口罩的新要求损害了迄今为止已经开发的内容。考虑到这一点，作者提出了一种深度神经网络的训练方法来解决这一任务。具体地，从由八种情绪（快乐、厌恶、愤怒、恐惧、惊讶、悲伤、蔑视、中性）组成的数据集开始，已经提出了迭代学习策略，其中对原始数据集执行通用训练阶段，然后将原始数据集重新分类为五个类（愤怒-厌恶、恐惧-惊讶、快乐、悲伤、中性）以执行第二训练阶段。该方法被证明是一个很有前途的工具，达到了96.92%的测试集上的五种情绪的识别准确率。鉴于这些令人鼓舞的结果，作者开发了一种简单的应用程序能够实时执行任务。该应用程序首先检测场景中的面部，然后确定图像的有效性（面部上部的可能遮挡），观察并传达面部面具的存在或不存在，最后检测框架主体的情绪。作者认为，开发的工具奠定了基础，使用情绪检测在一个采用进化方法（Bird等人，2019）进行功能选择和微调结果的改进。作者所有符合作者资格标准的人都被列为作者，所有作者都证明他们充分参与了工作，对内容承担公共责任，包括参与概念，设计，分析，写作或修改手稿。CRediT作者贡献声明Roberto Magherini：方法论，软件，调查，数据管理。ElisaMussi：概念化，方法，验证，调查，数据管理，写作&MichaelaServi：概念化，方法论，软件，调查，数据策展，写作&– 概念化、验证、写作&竞争利益作者声明，他们没有已知的可能影响本文所报告工作引用Abadi，M.，等（2016）。TensorFlow：一个大规模机器学习系统。在proc 第12届USENIX Symp.操作员系统Des. 实施，OSDI 2016（pp. 265-283）。 五月R. Magherini等人智能系统与应用15（2022）20009410A. Anwar和A. Raychowdhury，“用于安全身份验证的蒙面人脸识别”，2009年8月25日。2020年。Bani，M.，等（2021年）。面具背后：医疗保健学生的情感识别。医学教育，1，3。 五月伯恩斯坦，M.，&Yovel，G.（2015年）。人脸处理的两条神经通路：对当前模型的批判性评估。Neurosci. Biobehav.版本号：55，536-546。八月Bird，J. J.， 等人（2019年）。一种用于脑机交互的生物启发分类器优化的深度进化方法。 复杂性布莱斯角，罗伊，C.，Fiset，D.，Arguin，M.，&Gosselin，F.（2012年）。眼睛不是基本情感的窗口。Neuropsychologia，50（12），2830-2838. 十月卡拉格，D. J.，&汉考克，P.J. B.（2020年）。外科口罩损害了熟悉和不熟悉面孔的人脸匹配性能。 科根Res. - 是的暗示， 5（1）。号决定Cruz-Sandoval，D.，Morales-Tellez，A.，Sandoval，E. B、&Favela，J.（2020）. 一个社交机器人作为治疗促进者的干预措施，以处理痴呆症相关的行为症状。在2020年ACM/IEEE人机交互国际会议上，161-169）。Mar.GitHub - aqeelanwar/MaskTheFace：将人脸数据集转换为掩码数据集。” 网址：https://github.com/aqeelanwar/MaskTheFace。[访问日期：2021].他，J。（2022年）。基于机器学习的算法合成与情感识别。计算智能和神经科学。君他，K.，张，X.，Ren，S.，&Sun，J.（2016）.深度残差网络中的身份映射。莱克特注释计算Sci. （包括Subser。莱克特注释Artif.内特尔莱克特生物信息学），9908，630-645。LNCSMar。赫斯大学，&Fischer，A.（2013年）。情绪模仿作为社会调节。Personality andSocialPsychology Review，17（2），142-157. 五月雅河（1994年）。是否存在从面部表情中识别情感的普遍性？跨文化研究述评。神经病公牛， 115（1），102-141。一月Jia，Y.，等（2014年）。Caffe：用于快速特征嵌入的卷积架构。在MM 2014 - Proc. 2014 ACM Conf. Multimed（pp. 675-678）。君Kaur，S.，&Kulkarni，N.（2021年）。情感咨询-一个审查。国际应用工程研究杂志，16（2），103-110。Ketkar，N.，Ketkar，N.（2017年）。Keras介绍深度学习与Python（第10页）97-111）。 压。Kingma，D. P.，&Ba，J.（2014）.亚当：一种随机优化方法。在第三届国际会议。学习。代表。ICLR 2015 - Conf. TrackProc. 号决定Lapakko，D.（1997年）。为语言欢呼三声：对一项被广泛引用的非语言交流研究的仔细检查。Communication Education，46（1），63-67. 一月Machiraju，S.，Urolagin，S.，米什拉河K.，&Sharma，V.（2021）.通过实现Mobilenetv2使用Keras，Opencv和Tensorflow进行人脸检测。2021年第三届计算、通信控制和网络进展国际会议（ICAC3N）。1485-1489）。号决定茅角，澳-地R.，平移X。是的，Zhan，Y. Z.，&Shen，X. J.（2015）。使用Kinect通过面部表情进行实时情感识别。 前面INF. Technol. 电子工程师： 16（4），272-282。Apr.Marini，M.，Ansani，A.，Paglieri，F.，Caruana，F.，&Viola，M.（2021年）。面具对情绪识别、信任归因与再认同的影响。Sci. 报告2021 111，11（1），1-14。Mar.Mehendale，N.（2020年）。使用卷积神经网络（FERC）的面部情感识别。SN应用科学2020 23，2（3），1-8. 二月Minaee，S.，&Abdolrashidi，A.（2019年）。深层情感：使用注意力卷积网络的面部表情识别。Sensors，21（9）. 二月Mollahosseini，A.，成员，S.，Hasani，B.，Mahoor，M.H、Member，S.（2017年）。AffectNet：一个用于野外面部表情、效价和唤醒计算的数据库。IEEE Transactionson Affective Computing，10（1），18-31. 八月Olivera-La Rosa，A.，Chuquichambi，E. G.，&Ingram，G. P. D.（2020年）。保持你的（社交）距离：2019冠状病毒病时期的病原体问题和社会认知。Pers. 个人。差异，166. Nov.Oosterhof，N. N.，&Todorov，A.（2009年）。情绪表达和面孔可信度印象的共同知觉基础。Emotion，9，128 - 133.二月大坂，K.，谷冈河Betriana，F.，Tanioka，T.，Kai，Y.，&洛钦河C.（2021年）。痴呆症患者的机器人治疗计划：框架和有效性。信息系统-智能信息处理系统。二月Palagi，E.，Celeghin，A.，Tamietto，M.，Winkielman，P.，&诺尔夏岛（2020年）。人类和非人类动物自发模仿和情绪传染的神经行为学。Neurosci. Biobehav.版本号：111，149-165。Apr.PrzybyPizzio， J.（2008年）。自动化rozpoznawanie元素'owmimikiwobrazietwarzyianalizaichprzydatno'scidosterewania.圣 Staszica ，Krako'w：AkademiaGo'rniczo-Hutniczna im.Ratliff，M.美国，&Patterson，E.（2008年）。使用具有主动外观模型的面部表情的情感识别。 在proc 的HRI。 Citeseer。Mar.Reddi，S. J.，Kale，S.，&库马尔，S。（2019年）。论亚当与超越的融合在第六届国际Conf. 学习. 代表。ICLR 2018-Conf. 跟踪过程Apr.Richardson，K.，等（2018）。自闭症儿童的机器人增强疗法（DREAM）：自闭症的社会模型。IEEE Technol. Soc. Mag.，37（1），30-39。 Mar.塞尔瓦拉茹河R.，Cogswell，M.，Das，A.，韦丹塔姆河，Parikh，D.，巴特拉湾（2016年）。Grad-CAM：通过基于代理的本地化从深度网络获得的视觉体验。Int. J. Comput.可见，128（2），336-359。十月Singh，P.，米什拉河K.，Urolagin，S.，&Sharma，V.（2021）.通过使用深度卷积神经网络识别面部签到来增强安全性。2021年第三届计算、通信控制和网络进展国际会议（ICAC3N）。1006-1010）。号决定塞格迪角，Vanhoucke，V.，Ioffe，S.，Shlens，J.，&Wojna，Z.（2016年）。重新思考计算机视觉的Inception架构。在IEEE计算机协会计算机视觉和模式识别会议上，2818-2826）。号决定Szymona，B.，等（2021年）。机器人辅助自闭症治疗（RAAT）使用拟人和兽形机器人的E x实验的标准和类型。研究回顾。传感器2021，第21卷，第3720，21（11），3720页。 五月Tramacere，A.，&法拉利，P.F.（2016年）。镜子中的面孔，从模仿的神经科学到心智化的出现。Journal of Anthropological Sciences，94，113-126. 君Z. Wang等人， 2020年。Watzlawick，P.，Bavelas，J. B.，&杰克逊，D。D.（2011年）。人类交流的语用学：对干扰模式、病理学和悖论的研究（284页）。 New York，London：W.W. 诺顿&公司