COVID-19时代的智能口罩情感识别

PDF格式 | 1.3MB | 更新于2025-01-16 | 74 浏览量 | 举报

智能系统与应用15（2022）200094

COVID 19

时代的情感识别：应对口罩

Roberto Magherini，Elisa Mussi，Michaela Servi

，Yary Volpe

地址：

Via Santa Marta 3

，

50139

，

Florence

，

Italy

A R T I C L E I N FO

保留字：

人工智能

COVID 19

情绪识别

Grad-CAM

面部表情识别非语言交流

A B S T R A C T

通过机器学习技术进行情感识别是一个广泛研究的研究领域，然而，在COVID 19健康紧急情况之后，最近必须

戴口罩，这使得迄今为止开发的系统无法应用。人类自然地通过嘴传达他们的情感;因此，迄今为止开发的用于

识别受试者情感的智能系统主要依赖于该区域以及其他解剖特征（眼睛，前额等）。然而，如果受试者佩戴面

罩，则该区域不再可见。因此，这项工作的目标是开发一种能够弥补这一不足的工具。该工具使用由八类情绪

组成的AffectNet数据集。迭代训练策略依赖于众所周知的卷积神经网络架构来识别情绪的五个子类：在预处理

阶段之后，训练该体系结构以在八类数据集上执行任务，然后将其重新分类为五类，从而允许在测试集上获得

96.92%的准确度。该策略与最常用的学习策略进行比较，并最终集成到实时应用程序中，该应用程序允许检测

帧内的面部，确定受试者是否戴着面罩，并识别每个人的当前情绪。

介绍

一个人不能不交流，这是心理学家 Watzlawich 的第一个公理

（Watzlawick等人，世界卫生组织强调，在人与人之间的互动中，任何

姿态（言语、沉默、活动）都具有信息价值，沟通在公民社会的基础中

发挥着关键作用。沟通可以分为7%的语言沟通，38%的副语言沟通

（即，语音分析）和55%的非语言交流（通过面部表情、手势、眼神等

进行的交流）（Lapakko，1997）;因此，非语言交流强烈影响日常生活

的许多方面和人类互动的有效性。具体来说，表达解释可以产生信任、

同意的积极感觉，也可以产生自我保护的消极感觉，如恐惧、怀疑等

（ Ratliff 和 Patterson ， 2008 ）。因此，面部表情（由声音支持

（Przybyzio，2008，Oosterhof和Todorov，2009））是将我们的感受

传达给外部世界的第一个工具，与他人互动，通过它我们感知他人如何

与我们沟通。

最近的COVID-19疫情形势及随之而来的obli-

许多州强制要求定期佩戴口罩，非语言交流，罹患

重要的信息丢失。事实上，面具隐藏了在识别情绪，特别是幸福感方

面起着重要作用的嘴部区域（Blais等人，2012年）。这使得情绪

manifestations 难以解释，因此破坏了我们所知道的社会关系

（Carragher和Hancock，2020年，Olivera-La Rosa等人，Bernstein

and Yovel，2015）。一些研究表明，面具对情绪的识别产生了强烈

的负面影响，阻止了快速印象和同步，并产生了社会距离（Bani等

人， 2021，Marini等人， 2021年）。

另一个重要的后果是这些保护措施可能对计算机系统执行的自动面

部和情绪识别产生影响（Mao等人，2015年，Minaee和Abdolra-shidi，

2019年，Kaur和Kulkarni，2021年）。通常，用于自动情感检测的系

统，即对情绪敏感的机器和设备，对于丰富和鲁棒的人机交互是至关重

要的。

近年来，人们对将情感识别与现代人机接口技术相结合的兴趣越来

越大（Oosterhof和Todorov，2009）。这一研究领域也在动画、医学和

安全等领域得到了广泛的应用（Palagi等人，2020，Hess和Fischer，

2013，Tramacere和Fer-rari，2016，Singh等人，2021，He，2022）。

一个应用程序，作者认为极大的兴趣，为医疗保健领域，是机器人辅助

* 通讯作者：佛罗伦萨大学工业工程系，Via di Santa Marta 3，50139，Florence，Italy.

电子邮件地址：

roberto. unifi.it（R. Magherini），elisa. unifi.it（E. Mussi），michaela. unifi.it（M. Servi），yary. unifi.it（Y.Volpe）。

https://doi.org/10.1016/j.iswa.2022.200094

接收日期：2022年2月7日;接收日期：2022年6月16日;接受日期：2022年6月20日

2022年6月26日在线提供

可在ScienceDirect上获得目录列表

智能系统及其应用

杂志主页：www.journals.elsevier.com/intelligent-systems-with-applications

下载后可阅读完整内容，剩余9页未读，立即下载

cpongm

粉丝: 6

COVID-19时代的智能口罩情感识别

COVID19-Face-Mask-DetectionMATLAB源码解析【图像处理】COVID-19 防疫应用口罩检测

口罩检测的开发 使用人工智能 (AI) 的软件 在 Python 中保护 COVID-19.pdf

新型冠状病毒肺炎COVID-19联合考察报告.docx

openmv多人脸口罩识别

口罩识别的研究背景和意义

yolo5 口罩数据集下载

Masked face recognition

covid-19-pt：:face_with_medical_mask::Portugal:葡萄牙COVID-19的协作数据分析

symptomsadd_covid_

《康复指导手册：COVID-19相关疾病的自我管理（第二版）.pdf》

最新资源

口罩检测的开发使用人工智能 (AI) 的软件在 Python 中保护 COVID-19.pdf