没有合适的资源?快使用搜索试试~ 我知道了~
基于机器学习和深度神经网络的实时面部表情和脑电信号情感识别系统的开发
þ医学信息学解锁20(2020)100372基于机器学习和深度神经网络的面部表情和脑电信号实时情感识别系统的开发网络方法AyaHassouneh a,*,上午 穆尼亚湾穆鲁加潘ba科威特科威特大学工程和石油学院计算机工程系b科威特科技学院电子和通信工程系,科威特多哈A R T I C L EI N FO保留字:人脸情绪识别虚拟标记LSTM脑电情感检测A B S T R A C T在过去的几十年里,实时情感识别一直是一个活跃的研究领域。这项工作的目的是通过开发一种使用虚拟标记的实时情感识别算法,使用卷积神经网络(CNN)和长短期记忆(LSTM)分类器,基于面部标志和脑电图(EEG)信号对身体残疾人(聋哑和卧床不起)和自闭症儿童的情感表达进行分类, 该 算 法 通 过 光 流 算 法 有效地 在不均 匀的闪 电和主题 中工作。头部旋转(最多25度),不同的背景和各种肤色。SiX面部表情(快乐,悲伤,愤怒、恐惧、厌恶和惊讶)使用十个虚拟标记来收集。55名平均年龄为22.9岁的大学生(男35名,女25名)自愿参加了面部情绪识别实验。19名本科生自愿收集脑电信号。最初,Haar类特征用于面部和眼睛检测。随后,基于使用数学模型方法的面部动作编码系统,将虚拟标记放置在受试者面部上的定义位置上,并且使用卢卡斯-坎德光流算法跟踪标记。被检者的脸部中心和每个标记位置之间的距离被用作脸部表情分类的特征。使用显著性水平p 0.01的单因素方差分析对该距离特征进行统计学验证<。此外,从EEG信号读取器(EPOC)通道收集的14个信号被用作使用EEG信号的情绪分类的特征。最后,使用五重交叉验证对特征进行交叉验证,并将其提供给LSTM和CNN分类器。我们使用CNN进行面部标志的情感检测,实现了99.81%的最高识别率。然而,对于使用EEG信号的情感检测,使用LSTM分类器实现的最大识别率为87.25%。1. 介绍人类表达情感的重要方式之一是通过面部表情。面部表情识别是目前它是人类交流情感和意图的有力、自然和直接的手段。在某些情况下,人类可能会被限制表达自己的情感,例如住院的病人,或者由于缺陷;因此,更好地识别其他人类情感将导致有效的沟通。随着物联网和智能环境在医院、智能家居和智能城市的引入,自动人类情感识别最近受到了广泛关注。智能个人助理(IPAs),如Siri,Alexia、Cortana和其他人使用自然语言处理与人类交流,但当增加情感时,它会提高有效沟通和人类水平的智能水平。由于人工智能(AI)和机器学习的快速发展,其应用被积极地用于许多领域,包括垃圾邮件检测,其中垃圾邮件分类器用于根据一些特定标准对电子邮件进行后处理,并将不需要的和未经请求的电子邮件移动到垃圾邮件文件夹[1]。除了在数据挖掘中的重要应用外,它还用于市场分析,以支持每天产生的大量数据,并通过客户例如增强的* 通讯作者。电子邮件地址:aia. gmail.com(A. Hassouneh)。https://doi.org/10.1016/j.imu.2020.100372接收日期:2020年3月23日;接收日期:2020年6月8日;接受日期:2020年2020年6月12日在线提供2352-9148/©2020的 自行发表通过Elsevier 公司这是一个开放接入文章下的CCBY-NC-ND许可证(http://creativecommons.org/licenses/by-nc-nd/4.0/)中找到。可在ScienceDirect上获得目录列表医学信息学期刊主页:http://www.elsevier.com/locate/imuA. Hassouneh等人医学信息学解锁20(2020)1003722�þFraud Miner使用基于聚类的数据挖掘方法此外,它还用于医疗领域的机器学习驱动的进步,例如收入周期管理(即支付)和通过关注临床数据丰富的环境来了解患者健康[4,5]。此外,在过去的几十年中,机器学习算法在模式识别和模式分类问题中发挥了重要作用,特别是在面部表情识别和脑电图(EEG)中[6它已经成熟,并彻底改变了计算和其他领域的几个领域,包括人机交互(HCI)[9,10]。人机交互已经成为我们日常生活的一部分。此外,情感相关的声明是人类交互和通信的一个重要方面,因为它具有有效的成本,可靠的识别和更短的计算时间等优点[10]。换句话说,它可能是一种潜在的非语言沟通媒介,用于创造不同的情境,通过人与人的密切合作来说明与人的高级互动[10-13 ]。人脸表情分析是一个有趣且具有挑战性的问题,在许多领域都有重要的应用,例如人机交互和医学应用。一些工作是基于面部标志提取一些特征,以帮助情感检测[16]。提出了一种潜在的方法,使用68个面部标志来实时检测三种情绪;使用一个摄像头的消极,空白和积极。他们提出的系统可以使用79个新特征和26个几何特征(10个偏心特征,3个线性特征和13个几何特征)来[17]的平均精度,百分之七十点六五Palestra等人。[18]基于20个面部标志计算32个几何面部(线性,偏心,多边形和斜率)特征,用于自动面部表情识别。虽然已经取得了相当大的进展,识别面部表情具有高精度已经在实时系统中执行的几个应用,如行为分析,机器视觉和视频游戏。因此,人类的表达可以很容易地被最近的HMI系统“理解”[ 10,12-14 ]。在文献中研究的许多方法中,使用静态图像和情感的研究通过测量嘴唇和眼睛的尺寸来感知[10,11,15]。生物传感器,如肌电图(EMG)和脑电图(EEG),已被用来感知面部肌肉的变化和设想大脑活动。人们一直在努力开发多式联运信息,面部表情[11]。面部识别受到光照强度、面部位置和背景变化等限制。EEG还受到诸如噪声、伪影、有线/无线传感器的放置、语音噪声和干扰、手势光强度和背景变化的限制。因此,组合两种信号增加了环境复杂性的新层次,这满足了两种模态的要求。事实上,在多模态系统的情况下,计算复杂度一直呈指数级增长。与单一模态策略相比,多模态策略在情感识别率方面具有更好的性能[19]。然而,由于上述问题,当开发智能人机接口(HMI)辅助系统时,将面部表情与诸如语音信号、手势和生物信号的其他模态相结合将不能有效地检测哑、聋和瘫痪患者的情绪。这种人机界面的存在可以方便那些身体完全残疾的人以及有特殊需要的病人寻求帮助。到目前为止,大多数现有的方法都是离线工作的,并且对于实时应用程序没有用处[10,11]。因此,目前的工作主要集中在开发一个多模态的智能HMI系统,在实时环境中工作。它将基于机器学习和深度神经网络使用面部表情和EEG识别情绪 方法. 它 旨在是 更 可靠的实时情感识别系统相比,系统在早期的作品。 以识别情绪面部表情实时,面部反应的变化进行测量。面部动作编码系统(FACS)是一个人类由Ekman和Friesen [15]设计的基于神经元的系统,用于检测面部特征的细微变化,并通过操纵单个动作来控制面部模型,这些动作被称为动作单元(AU)。这些AU被认为是识别用于检测六个基本情感面部表情的十个虚拟标记的参考:悲伤、愤怒、快乐、恐惧、厌恶和惊讶。因此,如果研究这些面部肌肉反应并将其用作精确定位表情的指令,则可以实时感知人类的情绪状态。因此,本研究的主要目的是使用面部虚拟标记和脑电信号识别被试的六种基本情绪表达。因此,所提出的系统具有较低的计算复杂度(执行时间,内存),并在实时应用中工作。因为它使用基于标记的方法,其中十个虚拟标记被放置在面部上,而不是使用需要较长计算时间来检测面部的基于图像像素的方法[20],所以这将简化系统设计以及减少计算时间和系统存储器。在实时系统中,人脸识别是通过使用图像的像素或有效使用AdaBoost级联分类器的Haar类特征来实现的,以检测给定图像或涉及人脸的视频序列中的任何对象[21,22]。这些基于Haar特征的人脸检测可以过程384人脸图像的288像素,约为0.067秒[23]。他们使用AdaBoost级联分类器,计算时间更短[20]。文献中的大多数作品都集中在开发离线情感识别系统上。此外,本研究旨在开发一种算法,用于实时情感识别使用虚拟通过光流算法的标记,有效地工作在不均匀的照明和主体头部旋转(高达25°),不同的背景和各种肤色。从人脸虚拟图像中计算距离特征标记和从EPOC设备记录的14个信号用于使用卷积神经网络(CNN)和长短期记忆(LSTM)分类器对情感表达进行分类。这将有助于实现该系统帮助身体残疾人(聋哑人和卧床不起的人)的目标,此外还有助于自闭症儿童识别他人的感受。此外,它可以推动业务成果,并判断观众的情绪反应。 它不是帮助最大化学习,而是在个性化电子学习中有很好的好处。三个性能指标,即平均情感识别率,特异性和敏感性,被用来评估分类器的性能。2. 方法和材料图1显示了本研究中提出的系统的结构。如图1所示,我们使用了两种方法来检测受试者2.1. 基于面部特征点的2.1.1. 面部标志数据库关于使用面部标志的情绪检测,在从本研究中的每个志愿受试者获得知情同意后的同一天进行数据收集。因此,开发了两个面部表情数据库:一个具有总共30个受试者(15个男性,15个女性)用于自动标记放置,另一个具有总共55个受试者(25个男性,30个女性)用于测试和验证所提出的系统。所有受试者均选自平均年龄22.9岁的范围。他们是男女混合的健康大学本科生,没有任何认知、肌肉、面部或情绪障碍。受试者被要求坐在一台内置摄像头的电脑前,在一段视频序列中表达六种不同的情感表达(快乐、愤怒、恐惧、悲伤、惊讶和厌恶),以收集数据。他们被要求在一个受控的环境中表达特定的情绪(房间温度)。温度:26°,照明强度:50luxX;A. Hassouneh等人医学信息学解锁20(2020)1003723相机和主题:0.95米)。Fig. 1. 系统结构。面部表情识别然后,通过使用灰度图像,每种情绪的面部表情持续60 s,每个受试者执行一次。因此,每个受试者需要6分钟来表达情绪,如图2所示。然而,每个受试者的总时间为大约20分钟,包括指导和基线状态。从每个受试者收集的关于所有情绪的总输入虚拟距离平均为2284,以CSV文件的格式保存,并且从所有受试者收集的关于所有情绪的总虚拟距离为125,620。2.1.2. 人脸特征提取在这项研究中,使用高清摄像机捕捉受试者这简化了面部图像处理,检测受试者的眼睛,并使用数学模型将十个虚拟标记(动作单元)放置在受试者面部的定义位置处,如图所示。3.第三章。利用Lucas-Kande光流算法对每个虚拟标记的位置进行变换,跟踪其在被试情绪表达过程中的位置如图4所示,这十个特征被导出为每个标记与该点之间的距离。在当前研究中,所有距离数据均使用毕达哥拉斯定理计算[24]。然后,它们在数据采集过程中以CSV格式存储,以供进一步处理。在图5中,在右口列中,线m1是直角三角形的三角形,其中平行于x轴的线是dx [差图二. 脸部情绪侦测之资料撷取协定。A. Hassouneh等人医学信息学解锁20(2020)1003724图三. 十个虚拟地点用数学模型。图四、 每个标记点与中心点之间的十个距离。在p_m1(Xp_m1)的坐标和点(Xc)之间],并且平行于轴的线是dy[p_m1(yp_m1)的y坐标和点(yc)之间的差]。因此,用于计算距离的公式在等式(1)中给出:图五. 中心点(C)和p_m1在距离m1处坐标。此外,预测是基于在特定时间给出的信息[27]。图6示出了用于使用面部界标进行情绪检测的网络结构。该网络获取输入图像并试图预测输出情感。它有八个阶段,包括卷积,池化和具有整流线性单元(ReLU)操作的全连接层,这些操作在进行卷积的同时保持了良好的质量更快[28]。过滤器的数量为32,64和128,卷积层的过滤器大小为5-5,全连接层的输出节点数量为6,使用2.2. 使用EEG信号的2.2.1. 脑电数据库关于使用EEG信号的情绪检测,数据收集距离m1qffiffiXffiffifficffiffiffi-ffiffiffiXffiffiffipffiffiffi-ffiffimffi ffiffi1ffi ffiffiffi2ffiffi ffiffiffiffiYffifficffiffiffi ffi- ffiffiffi- ffiffiffi m ffiffiffi 1 ffiffiffiffi2 ffi ffi ffi2.1.3. 面部标志分类(一)在获得本研究中每例志愿受试者的书面知情同意书后的同一天进行。为了EEG数据收集的目的,从SIX在我们的系统中使用卷积神经网络来获得改进的面部情感检测,因为它被应用于其他计算机领域,如面部识别[25]和对象检测[26]。在主要剪辑,以获得最佳的反应,大脑方面的电活动。一开始,视频剪辑是使用来自国际情感图片系统的情感图像[29]和音乐[30]创建的。那些片段本应引出六种情感A. Hassouneh等人医学信息学解锁20(2020)1003725þ�-见图6。 面部标志系统结构。预测了之后,在一个小的测试样本上测试视频片段,以通过促使志愿者投票选择他们在观看视频片段时感受到的情绪来确认所引发的情绪。因此,根据某些标准选择了其他视频剪辑,其中一个必须在YouTube上至少有100万次观看。每个夹子长2分钟 并提到了一种情绪。因此,视频的总长度(包括剪辑之间的间隙)为13分10秒。在确定视频片段后,所有被试被要求观看视频,并根据他们的原始思维对情绪类别进行分类,并解释他们有意识地认为自己造成的影响。 通过这种方式,使用EPOC设备以128 Hz的采样率收集14个通道的EEG原始数据[31]。因此,开发了一个EEG信号数据库,共有19名受试者(7名男性和12名女性)用于EEG信号研究,共有1,700,000条信号数据记录。所有受试者均选自平均年龄22.9岁的范围。在实验室环境中收集数据,需要大约1小时的时间。所有受试者均为健康的本科生,无任何认知、肌肉、面部或情绪障碍。EEG 记录 是 执行 使用 的 EPOC 接口. 它 是无线连接到EPOC设备,并在受试者观看视频时记录来自大脑的EEG信号。由于每个情绪的视频片段持续2分钟,视频之间有10秒的间隙,并且每个受试者执行一次,因此每个受试者需要13分钟10秒来记录EEG信号,如图7所示。然而,每名受试者接受大约1小时的总时间,包括指导和基线状态。然后,使用相同的接口将记录的信号导出到CSV文件中,并将其馈送到Python系统,以便在分类和训练之前使用无限脉冲响应(IIR)滤波器进行滤波[32]。2.2.2. 脑电信号预处理由于在EEG信号记录期间来自不同来源的伪影,诸如眨眼、眼球运动、肌肉运动、呼吸和出汗,需要一个过程来从EEG信号中去除可能导致显著失真的这种不需要的信息。首先,为了减少伪影效应,在85μ V的幅度范围内获取EEG信号电压。其次,使用参考文献[322.2.3. 脑电信号分类采用长短期记忆(LSTM)网络模型对情感模型进行训练,得到改进的脑电信号情感检测。LSTM是一种特殊类型的人工递归神经网络(RNN)架构。它被用于深度学习领域,非常适合时间序列数据来分类、处理和做出预测。它可以处理整个序列作为模拟数据在这项研究中。19名参与者被要求观看包含6个不同部分的同一视频,以识别从这些视频中引发的情绪。然后,将收集的数据(EEG原始数据)馈送到所提出的模型,如图8所示。该模型在三种模型(传统模型、全连接模型)中达到了最高的准确性图7.第一次会议。 用于EEG情感检测的数据采集协议。A. Hassouneh等人医学信息学解锁20(2020)1003726层、网格搜索)。每个视频部分被分割成20个片段,具有6s的窗口。因此,每个参与者都有一系列带有标签的EEG数据记录。标签阵列表示每个参与者执行的每个视频的六种情绪每名参与者从14个EEG通道为6个视频产生约118,000条EEG原始数据记录。图 8显示了所提出的深度学习神经网络模型,该模型实现了最高的准确性。它由一个完全连接的嵌入层和三个LSTM层组成,分别有128、64和32个神经元,两个dropout层和一个dense层。LSTM和dropout层用于从原始EEG信号中学习特征。然而,dropout层用于通过防止太多单元“coadapting”来减少过拟合。最后,使用Softmax激活函数的密集层用于分类。该模型使用3折交叉验证在70%的EEG记录上进行训练,并在其中30%上进行测试。使用了100个epoch每次交叉验证迭代。Adam优化器用于训练过程,学习率为0.001此外,使用网格搜索方法和五重交叉验证策略来调整特征的维度、阈值和学习率。3. 数据验证系统验证的目的是评估开发后的准确性通过收集测试专用数据进行测试。3.1. 面部标志数据库验证对于使用面部标志的情绪检测,开发了两个面部表情数据库,一个具有总共30个受试者(15个男性,15个图8.第八条。神经网络模型处理和训练脑电信号。女性)用于自动标记放置,另一个共有55名受试者(25名男性,30名女性)用于测试和验证所提出的系统。他们被要求坐在一台内置摄像头的电脑前,在一段视频序列中表达六种不同的情绪表达(快乐、愤怒、恐惧、悲伤、惊讶和厌恶),以收集数据。他们被要求在一个受控的环境中表达特定的情绪(房间脾气-温度:26°,照明强度:50luX;摄像机之间的距离主题:0.95米)。因此,所提出的方法达到了99.81%的最高精度。3.2. EEG信号数据库验证将19名受试者的面部标志数据给予三重交叉验证方法,以将特征集分成训练集和测试集。因此,所提出的方法实现了较高的情感检测率为87.25%。4. 实验结果与讨论对于使用面部标志的情绪检测,从55名受试者中收集数据进行测试;他们的年龄在20到25岁之间。他们是本科生(男25人,女30人)。然后,如表(1)所示,在标准化和未标准化数据的两种情况下,对于所收集的数据,在100个历元处发现准确度。所收集的面部标志数据使用以下方程进行归一化:(2)使所有数据值在[0,1]之间。ZiXi-最小值X最小值=最大值X最小值X最小值(2)其中Zi是第i个归一化数据。这两个模型都运行了300个epoch,以检查曲线的形状,并获得最高的情感检测精度。 如图9所示,使用面部界标的情绪检测具有直接关系,直到300个时期。因此,该系统可以识别情感的99.81%的面部标志使用所提出的模型在300个历元。然而,所提出的EEG信号模型在准确度和直到100的时期数之间具有直接关系,并且曲线在100之后停止增加,如图10所示。结果表明,在100个Epoch时,脑电信号的情感识别正确率最高为87.25%此外,通过使用以下针对使用面部标志的情绪检测的六个类别计算的混淆矩阵(图11)来每个类都用于所有类,以便找到与之相关的性能因素。表(2)中的结果使用以下公式计算精密度<$TP /(TP<$ FP)灵敏度<$TP /(TP<$ FN)特异性<$TN/(FP <$TN)F-评分¼2*TP/(2*TP≤ FP≤ FN)其中:TP:真阳性,FP:假阳性,TN:真阴性,FN:假阴性。表(2)显示了每种情绪的表现因素; 0:愤怒,1:厌恶,2:恐惧,3:悲伤,4:微笑和5:惊讶。它显示了完美的精度和实际阳性和阴性的比例,表1面部标志精确度。数据集Avg. 精度30例受试者的训练数据(未归一化)89.04%30例受试者的训练数据(标准化)百分之九十六点九三55例受试者的检测数据(标准化)百分之九十三点零二A. Hassouneh等人医学信息学解锁20(2020)1003727þ见图9。 准确度与历元数(面部标志)。见图10。 准确度与时间段数(EEG)。被准确识别的情绪。因此,收集的数据可以作为其他研究人员的基准我们的系统仅基于面部标志的10个虚拟距离和EEG信号的14个EEG原始数据。换句话说,它提高了系统的性能,因为训练面部标志特征的数量比以前的工作少,如表(2)所示。表(3)显示[33他们使用CK数据库[38],他们达到的最大准确度为93.2 [37]。然而,我们的系统会自动放置10个虚拟标记来检测情绪。它使用我们自己创建的数据库进行训练,最高准确率为99.81%。这意味着该系统使用面部标志来检测情绪,具有高准确性,并且没有太多的特征。一些主要方面,可以影响的结果发现,系统是用户在观看视频期间他/她的感受的准确性,特别是在EEG信号的检测中。然而,在使用面部标志的检测中,由于它依赖于外部物理特征,因此更准确。此外,外部环境对准确性也有影响。见图11。 混淆矩阵表2面部标志性能因素。012345精密度(%)98.9100.099.999.999.199.8灵敏度(%)10099.899.999.998.899.0特异性(%)99.810099.999.999.899.9F评分(%)99.599.999.999.998.999.4累积(%)99.810099.999.999.199.8进行了许多详尽的测试,以尽量减少在获得所需的准确度的错误。进行测试以获得可靠的分类器、归一化方法和具有最佳建议特征的标记物的最佳数量,以减少错误。在本研究中获得的最高识别率为99.81%的情感检测使用的面部标志与10个虚拟标记。然而,使用EEG信号进行情感检测的最高准确率为87.25%,这可以通过从更多受试者收集更多数据并找到从EEG信号中提取更多特征的技术来提高。5. 结论和今后的工作已经开发了一种通过光流算法使用虚拟标记进行实时情绪识别的算法,以使用面部表情和EEG信号创建具有较少计算复杂性(执行时间、存储器)的实时情绪识别系统。这算法在不均匀的闪电和主体头部旋转(高达25°),不同的背景和各种肤色下有效工作。系统 旨在 到 帮助 物理 残疾 人 (deaf、 哑巴,而且卧床不起),除了有利于自闭症儿童认识他人的感受。此外,它可以推动业务成果,并判断观众的情绪反应。而不是帮助最大化学习,它有一个很好的好处,在个性化的电子学习。该系统可以实时识别六种情绪的面部标志和离线设置的EEG原始数据。系统的用户需要佩戴EPOC头戴式耳机,并面对摄像头,以记录原始EEGA. Hassouneh等人医学信息学解锁20(2020)1003728表3早期和现在的工作,情绪检测使用面部标志的准确性[33][34][35][36][37]我们的工作#虚拟标记22 77 68 22 68 10标记放置手动自动数据库CKS [38] 6个不同的现成数据库自己的数据库CKS [38]自己的数据库分类器SVM DNN神经网络FURIA CNNAcc. (%)86.0 85.8 93.2 84.27 83.2 99.8无线数据并收集放置在受试者脸上的十个虚拟地标实验结果表明,该系统对99.81%的面部特征点和87.25%的脑电信号进行了情感用于收集数据的病例在科威特大学进行由于学生的时间表和时间安排,很难从许多科目中收集数据。因此,只有少数受试者可用于收集数据。在今后的工作中,系统的精度和准确性可以通过收集更多的数据从更多的主题。此外,可以使用技术从EEG信号中提取更多特征[14]。除了改进系统技术外,将受试者置于真实情境中表达确切的情感有助于提高脑电图伦理声明每位署名作者应保证与其他人或组织之间没有可能对其工作产生不当竞合利益作者声明,他们没有已知的可能影响本文所报告工作确认前两位作者感谢科威特大学研究生院附录A. 补充数据本 文 的 补 充 数 据 可 在 https : //doi 网 站 上 找 到 。org/10.1016/j.imu.2020.100372。引用[1] Dada EG,Bassi JS,Chiroma H,Abdulhamid SM,Adetunmbi AO,Ajibuwa OE.Machine learning for email spam filtering:review,approaches and openresearch problems. Heliyon 2019;5(6):e01802.https://doi.org/10.1016/j.heliyon.2019的网站。e01802。[2] 谢明人工智能的发展及其对金融系统的影响J PhysConf 2019;1187:032084.https://doi.org/10.1088/1742-6596/1187/3/032084网站。[3] Hegazy O,Soliman OS,Salam MA.股票市场预测的机器学习模型。国际计算机科学杂志2014;4(12):16-23.[4] 作者:J.J.大数据时代的循证医学和精准医学:挑战与机遇。Genome Med2016;8(1):134-9.[5] Weber GM,Mandl KD,Kohane IS.寻找生物医学大数据的缺失环节。Jama2014;311(24):2479[6] Loconsole C,Chiaradia D,Bevilacqua V,Frisoli A.实时情感识别:一种改进的混合分类方法。 智能计算理论2014:320-31.[7] 黄X,KortelainenJ,赵G,李X,MoilanenA,Sep p pa€nenT,Pietik€ainenM. 基于面部表情和脑电的多模态情绪分析。Comput Vis Image Understand2016;147:114-24. https://doi.org/10.1016/j的网站。 cviu.2015.09.015。[8] Raheel A,Majid M,Anwar SM.基于脑电的人脸表情识别。2019年第二届国际计算机会议数学和工程技术(iCoMET),苏库尔,巴基斯坦; 2019年。 p. 1比5。[9] Vassilis S,Herrmann Jürgen.机器学习和人机交互在哪里相遇?一九九七年。[10] Keltiner D,Ekrman P. In:Lewis M,Haviland Jones JM,editors.情感的面部表情,情感手册。北京:人民出版社,2000.p. 236比49[11] 达尔文与面部表情:一个世纪的研究回顾。美国:Academic Press Ishk; 2006。p. 一九七三年[12] EkmanP,Friesen WV. 在面部表情和情绪上的跨文化常数J Pers SocPsychol1971;17(2):124.[13] 达尔文与面部表情:一个世纪的研究回顾。美国:Academic Press Ishk; 2006。p. 一九七三年[14] 杨文龙,李晓梅,李晓梅. 情感体验的面部特征 J Pers SocPsychol 1980;39:1123-34.[15] 杨文龙,李晓梅,李晓梅. 情感体验的面部特征 J Pers SocPsychol 1980;39:1123-34.[16] Nguyen BT,Trinh MH,Phan TV,Nguyen HD.一个有效的实时情感检测使用相机和面部标志。2017年第七届信息科学与技术国际会议(ICIST); 2017年。https://doi.org/10.1109/icist.2017.7926765.[17] Loconsole C,Miranda CR,Augusto G,Frisoli A,Orvalho V.用于几何面部特征提取的实时情感识别新方法。Proceedings ofthe International Conference onComputer Vision Theory and Applications(VISAPP)2014:378-85.[18] PalestraGiuseppe,Pettinicchio Adriana,Del Coco Marco,Carcagn Pierluigi,利奥·马可,远距离的科西莫。使用32个几何特征提高面部表情识别的性能。第18届图像分析与处理国际会议论文集。ICIAP; 2015.p. 518- 28[19] ZhangJ,Yin Z,Cheng P,Nichele S.使用多模态数据和机器学习技术的情感识别:教程和评论。信息融合。 2020年。[20] 放大图片作者:WilsonPI,Fernandez J. 使用Haar分类器的面部特征检测。 J.Comput. 小Coll.,21日,c. 2006年;4. S. 127-133,ISSN1937-4771。[21] ZhaoG,Pietika€inenM. 基于体局部二值模式的动态纹理识别。In:Vidal R,Heyden A,Ma Y,editors.动态视觉WDV 2006,WDV2005。计算机科学讲义,第4358卷。Berlin,Heidelberg:Springer.[22] Das PK,Behera HS,Pradhan SK,Tripathy HK,Jena PK。改进的实时A*算法及其在移动机器人路径规划中的性能分析。In:Computational Intelligence in DataMining,Springer India,vol. 2; 2015. p. 221比34[23] 放大图片作者:Viola P.使用简单特征的提升级联进行快速目标检测。2001 [20]aeed,A.和Al-Hamadi,A.(2015年)。使用kinect相机提升人类头部姿态估计。国际图像处理会议(ICIP),第1752 - 1756页。美国电气与电子工程师协会。[24] Sally Judith D,Paul Sally.第三章毕达哥拉斯三元组研究的根源:数学问题的垂直发展。美国数学学会书店,2007年。p. 63岁 ISBN 0821844032。[25] 孙毅,陈毅,王X,唐X.通过联合识别-验证的深度学习人脸表示。In:Proc.Adv. Neural Inf. Process.系统; 2014年。p. 1988-96年。[26] Ouyang W,Wang X,Zeng X,Qiu S,Luo P,Tian Y,Li H,Yang S,Wang Z,Loy C-C,Tang X,Dong C,Loy CC,He K. Deadmin-net:用于物体检测的可变形深度卷积神经网络。In:In proc. IEEE conf. Comput.目视模式n.; 2015年。p.2403- 12[27] 唐X。使用深度卷积网络的图像超分辨率。IEEE Trans Pattern Anal Mach Intell2016;38(2):295-307. https://doi.org/10.1109/tpami.2015.2439281.[28] 放大图片作者:Krizhevsky A,Sutskever I,Hinton G.使用深度卷积神经网络进行ImageNet分类。高级神经信息处理2012:1097-105.[29] Lang PJ,Bradley MM,Cuthbert BN.国际情感图片系统(IAPS):图片的情感评级和指导手册。Gainesville,FL:University ofFlorida; 2008.技术报告A-8。[30] BhattacharyaJ, Lindsen JP.音乐创造更光明的世界:音乐情感对亮度判断PloS One 2016;11(2):e0148959.https://doi.org/10.1371/journal.pone.0148959.[31] https://www.emotiv.com/网站。[32] Sangaiah AK,Arumugam M,Bian G-B.一种改进ECG信号分类和心律失常分析的智能学习方法。Artif Intell Med 2019:101788。https://doi.org/10.1016/j.artmed.2019.101788网站。[33] Michel P,El Kaliouby R.基于支持向量机的实时视频人脸表情识别。在:过程第五届国际Conf. On Multimodal Interfaces; 2003.第258- 264页。温哥华A. Hassouneh等人医学信息学解锁20(2020)1003729þ[34] Suk M,Prabhakaran B.即时行动脸部表情辨识系统-案例研究。在:IEEE计算机视觉和模式识别研讨会会议论文集;哥伦布,俄亥俄州,美国; 2014 年6月24日至27日。p. 132比7[35] Jeong M,Ko BC.实时识别驾驶员的面部表情,确保安全驾驶。传感器2018;18:4270.[36] 放大图片Magdin Martin,Prikler F.使用网络摄像头和SDK affectiva进行实时面部表 情 识 别 。 International Journal of Interactive Multimedia and ArtificialIntelligence2017;1.https://doi.org/10.9781/ijimai.2017.11.002网站。InPress。[37] Bahreini K,van der Vegt W,Westera W.一种可靠的面部情绪实时识别的模糊逻辑方法。多时间工具应用2019:1-24.[38] E X tended Cohn-Kanade数据集(CK):动作单位和情感指定表达的完整数据集。2010年IEEE计算机协会计算机视觉和模式识别会议-研讨会。IEEE; 2010年。 p. 94比101
下载后可阅读完整内容,剩余1页未读,立即下载
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![txt](https://img-home.csdnimg.cn/images/20210720083642.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 京瓷TASKalfa系列维修手册:安全与操作指南
- 小波变换在视频压缩中的应用
- Microsoft OfficeXP详解:WordXP、ExcelXP和PowerPointXP
- 雀巢在线媒介投放策划:门户网站与广告效果分析
- 用友NC-V56供应链功能升级详解(84页)
- 计算机病毒与防御策略探索
- 企业网NAT技术实践:2022年部署互联网出口策略
- 软件测试面试必备:概念、原则与常见问题解析
- 2022年Windows IIS服务器内外网配置详解与Serv-U FTP服务器安装
- 中国联通:企业级ICT转型与创新实践
- C#图形图像编程深入解析:GDI+与多媒体应用
- Xilinx AXI Interconnect v2.1用户指南
- DIY编程电缆全攻略:接口类型与自制指南
- 电脑维护与硬盘数据恢复指南
- 计算机网络技术专业剖析:人才培养与改革
- 量化多因子指数增强策略:微观视角的实证分析
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)