东北印度面部表情识别数据库及其应用

© 2013年。由爱思唯尔公司出版信息工程研究院负责评选和同行评议可在www.sciencedirect.com上在线获取ScienceDirectIERI Procedia 4（2013）358 - 3632013年电子工程与计算机科学NEI面部表情识别Priya Sahaa，Gouri Natha，Mrinal Kanti Bhowmika *，Debotosh Bhattacharjeeb，Barin Kumar Deaa特里普拉大学，Suryamaninagar，799022，印度b印度加尔各答贾达夫普尔大学，邮编700032摘要本文介绍了东北印度（NEI）的面部表情分析，使用视觉人脸图像。对相关的研究成果进行了简要的回顾。从东北印第安人的部落和非部落收集了视觉人脸图像。在NEI人脸数据库中采集了愤怒、高兴、悲伤、惊讶、恐惧和厌恶六种基本的面部表情。分析了不同表情时面部特征的变化。该分析表明，所捕获的面部表情满足标准面部表情。这些面部图像可以用于面部识别目的。可以使用NEI面部表情数据库来生成自动面部表情识别系统。© 2013作者。由Elsevier B. V.在CC BY-NC-ND许可下开放获取。信息工程研究院负责评选和同行评议关键词：面部表情; NEI人脸数据库;视觉人脸图像;面部特征变化1. 介绍表情可以被描述为面部特征运动的集合。每个表情的各个元素都可以以不同的强度发生，比如更紧的眼睑和不断增长的脸颊代表着快乐的表情。面部表情是情感表达的媒介，而不是情感的语言表达。面部表情描绘了关于疼痛，情感，意图，意识，个性等的不同线索[1]。对于智能和* 通讯作者。联系电话：+91-9436129933;传真：+91-0381-237-4602。电子邮件地址：mkb_cse@yahoo.co.in。2212-6678 © 2013作者由Elsevier B. V.在CC BY-NC-ND许可下开放获取。信息工程研究所负责的选择和同行评审doi：10.1016/j.ieri.2013.11.051Priya Saha等人/ IERI Procedia 4（2013）358359自然的人机交互（HCI），自动理解面部表情是必不可少的[2]。在图像分析和模式识别的今天，人脸表情自动识别成为一个热门的研究领域。一些研究人员探索了不同的方法来自动识别面部表情。N. Sebe et.al [3]探索了在视频中使用面部表情来让机器感知情绪的方法。这项研究的贡献有两个方面：第一，建立了真实的面部表情数据库，以自然面部表情为测试对象。其次，使用各种机器学习算法检测情绪。Tian等人[7]讨论了自动人脸分析（AFA）系统，该系统用于分析近正面人脸图像序列的永久和瞬时特征。AFA系统可以识别面部表情的平滑变化。多状态面部组件模型被提出用于跟踪和建模各种面部特征，如眼睛，嘴唇，眉毛，脸颊。M. Bartlett等人[8]提出了一个用户独立的，全自动的，实时的面部动作识别系统。在该系统中，在从视频流中检测出正面人脸图像之后，每帧相对于20个动作单元被编码。该方法将支持向量机和AdaBoost算法应用到基于纹理的图像表示中.分类器提供了动作单元强度的预测结果。S. Park et.al [9]探索了一种使用变形来识别面部表情的新技术。细微的面部表情被变形成相应的极端面部表情。将变形后的人脸表情图像投影到AAM中，提取表情特征。最后利用多类支持向量机对外观特征进行分类。本文主要研究NEI人群面部表情的准确性。捕捉的表情越准确，识别的面部表情就越准确。基本的面部表情和相应的特征变化在下一节中说明。2. 面部表情不同的作者将面部表情分为六种基本表情，有些人将其分为七种表情。本文列举了六种基本的面部表情，即高兴、愤怒、悲伤、惊讶、恐惧和厌恶。一个面部表情不同于其他，因为不断变化的面部特征，如脸颊，眉毛，鼻子，嘴唇，嘴等。图1显示了基本的面部表情。这些基本表达式如下所述[10]。 愤怒描述了个体对受到侮辱、伤害或否认的心理理解和报复倾向。 快乐描述了快乐，积极的气质和友好。 悲伤的表情与损失、悲伤、尴尬、疼痛、无助联系在一起。 惊讶的表情传达出意想不到的信息，意想不到的，新奇的或令人惊讶的。 恐惧表达显示了个人从人际暴力或非人格化中被摧毁的可能性隐患 厌恶表情与不精确、传染、厌恶等情绪相面部特征根据情绪而变化与面部表情相关联的面部特征运动如下： 在快乐的表情中，眼睛周围的肌肉收紧，眼睛周围的皱纹，脸颊抬起，嘴唇角对角地升起 在愤怒的表情中，眉毛向下拉，上眼睑向上拉，下眼睑向内拉，嘴唇边缘向内卷，嘴唇可能会收紧。360Priya Saha等人/ IERI Procedia 4（2013）358 在悲伤的表情中，眉毛的内眼角抬起，眼睑松弛，嘴角向下拉 在惊讶的表情，整个眉毛拉起，眼睑拉起，嘴巴张开。 在恐惧的表情中，眼睑被拉到一起，上眼睑被拉起来，嘴巴被拉长。 在厌恶的表情中，眉毛向下拉，鼻子皱，上唇向上拉，嘴唇松。Fig. 1.以NEI人脸数据库为3. NEI表达式数据库设计3.1.脸部图像获得东北印第安人（NEI）人脸数据库包括印度东北部各邦不同部落和非部落的可视人脸图像。数据库的设计仍在印度特里普拉大学生物统计学实验室进行。表1显示了从4个州，即阿萨姆邦，曼尼普尔邦，米佐拉姆邦，那加兰邦和特里普拉邦捕获的面部图像总数。每个人包含95个人脸图像，包括中性，左灯亮，右灯亮，六个基本表情和闭上眼睛。在米佐拉姆，所有的个人都被发现是部落，其余的国家都有部落和非部落。表1.美国东北部各州状态人数面部图像总数图片详情号女性人数阿萨姆106100704561曼尼普尔10498808024米佐拉姆115109256451那加兰10599756144特里普拉20019000112883.2.相机设置该数据库中的图像主要是在严格控制的光照、姿势等条件下拍摄的，并且具有不同的分辨率。共有五个尼康D5100相机与尼康18-55毫米镜头被用来捕捉五个不同的姿态的人脸图像。我们还使用了三个100瓦造型灯泡的Simplex照片灯光系统，用于控制全照明和半照明条件。我们已经在一个名为尼康ML-L3的遥感器上拍摄了一个主题的五个不同角度的五张不同图像Priya Saha等人/ IERI Procedia 4（2013）358361这种红外遥感器具有在距离相机16英尺的范围内工作的能力。摄像机被放置并固定在受试者前方，距离受试者4.5英尺，并根据每个受试者的高度以不同的角度放置。五个摄像头，凸轮1、凸轮2、凸轮3、凸轮4和凸轮5分别放置在+50°、+25°、-25°、-50°和0°。这三盏灯分别被命名为L1、L2和L3，分别以+60°和-60°的角度放置在头部上方。所有摄像机和灯光都安装在同一位置，在整个拍摄过程中没有移动在我们的数据库中，我们使用三个196 V-100 W建模灯泡来控制照明条件。两个灯设置在60度从双方的主题。第三盏灯设置在主体的顶部。这减少了侧灯形成的阴影效果。图2显示尼康D5100相机，Simplex照片灯，尼康ML-L3红外遥感器。4. NEI标准面部分析通过拍摄单个面部图像来分析NEI面部图像的六种表情。基本的六种面部表情与Ekman标准数据库进行比较[6]。图3示出了捕捉到的具有相应面部特征变化的NEI人的面部表情。在与标准表情进行比较时，我们发现NEI的大部分表情都与标准表情相匹配。在图3（a）中，除了上眼睑向上拉和下眼睑向内拉之外，大多数特征变化都发生在愤怒表情中。在图3（b）所示的NEI人脸图像中，已经发现了快乐表情期间的所有特征变化。在NEI面部数据集中捕获的图3（c）的悲伤表情不能在眉毛的内角中产生任何变化，但是其余的肌肉运动是可观察的。图3（d）、（e）和（f）中所示的其余表达式包含标准表达式中发生的全部特征变化。有时表达方式可能因人而异。因此，可能无法获得完全唯一性。5. 人脸表情自动识别系统的应用领域表情识别系统是建立响应式人机交互界面的媒介，它可以识别人的情感。由Bartlett等人开发的CUanimate，是模仿用户表情的动画角色[4]。安德森和麦克欧文建立了“网络聊天”，用户可以登录并开始聊天。当面部表情识别系统连接到这个基于聊天室的应用程序时，基于用户的面部表情自动插入情绪[5]。面部表情可以用于医学诊断中以识别特定的心理过程（例如，疼痛、抑郁）。面部表情在法医应用中是一个挑战。与生物特征人脸识别相比，法医人脸识别的可靠性非常关键。6. 结论和今后的工作面部表情是人们与他人交流的基本手段之一。本文对NEI人脸数据库进行了表情分析。我们已经描述了六个基本的表情，只采取正面的脸的形象。面部图像被捕获，保持标准的面部表情，以便在未来的调查可以进行，以便执行面部表情识别。该团队通过维护印度政府新德里MCIT的DIT“印度人脸图像数据标准”规定的大部分标准来捕获数据库人脸图像，以保持人脸图像的质量。362Priya Saha等人/ IERI Procedia 4（2013）358图二、（a）Nikon D5100相机，（b）Simplex照片灯，（c）Nikon ML-L3红外遥感器眉毛拉下来嘴唇的边缘卷起嘴唇可能会收紧眼睛周围的肌肉绷紧了脸颊抬起嘴角斜翘(a)（b）第（1）款眼睑松弛嘴角向下拉整个眉毛都拉起来了眼睑下垂嘴巴张开(c)（d）其他事项眉毛一扬一起上眼睑拉起眉毛拉下来鼻子皱起来嘴拉长下唇突出和松散(e)（f）第（1）款图3标准表情和我们捕获的NEI标准面部表情（a）愤怒，（b）快乐，（c）悲伤，（d）惊讶，（e）恐惧，（f）厌恶。确认该研究得到了印度政府DeitY，MCIT的资助。Vide No. 12（2）/2011- ESD，dated 29/03/2011，undertaken by the Biometrics Laboratory Computer Science Engineering Department，Tripura University.作者要感谢IIT坎普尔的Phalguni Gupta教授对相机和灯光设置的宝贵建议。Priya Saha等人/ IERI Procedia 4（2013）358363引用[1]FDL Torre和J.F. Cohn，[2]M. Pantic，“面部表情识别”，生物识别百科全书，编辑- S。Li，Springer-Verlag BerlinHeidelberg，pp. 400-406，2009年。[3]N. Sebe，M.S. Lew b，Y.孙c岛Cohen d，T. Gevers和T.S.黄志光，[4]M.S. Bartlett，G.利特尔沃特岛Fasel和R. Movellan，[5]K. Anderson和P.W. McOwan，“A Real-Time Automated System for Recognition of Human FacialExpressions”，IEEE Trans. Systems，Man，and Cybernetics Part B，vol. 36，no. 1，pp. 96-105，2006年。[6]P. Ekman，“Darwin，Deception，and Facial Expression”，Annals of the New York Academy ofSciences，vol. 1000，no. 1，pp. 205- 221，2003。[7]Y.田氏T. Kanade和J.F. Cohn，“Recognizing Action Units for Facial Expression Analysis”，pp. 32-66.世界科学出版公司，股份有限公司、River Edge，NJ，USA，2002.[8]M. Stewart Bartlett，G. C. Littlewort，M. G.弗兰克角Lainscsek，S.迭戈岛R.法塞尔Movellan，[9]S. Park，J. Shin，D. Kim，“Facial expression analysis with facial expression deformation”，inProc.19th ICPR，pp. 12月1日至4日2008年[10] http：//face-andemotion.com/dataface/emotion/expression/.jsp.