论文研究-基于深度学习的人脸识别算法研究.pdf_深度学习人脸识别算法

人工智能

需积分: 2 511 浏览量更新于2023-05-26 评论 3 收藏 1.56MB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

http://www.paper.edu.cn

- 1 -

中国科技论文在线

基于深度学习的人脸识别算法研究

赵学斌，张雷

（北京邮电大学网络技术研究院，北京 100876）

作者简介：赵学斌（1992-），男，硕士研究生，人工智能

通信联系人：张雷（1976-），男，副教授，硕导，移动互联网，云计算，机器视觉，人工智能. E-mail:

zhangl@bupt.edu.cn

摘要：传统的人脸识别算法主要是基于图像的浅层特征提取，比如 LBP、SIFT、HOG 等图

像特征描述算子，然后进行多种浅层特征融合，PCA 降维之后再采用传统的机器学习分类

器进行人脸识别，比如线形判别式、SVM、联合贝叶斯分布等。深度学习能够提取图像的

高层的、抽象的、概念化的特征，能够从图像全局的角度提取到人脸最本质的特征，全局的

特征能够很好的解决人脸的姿态、表情、光线、年龄、遮盖等噪声影响。本文的的创新性体10

现在使用时下高效 Inception-ResNet 和 SqueezeNet 网络模型和多种损失函数的结合，设计出

高效的人脸高层特征提取器，并且直接在 LFW 公开测试集上测试，取得了很高的性能。

关键词：人工智能；人脸识别；卷积神经网络；损失函数

中图分类号：TP183

RESEARCH ON FACE RECOGNITION ALGORITHM

BASED ON DEEP LEARNING

Zhao Xuebin, Zhang Lei

(Institute of Network Technology, Beijing University Of Posts And Telecommunications, Beijing

100876) 20

Abstract: The traditional face recognition algorithm is mainly based on the image of the shallow

feature extraction, such as LBP, SIFT, HOG image feature descriptors, and then a variety of shallow

features fusion, PCA dimension reduction and then use the traditional machine learning classifier for

face recognition, such as linear discriminant, SVM, Joint Bayesian distribution. Deep learning can

extract the high-level, abstract and conceptual features of the image, and can extract the most essential

features of the human face from the perspective of the image. The global features can well solve the

problems of facial pose, expression, light, age, cover and other noise effects. The innovation of this

paper is to design a highly efficient facial feature extractor using the combination of the current and

efficient Inception-ResNet and SqueezeNet network models with a variety of loss functions and to test

directly on the LFW public test set, achieving very high Performance.

Keywords: artificial intelligence; face recognition; CNN; loss function

0 引言

人脸识别技术是一种高精度、易于使用、稳定性高、难仿冒的生物识别技术，具有极其35

广阔的市场应用前景。在国防、公关、海关、交通、社保、金融、医疗及其他民用安全控制

等行业和部门存在着广泛的需求。近年来，人脸识别凭借着其独特自然性、非强制性和非接

触性优势，逐渐成为身份识别的主流技术之一。自然性指的是人类进行个体身份识别的方式

同样是基于面部生物特征的，而虹膜识别和指纹识别等识别方式不具备这种自然性。非强制

性指的是可以利用可见光主动获取人脸图像而不被待识别个体察觉，而利用红外线采集的虹40

膜识别、电子压力传感器采集的人手指纹，容易被伪装欺骗。非接触性指的是识别过程中识

别设备无需与待识别个人发生任何肢体接触，在现实场景下可以很容易被个体接受且运用更

http://www.paper.edu.cn

- 2 -

中国科技论文在线

为便

2014 年以来，随着海量人脸数据集的获取和计算机计算能力的指数级提升，多种深度

模型在其他模式识别领域取得了一系列突破性进展，研究者们把深度学习技术运用到人脸识45

别领域，去解决传统手工特征设计方式提取人脸特征的局限性，成为了必然趋势，在 LFW、

YTF 等公开人脸识别测试集上的性能远远的超过人类。

本人充分调研了近年来的卷积神经网络模型的发展和基于深度学习的人脸识别技术发

展，使用 2016 年 UC Berkeley 和 Stanford 联合提出的 SqueezeNet 网络以及 2016 年的 Google

提出的 Inception-ResNet 网络，结合不同的模型训练监督信号，在公开的人脸数据集上训练，50

然后在 LFW 测试集上做性能评估。

1 相关研究

人脸识别(Face Recognition)由人脸验证(Face Verification) 和人脸身份识别(Face

Identification)两个子问题组成。人脸验证是用于判定两张人脸图像是否属于同一个人。人脸55

身份识别是用于识别出图像中的人脸身份问题。两者的本质是等同的，都是提取人脸高层的、

抽象的、概念的、本质的人脸特征。在人脸识别领域，学术上各类算法性能对比都是基于人

脸验证的，本文的算法性能就是在 LFW 公开人脸验证数据集上进行测试。

2014 年，Facebook 公司在 CVPR 会议上发表了一篇基于深度学习的人脸识别算法

[1]

(简

称“DeepFace”)，在 LFW 公开测试集取得了 97.35%的识别率，是第一个接近人类性能的基60

于深度学习技术的人脸识别算法，是深度学习在人脸识别领域的一次开创性运用。DeepFace

采用主流的“人脸检测-对齐-特征提取-分类”路线，在人脸对齐和人脸表征环节的进行了改

进。DeepFace 实际上就是使用海量人脸数据驱动模型的训练，体现出了深度学习在大数据

上训练的优势。在这篇论文中使用了权值不共享的卷机核，从而学习到更精准的人脸特征，

同时最后得到的人脸特征也仅仅为 4096 维向量，相对于传统方式提取的数万维特征，不但65

更准确而且更紧凑。2014 年，香港中文大学的汤晓鸥团队也在 CVPR 会议上发表一篇基于

深度学习的人脸识别论文

[2]

(简称“DeepID1”)。DeepID1 使用 60 个深层卷积网络分别对人脸

图像的 60 个不同区域、大小、通道(RGB 或者灰度图)进行基于 Softmax 分类的独立训练，

然后将 60 个网络的特征层输出作为人脸的综合特征，最后使用 PCA 降维的特征向量进行人

脸验证。DeepID1 在 LFW 上取得了当时最好的 97.45%性能。同年，汤晓鸥团队又发了一篇70

论文

[3]

(简称“DeepID2”)对 DeepID1 的网络训练时的监督信号进行了优化，即在网络的特征

层输出添加人脸验证监督信号。DeepID2 认为一个高效的人脸特征向量应该具备两个基本特

性：1)类内差异性(Intra-Variations)最小化；2)类间差异性(Inter-Variation)最大化。DeepID2

分析了只使用 Softmax 分类监督信号的神经网络只能提取类间差异性最大化的人脸特征向

量，并不能实现特征向量类内的差异性最小化，而特征类内的差异性会弱化类间的差异性，75

导致人脸识别的性能降低。DeepID2 仍然使用 DeepID1 网络模型，但是训练时采用从

mini-batch 中随机选取多对人脸对，在对两张人脸分别进行计算分类损失之后再累加人脸验

证监督信号(即人脸的“验证损失”)。最终使用分类损失和验证损失联合的 DeepID2 在 LFW

上取得了 99.19%的识别性能，再次刷新 LFW 的记录。

2015 年，汤晓鸥团队再次在 CVPR 上发表了一篇基于深度学习的人脸识别算法论文80

[4]

(简称“DeepID2+”)。这篇论文对 DeepID2 模型进行了两处优化，一方面增大 DeepID2 网络

http://www.paper.edu.cn

- 3 -

中国科技论文在线

模型的隐藏层特征的维度，以学习到更高效的特征，另一方面对网络的早期卷积层添加验证

监督信号。这篇论文也是第一次从特征的稀疏性(sparsity)、选择性(selectiveness)、强壮性

(robustness)的角度去分析 DeepID2+模型所学习到的人脸特征。DeepID2+发现二值化后的特

征仍然可以达到很好的识别性能，这在大型数据库中进行人脸检索具有很大的意义。85

DeepID2+还对特征输出层的神经元进行了可视化分析，发现部分神经元的激活值集合能够

对人脸进行属性判别，比如，性别、人种、头发颜色、年龄、胡子等人脸属性。这对基于人

脸的多任务学习(Multi-Task Learning)具有很大的启发意义。DeepID2+

[17]

还分析了当人脸图

像被部分遮盖的情况下，模型仍能取得较好的识别率。DeepID2+在 LFW 上取得了 99.47%

准确率，再次刷新纪录。2015 年，更深层的神经网络在众多物体识别领域取得了突破性，90

尤其 Google 提出的 GoogLeNet 和牛津大学的 VGG 实验室的 VGG 深度模型在 ILSVRC 比赛

上取得了最优秀的成绩。于是，汤晓鸥团队又发表了一篇论文

[5]

(简称“DeepID3”),尝试把

GooleNet 和 VGG 网络运用到人脸识别领域，目标是使用更深的网络模型学习到更丰富的人

脸高层特征

[5]

。由于人脸数据集的有限，更深层 DeepID3 网络与 DeepID2+在 LFW 上取得了

同样的性能，随着数据集的增大，DeepID3 的性能应该会超过 DeepID2+的，但是当时汤晓95

鸥团队并没有在大数据上进行性能评估。

2015 年，Google 公司在 CVPR 上发表 FaceNet 论文

[6]

，FaceNet 在 LFW 上取得了 99.63%

的性能，再次刷新纪录。FaceNet 并没有使用基于 Softmax 的方式去进行分类学习，然后提

取隐藏层作为人脸特征向量，而是直接进行端到端的学习，将原始图像映射到一个欧式距离

可测空间，从而使得在欧式空间里的距离的度量值直接表示着人脸的相似度。最后得到的人100

脸特征向量仅仅为 128 维，可以直接用于人脸身份识别、人脸验证以及人脸聚类等等。

FaceNet 引入了三元组损失(Triplet Loss)函数，在训练的时候，提出了高效的 triplet 三元组的

选择算法，能够解决模型训练时的慢收敛问题。

Google 和 Facebook 公司运用海量的人脸数据集实现深层神经网络的训练，实现了很高

的性能，但是两家公司的数据集并不公开，这使普通研究者对人脸识别算法的研究受到了很105

大的阻碍。2015 年，英国牛津大学 VGG 实验室 Andrew Zisserman 团队表发了 DeepFR 论文

[7]

并且公开了包含多达 2600 人、一共 2.6 百万张的人脸数据集。DeepFR 在 DeepFace、DeepID

和 FaceNet 的基础上，提出了更为简单、更为高效的深层神经网络，在比 Google 和 Facebook

数据集少很多的自己公开的数据集上，在 LFW 上同样实现很好的高达 98.95%的识别性能。

2015 年，国内的百度提出了一种两步学习方法

[8]

，结合类似 DeepID 系列的 multi-patch110

学习和深度度量学习，在 1.2 百万的人脸数据集(1.8 百万个个体)上训练，该方法在 LFW 上

取得了当时最好的 99.77%的识别性能。Face++公司在 2015 年也发表了一篇论文

[9]

，Face++

从网络上搜集了 5 百万张人脸数据集用于深度模型训练，在 LFW 上也取得了 99.50%的识别

性能。

2016 年，中国科学院深圳先进技术研究院和香港中文大学联合在 ECCV 上发表一篇论115

文

[10]

，提出了新型的神经网络训练时的监督信号-人脸中心性损失(Center Loss)，文章里认为

同一个人的不同姿态、表情、光照、年龄等条件下的图像，虽然人眼视觉上会存在差异，但

是在高维的、抽象的、本质的特征空间内应该保持一致性。于是提出在基于 Softmax 分类进

行训练的网络中在需要再添加一个人脸中心性损失监督信号即可实现人脸特征的类间最大

化、类内最小化。因为中心性损失不需要设计策略选择高效的三元组，所以相对于三元组更120

容易实现深层神经网络的训练收敛。

综上所述，近三年来基于深度学习的人脸识别技术发展主要体现在卷积神经网络模型的

http://www.paper.edu.cn

- 4 -

中国科技论文在线

发展和神经网络训练的监督信号的发展。同样，本文的人脸识别算法设计的核心部分是深度

网络模型的选择和损失函数的设计。

125

2 人脸识别算法设计

人脸识别算法框架主要包括人脸对齐模块、人脸特征提取模块、人脸特征运用模块，如

图 3-1 所示。人脸对齐是人脸预处理模块，用于从图像检测出人脸和定位人脸特征关键点，

然后裁剪出指定尺寸大小的人脸部分。人脸特征提取模块，主要包括网络模型结构设计和模

型训练的损失函数设计。人脸特征运用模块属于业务逻辑层，结合人脸特征的实际运用场景130

可以设计出不同的算法，常用的有人脸验证、人脸身份识别、人脸聚类等，本课题研究人脸

验证运用场景，设计出不同的算法。

2.1 人脸对齐模块的算法设计

本论文采用 Kaipeng Zhang 在 ECCV2016 发表的 MTCNN 人脸对齐算法

[11]

，Zhang 认为135

人脸检测和人脸对齐两项任务具有内在关联性，所以使用人脸检测和人脸对齐多任务学习机

制，同时采用了级联组织的三个卷积神经网络，在 FDDB 和 WIDERFACE 公开测试集上取

得了最好的成绩。

MTCNN 人脸检测分为三个阶段，如图 1 所示，第一阶段，在构建图像金字塔的基础上，

利用全连接卷积网络(称为“P-Net”)来进行人脸检测，获取到很多的候选窗口和对应的人脸方140

框线性回归坐标。然后使用非极大值抑制(NMS)算法进行人脸候选框重叠整体操作。第二阶

段，使用了另一个卷积网络(称为“R-Net”)，进行人脸方框回归和 NMS 进行修正，去除大量

不符合条件的候选框。第三阶段，与第二阶段类似，但是多输出了 5 个人脸关键点。

图 1 MTCNN 人脸对齐流程

[11]

145

Fig. 1 MTCNN Face alignment process

[11]

2.2 人脸特征提取模块的算法设计

人脸特征提取模块设计是人脸识别算法设计的核心环节，人脸特征提取算法的性能直接

剩余16页未读，继续阅读

weixin_39841856

粉丝: 484
资源: 1万+

会员权益专享

论文研究-基于深度学习的人脸识别算法研究 .pdf

评论0

会员权益专享

最新资源

论文研究-基于深度学习的人脸识别算法研究 .pdf

评论0

基于cpp深度学习人脸识别算法

基于深度学习的人脸识别认证研究报告

基于深度学习人脸识别方法有哪些，优缺点是什么

基于python的人脸识别

Python人脸识别算法

使用 Java 实现人脸识别算法

CAS-PEAL-R1 人脸识别库

【毕业论文】基于matlab的人脸识别（含源程序）.pdf

Haar级联分类器算法相较于其他人脸识别算法的优点

基于深度学习的行人人脸识别系统的设计与实现

基于dlib的人脸识别系统

人脸识别算法基本原理？

会员权益专享

最新资源