基于深度学习的人脸生物特征识别及其算法歧视影响的研究摘要

版权归作者基于深度学习的人脸生物特征识别中的语义Alberacio Serna，1Aythami Morales，1Julian Fierrez，1Manuel Cebrian，2Nick Obradovich，2Iyad Rahwan21Universidad Autonoma de Madrid，马德里，西班牙2德国柏林马克斯·普朗克人类发展研究所1{ignacio.serna，aythami.morales，julian.fierrez}@ uam.es2{cebrian，obradovich，sekrahwan}@ mpib-berlin.mpg.de摘要最流行的人脸识别基准测试假设被试的身份不确定，而不太关注他们的人口统计学属性。在这项工作中，我们进行了一个基于深度学习的人脸识别的渐进式歧视感知实验。本研究的主要目的是更好地理解深度模型生成的特征空间，以及在不同人口统计群体中实现的性能。我们还提出了一个一般公式的算法歧视与人脸生物识别的应用。实验是在新的Di-veFace数据库上进行的，该数据库由来自六个不同人口统计组的24 K身份组成。在实验框架中考虑了两种流行的人脸识别模型：ResNet-50和VGG-Face。我们的实验表明，在流行的人脸数据库中高度代表的人口统计学群体导致了流行的预训练深度人脸模型，表现出强大的算法歧视。当在不同的人口统计群体中应用这些模型时，可以在深度模型的特征空间处定性地观察到这种区分，并且在大的性能差异中定量地观察到这种区分，例如用于面部生物测定。1引言人脸识别算法是人工智能（AI）最近取得进展的很好例子自动人脸识别的性能在过去十年中得到了提升，在最具挑战性的场景中实现了非常有竞争力的准确性（Grother，Ngan和Hanaoka 2018）。由于改进的机器学习方法（例如，深度学习），强大的计算（例如，GPU）和更大的数据库（例如，以百万图像的规模然而，识别精度不是设计生物测量系统时要考虑的唯一方面。算法在涉及人类的几个过程的决策中发挥着越来越重要的作用。因此，这些决定对我们的生活产生越来越大的影响因此，目前越来越需要研究人工智能行为，以更好地了解其对我们社会的影响2019年）。1可在GitHub上获取：https://github.com/BiDAlab/DiveFace由于存在于面部图像中的个人信息（例如，身份、性别、种族和年龄）。以前的工作表明，人脸识别的准确性 受到人口统计协变量的影 响。在（Kemperor等人，2012; Cook等人，2019）中，作者证明了商业人脸识别系统的性能在（Acien et al. 2018;Lu et al. 2019）中，作者评估了协变量如何影响基于深度神经网络模型的人脸识别系统的性能。在不同的协变量中，皮肤颜色被反复视为对性能具有高度影响的因素（Cook等人，2019; Lu等人，2019）。然而，种族的面孔是超越肤色的。面部特征的形状和大小部分由祖先起源定义。这些差异可用于根据受试者的祖先来源对受试者进行准确分类（Acien etal.2018年）。指出人脸检测（Buolamwini和Gebru 2018）和识别算法结果偏差的已发表著作数量很大（Kobel et al.2012;Acien 等 人 2018 年 ;Alvi ， Zisserman ， andNellaScholeker2018年;Cook et al. 2019年; Lu et al. 2019年;Hupont and Fernandez 2019年）。然而，只有有限数量的作品分析了偏见如何影响这些算法的学习过程。这项工作的目的是分析人脸识别模型使用的歧视意识的角度来看。先前的研究表明，种族和性别会影响人脸识别模型的性能（Gong，Liu和Jain 2019）。然而，人们对这些人口统计信息如何影响模型的性能之外缺乏了解。这项工作的主要贡献是：• 机器学习任务的算法判别的一般公式。在这项工作中，我们将这种提法在人脸识别的背景下。• 基 于 新 数 据 集 （ Morales ， Fierrez 和 Vera-Rodriguez 2019）的歧视感知性能分析，其中24 K身份在六个人口统计组之间均匀分布。• 研究性别和种族对深度模型特征表示的影响。• 分析一些最流行的人脸数据库中存在的人口统计多样性。版权所有© 2020本文由其作者。在知识共享许可署名4.0国际（CC BY 4.0）下允许使用。SDSDSs样品r样品sScreener布雷尔伊什<输出== {same不同教练DB输入图像输出（ |（·）学习策略： （���|���）���脸模型图图1：人脸识别框图。Screener是一种算法，它给出两张人脸图像，判断它们是否属于同一个人。训练器是为筛选器生成最佳数据表示的算法。本文的其余部分结构如下：第2节介绍了我们的算法判别的一般公式。第3节分析了一些最流行的人脸识别体系结构和实验协议遵循这项工作。第4节评估了人脸识别算法中有偏学习的原因和最后，第5节总结了主要结论。其中O是学习算法的输出，我们试图使其更接近由手头的任务定义的目标函数（或地面实况）T。另一方面，可以根据D人口统计标准C d对I个人进行分类，其中d = 1，.，D，这可能是一个来源，刑事定罪，例如，C1=性别={男，女}（演示-图形标准 1= 性别在该示例中具有两个类特定类k=1，...，对于给定的demo，图形标准d和给定样本记为Cd（xi），第2章种族歧视的形成《剑桥词典》对歧视的定义是，由于肤色、性别、性取向等原因，区别对待一个人或一组特定的人，尤其是以比你对待其他人更糟糕的方式对待他们。为了研究人工智能中的歧视，我们现在根据以前的词典定义，用数学算法来表达歧视尽管在其他地方可以找到与我们的公式中嵌入的想法类似的想法（Calders和Verwer 2010; Raji和Buolamwini 2019），但我们我们希望这些概念的形式化可以有助于促进进一步的研究在这个热门话题上，让As-xi是个体i（来自I个不同个体）的学习表示，对应于该特定主题的输入样本s（来自S假设该表示x对于任务T是有用的，例如，面部认证或情感识别。使用具有参数θ的人工智能方法来学习该表示x。我们还假设有一个善的标准，G在该任务上最大化给定数据集D（多个样本的集合）中的某个性能实值函数fG（D）=maxf（D，θ）（1）θ前面表达式的最流行形式在一组训练样本D上最小化损失函数L，其形式为：ΣO（x i）{\displaystyle O（xi）}|θ），Ti）（2）θxi∈D例如，在一个实施例中，C1（xs）=男性。我们假设所有的类都在数据集D中得到了很好的表示，即，D中所有标准中每个类别的样本数是有意义的。Dk∈ D表示与人口统计学标准的类别k相里翁湾最后，我们对算法辨别：算法辨别用类别k表示的人群（例如，女性）在执行任务T时（例如，面部验证或情感识别），如果当考虑数据D的完整集合（包括来自多个个体的多个样本）时该任务中的优度G显著大于对应于人口统计标准d的类别k的数据子集中的优度G（Dk）。表示x和模型参数θ通常是实值向量，但它们可以是组合实值和离散值的任何特征集。请注意，预-上述公式可以容易地扩展到不同对象的样本Si的数量变化的情况，这是通常的情况;或者扩展到不相交的类K还要注意，前面的公式是基于个人群体的平均表现。由于各种原因，在许多人工智能任务中，特定个体之间的不同表现是常见的没有被正确感知的特定用户（Alonso-Fernandez，Fierrez和Ortega-Garcia 2011），即使对于平均可能对可能是歧视来源的不同类别执行类似的算法。3人脸识别算法人脸识别算法和其他机器学习系统一样，可以分为两种不同的算法：筛选算法和训练算法。这两种算法用于不 同的目的 ，因此应 该从不 同的角度 进行研究（Kleinberg et al. 2019年）。距离面部模型���面部模型���筛选器（见图1）是一种算法，给定两张人脸图像，生成与它们属于同一个人的概率相关的输出通过比较从由参数θ定义的面部模型获得的两个学习表示来获得该概率。这些人-参数先前基于训练数据集D和优度准则G进行训练（参见图2）。①的人。如果训练得当，训练器的输出将是具有能够表示输入数据的参数θe的模型（例如，面部图像）在高度判别特征空间X中。最流行的面部模型-卷积神经网络（CNN）在过去的十年中，这种类型的网络通过从大规模数据库中学习高度区分的特征，大大 降 低 了 人 脸 识 别 算 法 的 错 误 率 （ Ranjan et al.2018）。在我们的实验中，我们考虑了两种流行的人脸识别预训练模型：VGG-Face和ResNet-50。这些模型已在竞争性评估和公共基准上进行了测试（Parkhi等人，2015年; Cao等人，2015年）。2018年）。VGG-Face是一个基于VGG-Very-Deep-16 CNN架构的模型，该架构在VGGFace数据集上训练（Parkhi et al.2015）。ResNet-50是一种CNN模型，具有50层和41 M参数，最初提出用于通用图像识别任务（He et al.2016）。ResNet架构与传统卷积神经网络之间的主要区别在于包含残余连接，以允许信息跳过层并改善梯度流。在应用人脸模型之前，我们使用（Zhang et al.2016）中提出的算法裁剪人脸图像。预训练的模型被用作嵌入提取器，其中x是面部的l2归一化学习表示形象两个人脸描述符xr和xs计算为欧几里得距离||xr−xs||.如果两个面的距离小于阈值τ，则将它们分配给相同的身份。识别准确率达到了通过比较肯定匹配之间的距离来获得（即，XR和XS属于同一个人）和负匹配（即，xr和xs属于不同的人）。在我们的实验中考虑的两个人脸模型是根 据 （ Cao et al. 2018 ） 中 提 供 的 详 细 信 息 ， 使 用VGGFace2数据集进行训练。正如我们将在4.3节中展示的那样，用于训练这两个模型的数据库是高度偏倚的。因此，预计用该数据集训练的识别模型将呈现算法区分。3.1实验方案Labeled Faces in the Wild（LFW）是一个用于研究无约束人脸识别的数据库（Learned-Miller et al. 2016）。该数据库包含从网络上收集的超过13K张人脸图像。在这项研究中，我们认为对齐的图像从测试集提供了视图1及其相关的评估协议。该数据库由野外采集的图像组成，具有大的姿势变化，以及不同的面部表情，图像质量，照明和背景杂波等变化。LFW数据库的VGG-Face和ResNet-50模型实现的性能为4。1%和1. 7%等误差率分别这些表现作为基准，模型和其他实验。我们可以观察到ResNet-50模型的优越性能，其性能约为。比VGG-Face模型好3倍。使用DiveFace的实验将按照交叉验证方法进行，使用DiveFace中可用的六个类别中的每个类别的每个4K身份的三个图像（总共72K人脸图像）。这导致72K真实比较和近3M冒名顶替者比较。3.2DiveFace数据库：一个基于多样性训练的人脸识别注释数据集使用Megaface MF 2训练数据集生成DiveFace（Kemelmacher-Shlizerman等人，2016）。MF2是公开可用的Megaface数据集的一部分，该数据集包含来自672K身份的470万张面孔，并且包括各自的边界框。Megaface数据集中的所有图像均来自Flickr Yahoo的数据集（Thomee et al. 2015）。DiveFace包含与性别和种族相关的六个类别中均匀分布的注释（见图10）。4用于示例图像）。性别和族裔是按照半自动程序加以说明的。有24K个标识符（每个类4K）。每个标识的平均图像数量用户根据他们的性别（男性或女性）和三个相关类别种族的身体特征：• 第一组：祖先来自欧洲、北美和拉丁美洲（欧洲血统）的人。• 第二组：祖籍在撒哈拉以南非洲、印度、孟加拉国、不丹等地的人。• 第三组：祖先来自日本、中国、韩国和该地区其他国家的人。我们意识到将所有人类的种族起源仅仅分为三类的局限性据统计，世界上有5000多个民族我们只根据三个组进行分类，以最大限度地扩大类间的差异。基于这三个类别的自动分类算法表现出高达98%的准确性（Morales、Fierrez和Vera-Rodriguez 2019）。4人脸识别算法4.1人脸识别的性能：人口统计信息本节探讨了偏见模型在人脸识别算法中的作用表1显示了DiveFace中每个人口统计组的表现。传统的人脸识别基准通常不探索这种人口统计协变量。表1中报告的结果显示，不同人口统计学群体的表现之间存在很大差距，表明性别和种族都显著影响D表1：DiveFace数据集上人脸识别模型的性能（以%表示的假匹配率@假不匹配率= 0.1%）我们在括号中显示了相对于最佳类别（第1组男性）的相对误差增长率模型组1组2组3男性女性男性女性男性女性VGG-面部7.99 9.38（↑17%）12.03（↑50%）13.95（↑76%）18.43（↑131%）23.66（↑196%）ResNet-50 1.60 1.96（↑22%）2.15（↑34%）3.61（↑126%）3.25（↑103%）5.07（↑217%）偏置模型的性能这些影响对于种族尤其高，训练数据中较少代表的类别（第3组女性）的结果出现非常大的退化对于最佳类别（第1组男性），这种退化分别为VGG- Face和ResNet-50产生196%和217%的等误差率（EER）的相对增量。这些差异很重要，因为它们标记了成功匹配的面孔和错误匹配的面孔的百分比。这些结果表明，你的种族来源可以高度影响你的可能性是不正确的匹配（假阳性）。4.2理解有偏见的表现第3组中相对较低的性能似乎源于捕获训练数据库中代表性不足的组的最佳区分特征的结果表明，能够为特定人口群体达到高准确度的特征让图2代表第1组男性（最佳组）和第3组女性（最差组）真实和冒名顶替者评分的概率真实分布和冒名顶替者分布之间的可比性揭示了冒名顶替者分布的巨大差异第3组和第1组之间的真实该模型难以区分不同主体的人脸属性。面部识别的含义：将性能函数f定义为面部识别的准确性G（Dk）=f（Dk，θ）是考虑图2：第3组女性和第1组男性的ResNet-50面部识别分数分布。自己 的偏见（ 例如， 图像质量 ，姿态 ，背景 和老化）。在这项工作中，我们强调了人口统计信息在非常流行的人脸识别数据库中的不平等表示。可以看出，各民族之间的差异是严重的。尽管第3组中的人占世界人口的35%以上，但他们在那些流行的人脸识别数据库中仅代表9%的用户。有偏见的数据库意味着对表示不足的类的双重惩罚。一方面，根据非代表性多样性训练模型。另一方面，在一项研究中，在特权等级上报告% d %d基准精度对于在数据D的整个集合上训练的算法θk，使用与演示标准d的类别k相对应的所有样本（如等式2中所述）。①的人。结果表明，不同类别的优度G（Dk）之间存在较大差异，特别是k=Group1，Group2，Group3的类别。4.3人脸数据库偏见和歧视概念是相互关联的，但它们不一定是同一件事。传统上，偏差与数据集中类的不平等表示有关。自动人脸识别的历史与过去二十年中用于算法训练的数据库的历史有关。公开可用的数据库数量很多，它们允许使用数百万张人脸图像来训练模型。图3总结了一些被引用最多的人脸数据库的人口统计数据。每个数据库的特点是，并且高估了多样化社会的真实表现。最近，在（Buolamwini and Gebru 2018; Mer- ler et al.2019; Wang and Deng 2019）中提出了多样性和歧视感知数据库。这些数据库是探索如何利用多样性来改善面部生物识别的宝贵资源。然而，其中一些数据库不包 括 身 份 （ Buolamwini 和 Gebru 2018; Merler 等 人2019），并且无法匹配面部图像其他图像。因此，这些数据库不允许正确地训练或测试人脸识别算法。种族歧视的含义：类k在最流行的人脸数据库D中不平等地表示。4.4深度模型我们现在分析VGG-Face生成的嵌入空间中种族和性别属性的影响，1第二组：14%- 男性：8%- 女性：6%2000万张图片80万个身份第1组：77%- 男性：47%- 女性：30%第三组：9%- 男性：5%- 女性：4%种族分布男性：60%2000万张图片80万个身份女性：40%性别分布图3：文献中引用最多的12个人脸数据库的人口统计数据 。 BioSecure （ Ortega-Garcia 等 人 ， 2009 ） 、YouTubeFaces（Wolf、Hassner和Maoz 2011）、PubFig（Kumar等人，2011）、CasiaFace（Yi等人，2014年 ） ， VGGFace （ Parkhi 等 人 ， 2015 ） ， CelebA（Yang等人，2015），MS-Celeb-1 M（Guo 等人，2016 ） ， Megaface （ Kemelmacher-Shlizerman 等 人 ，2016 ） ， LFW （ Learned- Miller 等 人 ， 2016 ） 、UTKface（Zhang 、Song 和Qi， 2017）、 VGGFace 2（Cao等人，2018）、IJB-C（Maze等人，2018）、Di-veFace（Morales、Fierrez和Vera-Rodriguez，2019）。ResNet-50模型。CNN由大量堆叠的过滤器组成。这些过滤器被训练为提取预定义任务的最丰富的信息（例如，面部识别）。由于人脸识别模型被训练来识别个体，因此可以合理地认为模型的响应可以从一个人到另一个人略有不同。为了可视化模型对不同面孔的反应，我们考虑了（Selvaraju et al. 2017）中提出的特定类激活MAP（CAM），名为Grad-CAM。这种可视化技术使用任何目标概念的梯度，流入选定的卷积层以产生粗略的定位图。所得到的热图突出显示图像中针对所述目标的激活区域（例如，在我们的案例中是个人身份图图4表示由ResNet-50模型针对来自不同人口统计群体的人脸获得的热图。此外，我们还包括对Di-veFace中包含的六个人口统计组的120个不同个体的结果进行平均后获得的热图激活图显示了种族组之间的明显差异，第1组的激活最高，第3组的激活最低这些差异表明，由模型提取的特征至少部分地受到种族属性的影响。在另一个方面，我们应用了一种流行的数据可视化算法，以更好地理解种族图4：Dive- Face数据库中可用的六个类的示例（列1到4）.列5示出了从来自每个类的20个随机面部图像获得的平均类激活MAP（ResNet-50的第三卷积块的第一滤波器）。列1-4示出了每个面部图像的类激活映射最大和最小激活分别用红色和蓝色表示。6个类别（组1至3和男性/女性）生成的激活图的平均像素值：G1 M=0.23，G1 F =0.19，G2 M =0.21，G2 F =0.18，G3 M=0.12，G3F=0.13。(This是彩色图像，请参阅数字版本以获得更好的质量。由深度模型生成的嵌入空间中的特征。t-SNE是一种可视化高维数据的算法。该算法最小化了低维嵌入和高维数据的联合概率之间的Kullback-Leibler散度。图5显示了每个人脸在ResNet-50嵌入和t-SNE算法生成的2D空间中的投影。此外，我们还根据每个点的种族特征给它上色。正如我们所看到的，所得到的人脸表示结果是 三个与种 族属性高 度相关 的聚类。 请注意，ResNet-50已经过人脸识别训练，而不是种族检测。然而，种族信息是高度嵌入在特征空间和一个简单的t-SNE算法揭示了这种信息的存在。这两个简单的实验说明了存在和种族属性在面部深度模型生成的特征空间中的重要性数学歧视含义：在有偏见的数据库上为任务T训练的流行深度模型（即，对于给定的人口统计标准d（例如性别），不相等地表示的类k）导致特征空间（对应于方程的解θk）1）引入类k之间的强区分。这种区分影响表示x，并且使得能够使用x在类k之间进行分类，即使x被训练用于解决不同的任务T。5结论这项工作提出了一个全面的分析人脸识别模型，根据一个新的歧视意识的角度。本文提出了一个新的算法判别的一般公式，并应用于人脸识别.我们已经展示了在使用文献中最流行的数据库训练深度模型时引入的高偏差，以及使用DiveFace数据集进行测试时，人口统计组之间的数据平衡良好。我们已经评估了两个流行的模型，根据所提出的配方。基于竞争性深度学习算法的偏见模型已被证明对性别和种族属性非常敏感这种敏感性导致不同的特征表示和性能之间的巨大差距取决于种族起源。最佳类别（第1组雄性）和最差类别（第3组雌性）之间的性能差距达到相对误差退化的200%。这些结果表明，对于本研究中评估的模型，第3组女性的假阳性可能性比第1组男性高200%。这些结果鼓励训练更多样化的模型，并开发能够处理人口统计学群体固有未来的工作将遵循这种方法，正如作者所做的那样（Wang和Deng 2019）。致谢这项工作得到了以下项目的支持：BIBECA（RTI 2018-101248-B-I 00 MINECO/FEDER），Bio-Guard（ Ayudas Fundacion BBVA a Equipos de InvestigacionScientifica 2017）和埃森哲。引用Acien，A.; Morales，A.; Vera-Rodriguez，R.;巴托洛梅岛;和Fierrez，J. 2018。测量人脸识别深度模型中的性别 和 种 族 偏 见 。 在 Iberoamerican 模 式 识 别 大 会（IAPR），584-593。马德里，西班牙：Springer.Alonso-Fernandez，F.; Fierrez，J.;和Ortega-Garcia，J.2011.生物识别系统中的质量措施。IEEE安全隐私10（6）：52-62.Alvi，M.; Zisserman，A.; 和Nell apouchk e r，C. 2018年《蒙蔽双眼：从深度神经网络嵌入中显式去除偏见和变化》。在欧洲计算机视觉会议（ECCV）。2可在GitHub上获取：https://github.com/BiDAlab/DiveFace图5：ResNet-50嵌入到t-SNE生成的2D空间中的投影。Buolamwini，J.，和Gebru，T. 2018.性别阴影：商业性别 分 类 中 的 跨 部 门 准 确 性 差 异 在 Friedler ， S. 一 、Wilson，C.，编辑，Proceedings of the 1st Conference onFairness，Accountability and Transparency，Volume 81ofProceedings of Machine Learning- ing Research，77考尔德斯，T.，和Verwer，S. 2010.三种朴素贝叶斯无歧 视 分 类 方 法 。 Data Mining and KnowledgeDiscovery21（2）：277-292.曹，Q.;沈，L.;谢，W.;帕尔希岛M.; 和Zisserman，A.2018. Vggface2：一个跨姿势和年龄识别人脸的数据集。在第13 届IEEE国际会 议上自动人 脸手势识别（FG），67库克角M.;霍华德，J. J.; Sirotin，Y. B.人; Tipton，J. L.;和Vemury，A. R. 2019. 人口统计学对形象识别的影响及其对形象获取的依赖性：对11种商业系统的评价。IEEE Transactions on Biometrics ， Behavior ， andIdentity Science1（1）：32-41.龚，S.;刘，X.;和Jain，A. K. 2019. DebFace：去偏置人脸识别.arXiv预印本arXiv：1911.08080。Grother ， P.J. 道 ： Ngan ， M.L. 的 ; 和 Hanaoka ， K.K.2018年正在进行的人脸识别供应商测试（FRVT）第2部分：识别。NIST内部报告。美国商务部、国家标准与技术研究所。Guo，Y.;张，L.;胡，Y.;他，X。and Gao，J. 2016. Ms-celeb-1 m：大规模人脸识别的数据集和基准。在欧洲计算机视觉会议（ECCV），87-102。阿姆斯特丹，荷兰：施普林格。他，K。张，X.; Ren，S.; Sun，J. 2016.用于图像识别的深度残差学习。在IEEE计算机视觉和模式识别会议（CVPR）的会议中，770于蓬岛，和Fernandez，C. 2019. DemogPairs：量化人口统计不平衡对深度人脸识别的影响。在第14届IEEE人脸手势识别国际会议上。Kemelmacher-Shlizerman，I.; Seitz，S. M.; Miller，D.;和Brossard，E. 2016. Megaface Benchmark：100万张面孔的大规模识别IEEE计算机视觉与模式识别会议论文集，4873-4882。克塞湾F.地; Burge，M.J.道：Klontz，J.C.的; 布鲁日河W. 五、和Jain，A. K. 2012.人脸识别性能：人口统计信息的作用。IEEE Transactions on Information Forensicsand Security7（6）：1789-1801.Kleinberg，J.;Ludwig，J.;Mullainathan，S.;和桑斯坦，C. R. 2019.算法时代的歧视。《法律分析杂志》10：113-174。库马尔，N.;Berg，A.;Belhumeur，P.N.的; 和Nayar，S.2011年。用于人脸验证和图像搜索的可描述视觉属性。IEEE Transactions on Pattern Analysis and MachineIntelligence33（10）：1962-1977.Learned-Miller，E.; Huang，G. B.人; RoyChowdhury，A.;李，H.;和Hua，G. 2016.在野外贴上标签的面孔：一项调查。In Kawulok，M.;切莱比湾E.的;和Smolka，B.，编辑，人脸检测与人脸图像分析研究进展。斯普林格。189-248卢 ，B.;陈 杰 C.的 ; 卡 斯蒂 略 角 D.的 ; 和 Chellappa，R.2019年。非约束人脸验证中协变量影响的实验评估。IEEE Transactions on Bio-metrics，Behavior，andIdentity Science1（1）：42-55.Maze，B.;Adams，J.;Duncan，J.一、Kalka，N.;Miller，T.;Otto ， C.; 贾 恩 A.K. 的 ; Niggel ， W.T.; Anderson ，J.;Cheney，J.;等，2018年。IARPA Janus Benchmark-C ： 人 脸 数 据 集 和 协 议 。 在 国 际 生 物 统 计 学 会 议（ICB），158-165。澳大利亚黄金海岸：IEEE。Merler，M.; Ratha，N.;费里斯河S.的;和Smith，J.R.2019.面孔的多样性。arXiv预印本arXiv：1901.10436。Morales， A.; Fierrez ，J.;和 Vera-Rodriguez ，R. 2019.SensitiveNets ： Learning Agnostic Representations withApplication to Face Recognition（英语：SensitiveNets：Learning Agnostic Representation with Application toFace Recognition）arXiv预印本arXiv：1902.00334。Ortega-Garcia ， J.; Fierrez ， J.; Alonso-Fernandez ， F.;Gal-bally，J.;弗莱雷，M.的R.; Gonzalez-Rodriguez，J.;Garcia- Mateo ， C.; Alba-Castro ， J. L. 的 ; Gonzalez-Agulla，E.; Oaks-Muras，E.;等人，2009年。多场景多环 境 生 物 安 全 多 模 式 数 据 库 （ BMDB ） 。 IEEETransactionsonPatternAnalysisandMachineIntelligence32（6）：1097-1111.帕尔希岛M.; Vedaldi，A.;Zisserman，A.;等人2015年。深度人脸识别。英国机器视觉会议（BMVC）Rahwan，I.;Cebrian，M.;Obradovich，N.;Bongard，J.;邦 内 丰 ， J. -F. 地 ; Breazeal ， C.;Crandall ， J.W 的 ;Christakis ， N. 一 、 库 赞 岛 D. 的 ; Jackson ， M. 的 O.;Jennings，N.的R.; Kenda，E.;克卢曼岛M.; Larochelle，H.; Lazer，D.; McElreath，R.; Mislove，A.; Parkes，D.C.的; Pentland，A. S.的; Roberts，M. E.的;Shariff，A.; Tenenbaum，J. B.;和Wellman，M. 2019.机器行为。Nature568（7753）：477-486.拉吉岛D、和Buolamwini，J. 2019。可操作的审计：调查商业AI产品的公开偏见绩效结果的影响。AAAI/ACM人工智能伦理与社会会议（AIES）Ranjan，R.; Sankaranarayanan，S.;班萨尔，A.; Bodla，N.; 陈 杰 C. 的 ; Patel ， V. M.; 卡 斯 蒂 略 角 D. 的 ; 和Chellappa，R.2018.深度学习理解人脸：机器可能和人类 一 样 好 ， 甚 至 更 好 。 IEEE Signal ProcessingMagazine35（1）：66-83.塞 尔 瓦 拉 茹 河 的 R.; Cogswell ， M.; Das ， A.;Vedantam ， R.; Parikh ， D.; 和 Batra ， D. 2017. Grad-CAM ： Visual Expla- nations from Deep Networks ViaConcentration-Based Localiza- tion.在IEEE计算机视觉国际会议论文集，618Thomee，B.; Shamma，D.一、Friedland，G.; Elizalde，B.; Ni，K.;波兰，D.; Borth，D.;和Li，L.- J. 2015.多媒体研究中的新数据和新挑战。arXiv预印本arXiv：1503.01817。王，M.，和Deng，W. 2019.使用偏斜感知强化学习减轻 人 脸 识 别 中 的 偏 见 。 arXiv 预 印 本 arXiv ：1911.10692。Wolf，L.; Hassner，T.;和Maoz，I. 2011.背景相似度匹配的无约束视频中的人脸在计算机视觉和模式识别（CVPR），529Yang，S.;罗，P.; Loy，C. C.的;和Tang，X. 2015.从面部部位反应到面部检测：一种深度学习方法。IEEEInternational Conference on Computer Vision，3676Yi，D.; Lei，Z.; Liao，S.;和Li，S. Z.2014.学习-从头开始执行面表示。arXiv预印本arXiv：1411.7923。张，K.;张志; Li，Z.;和Qiao，Y. 2016.使用多任务级联卷 积 网 络 的 联 合 人 脸 检 测 和 对 齐 。 IEEE SignalProcessing Letters23（10）：1499-1503.张志;宋，Y.;和Qi，H. 2017.通过条件对抗自动编码器进行的年龄进展/回归IEEE计算机视觉与模式识别会议论文集，5810