野生动物：信息最大化适应网络减少种族偏见

692野生动物的面孔：用信息最大化适应网络减少种族偏见王梅1，邓晓1*，胡佳妮1，陶训强2，黄耀海21北京邮电大学，2佳能信息技术（北京）有限公司，公司{wangmei1，whdeng，jnhu}@ bupt.edu.cn，{taoxunqiang，huangyaohai}@ canon-ib.com.cn摘要种族偏见是生物识别中的一个重要问题，但在深度人脸识别中尚未得到深入研究。在本文中，我们首先贡献了一个名为Racial Faces in the Wild（RFW）数据库的专用数据集，在此数据库上，我们坚定地验证了四种商业API和四种最先进（SOTA）算法的种族偏见然后，我们进一步提出了使用深度无监督域自适应的解决方案，并提出了一个深度信息最大化自适应网络（IMAN），以减轻这种偏见，通过使用Cau- casian作为源域和其他种族作为目标域。这种无监督的方法同时调整全局差异，以减少种族差距在域级别，并学习S的歧视性目标表示在集群级别。提出了一种新的互信息损失，以进一步增强网络输出的无标签信息的区分能力。在RFW、GBU和IJB-A数据库上进行的大量实验表明，IMAN成功地学习了- s特征，这些特征在不同种族和不同数据库中具有很好的泛化能力。1. 介绍深度卷积神经网络（CNN）的出现[38，55，59，31，32]极大地推进了人脸识别（FR）的前沿[63，58，54]。然而，越来越多的人发现，一个有问题的问题，即种族偏见，一直被掩盖在以前的研究中，由于偏见的基准，但它显着降低了现实FR系统的性能[2，13，25，8]。例如，亚马逊尽管一些研究[49，29，23，50，36]已经揭示了非深度FR算法中的种族偏见，但在深度学习时代，这一领域仍然是空缺的，因为可用的测试信息太少，难以衡量种族偏见。为了促进对这一问题的研究，我们构建了一个新的野生种族面孔（RFW）数据库，如图所示。1和表4，以公平地衡量深FR中的种族偏见。 基于对RFW的实验，我们发现商业API和SOTA算法确实存在种族偏见：非洲人面孔的错误率大约是白种人的两倍，如表1所示。1. 为了研究由训练数据引起的偏见，我们还收集了一个种族平衡的训练数据库，并验证了种族偏见来自数据和算法方面。一些特定的种族本质上更难识别，即使是在种族平衡的训练数据上训练。要求进一步研究算法，以消除种族偏见。图1. RFW数据库的实例和平均面。从上到下一行：高加索人，印度人，亚洲人，非洲人。无监督域自适应（UDA）[64]是解决算法偏差的有前途的方法之一，它可以将两个域映射到域不变特征空间，并以无监督的方式提高目标性能[61，40，60，24]。不幸的是，由于两个独特的挑战，大多数用于对象识别的UDA首先，面对身份（类）的两个领域是不重叠的FR，使许多技能的国家的最先进的（SOTA）方法的基础上共享类是不适用的。其次，基于源域和目标域的全局对齐的方法不足以获得FR分类的区分能力。如何应对这两个挑战是有意义的，但在这个社区很少有人提出的工作。693模型高加索RFW印度 亚洲非洲微软[5]87.6082.8379.6775.83商业面部++[4]93.9088.5592.4787.50API百度[3]89.1386.5390.2777.97亚马逊[1]90.4587.2084.8786.27是说90.2786.2886.8281.89[65]第六十五话87.1881.9279.3278.00SOTA[39]第三十九话90.8087.0282.9582.28算法[21]第二十一话92.1588.0083.9884.93VGGface2 [15]89.9086.1384.9383.38是说90.0185.7782.8082.151这里的Arcface是使用ResNet-34在CASIA-Webface上训练的。表1.深层FR系统中的种族偏见。给出了在6000个困难对RFW数据库上的验证精度（%）本 文 提 出 了 一 种 新 的 信 息 最 大 化 自 适 应 网 络（IMAN）来消除种族偏见，该网络在领域级匹配全局分布，同时在聚类级学习区分性目标分布。为了避免两个域之间的类不重叠，IMAN采用谱聚类算法生成伪标签，并利用Softmax对网络进行预适应，初步提高IMAN的这种聚类方案与不适用于FR的其他UDA方法[51，69，16，18]根本不同。除了基于伪标签的预适应外，还提出了一种新的基于互信息的自适应方法，以无监督的方式学习更大的决策裕度，进一步增强网络输出的区分能力。与常见的监督损失和监督MI方法[56，34]不同，MI损失利用所有未标记的目标数据，无论它们是否被成功分配伪标签，凭借其无监督属性。大量的实验结果表明，IMAN有助于将识别知识从白种人（源）域转移到其他种族（目标）域。其性能远优于其它UDA方法。消融研究表明MI丢失对减少种族偏见具有独特的作用此外，IMAN还有助于将一般深度模型适应特定数据库，并在GBU [48]和IJB-A [37]数据库上实现了性能提升。本文的贡献主要体现在三个方面。1）构建了一个新的RFW数据集，并发布1用于种族偏见研究2)在RFW上的综合实验验证了深度FR算法中种族偏见的存在及其原因3）提出了一种新的IMAN解决方案来解决种族偏见问题。2. 相关工作人脸识别中的种族偏见。几项研究[49，29，23，50，36]揭示了非深种族偏见1http://www.whdeng.cn/RFW/index.html人脸识别算法FRVT 2002 [49]表明识别准确性取决于人口统计学队列。Phillips等人[50]在FRVT 2006 [11]的图像上评估了FR算法，发现算法在本地人身上表现更好。Klare等人[36]从皮内尔-拉斯县治安官办公室（PCSO）收集了白人、黑人和西班牙裔的面部照片，并得出结论，黑人群体更难识别。 在深度学习时代，现有的种族偏见数据库由于规模小、条件受限而不再适用于深度FR算法;常用的深FR测试数据库，例如：LFW [33]、IJB-A [37]不包括显著的种族多样性，如表2所示。虽然一些研究，例如。不平等训练[9]和抑制属性[8，43，44，42]，已经努力减轻几个计算机视觉任务中的种族和性别偏见，这项研究在FR中仍然是空缺的。因此，我们建立了一个新的RFW数据库，以促进对这个问题的研究。火车/测试数据库种族分布（%）高加索亚洲印度 非洲[67]第六十七话84.52.61.611.3火车VGGFace 2 [15]74.26.04.015.8MS-Celeb-1M [30]76.36.62.614.5LFW [33]69.913.22.914.0测试IJB-A [37]66.09.87.217.0RFW25.025.025.025.0表2.常用训练和测试数据库中不同种族的百分比深度无监督域自适应。UDA [64]利用相关源域中的标记数据来执行目标域中的新任务[61，40，41，24，60]。然而，UDA的研究仅限于物体分类，很少有研究针对FR任务的UDALuo等人[70]将最大平均差异（MMD）估计器集成到CNN中以减少域差异。Sohn等人。[57]通过一组变换从图像合成视频帧，并应用域对抗判别器来对齐图像和视频域的特征空间。Kan等人。[35]利用稀疏表示约束来确保源域与目标域共享类似的分布。在本文中，受生成对抗网（GAN）中使用的Inception Score [52，10]的启发，我们将MI作为正则化项引入域自适应，并提出了一种新的IMAN方法，以无监督的方式解决FR的这一独特挑战。3. 野生种族面孔：RFW我们不是从网站下载图像，而是从MS-Celeb-1 M [6]收集图像。我们使用FreeBase名人的“国家”属性[27]直接选择亚洲人和印度人。对于高加索人和非洲人，Face++ API [4]用于估计种族。一个身份将被接受-694我i i=1iJi i i=1i我只有当它的大多数图像被估计为同一种族时，它才被ed，否则它将被放弃。为了避免有偏见的Face++工具造成的负面影响，我们手动检查Face++中置信度较低的图像。然后，我们构建了我们的RFW数据库与四个测试集，即高加索人，亚洲人，印度人和非洲人。每个子集包含约10K张3K个人的图像，用于人脸验证。所有这些图像都经过精心和手动清理。此外，为了排除RFW 和常用训练数据集之间的重叠身份，当发现CASIA-Webface 和 VGGFace 2 （ 基 于 Ar-cface [21] 特征）中的主题及其最近邻具有相同身份时，我们进一步通过手动检查不同的种族，并包含更大的人内变化。和图图2呈现了6K所选对的一些示例，并且从图中可以看出，一些对甚至对于人类来说也是非常有挑战性的。4. 信息最大化自适应网络在我们的研究中，源域是一个带标签的训练集，即Ds={xs，ys}M，其中xs是第i个源样本，ys是其类别标签，M是源图像的数量。 目标域是未标记的训练集，即Dt={x t}N，其中x t是第i个目标样本，N是目标图像的数量。两个数据的分布对于性能评估，我们建议使用域是不同的，P（Xs，Ys）P（X t，Y t）. 我们的目标生物识别接收器操作特征（ROC）曲线和LFW类协议两者。具体而言，ROC曲线旨在报告综合性能，评估所有3K身份对上的算法（约14K阳性vs. 50M负对）。相比之下，LFW类协议有助于在具有6K对图像的算法之间进行简单快速的比较此外，受GBU数据库[48]的丑陋子集的启发，我们选择了阳性对阴性对图2. RFW数据库中的配对示例。我们根据余弦相似度选取6K个困难图像对，避免饱和误识，这些图像对同一个人的变化和不同人的相似外貌给识别器带来了挑战。在RFW中，每个种族的图像都是从MS-Celeb-1 M中随机收集的，没有任何偏好，因此它们适合公平地衡量种族偏见。我们已经证实，在不同的种族，他们的姿势，年龄，是学习域和IM之间的深度特征不变以无监督的方式证明目标图像（在我们的研究中是有色皮肤的脸）的性能。在人脸识别任务中，两个域的身份（类别）是不重叠的，这提出了不同于其他任务的独特挑战。4.1. 用于预适应的先前的UDA方法应用源分类器来预测目标域中的伪标签，通过该方法可以使用监督损失来微调网络[51，69，16，18，66]。不幸的是，由于两个域之间的身份不重叠，这些成熟的方法不适用于人脸识别。因此，我们将聚类算法引入到UDA中，以生成用于预适应训练的伪标签。我们的聚类算法的详细步骤如下：首先，我们将未标记的目标数据Xt送入网络并提取深度特征F（Xt）。然后，利用这些深层表示，我们构造了一个N×N邻接矩阵，其中N是目标域中的面的数目，并且在（i，j）处有条目，即s（i，j），是目标面部xtxt。其次，我们可以根据邻接矩阵构建聚类图G（n，e），其中节点ni表示第i个目标图像，边缘e（ni，nj）表示两个目标图像具有比参数λ更大的余弦相似性：.性别是相似的。作为证据，Face++ API测量的详细分布如图所示。3（a）-3（d）。e（ni，nj）=1、如果s（i，j）> λ0， 否则（一）从数字中可以看出，不同种族之间没有明显此外，图3给出了3K难正对的位姿和年龄间隙分布3（e）和3（f），这表明所选择的困难对在不同的情况下也是公平的2所有用于评估的数据和基线代码将公开用于研究目的。然后，我们简单地将每个具有至少p个节点的连通分量保存为一个簇（标识），并获得这些目标图像的伪标签;剩余的图像将被放弃。因此，我们只获得部分图像的伪标签具有较高的置信度，以减轻虚假标记的样本所造成的负面影响。之后，我们使用标准Softmax损耗对网络进行预适应。695(a) 偏航（b）俯仰（c）年龄（d）性别（e）姿势差距（f）年龄差距图3. RFW统计。我们显示了RFW中3000个身份的（a）偏航姿势，（b）俯仰姿势，（c）年龄和（d）性别分布，以及LFW和RFW中阳性对的（e）姿势间隙分布和（f）年龄间隙分布。图4. IMAN架构概述。步骤1：伪适应。通过聚类算法生成目标图像的伪标签，然后在Softmax的监督下利用伪标签对网络进行预适应，以获得目标域的初步改善步骤2：MI适应。在互信息损失的情况下，进一步优化了目标分类器输出的分布4.2. 判别式自适应的互信息损失分类器预测的边缘分布给出如下：虽然预适应已经得出了初步的预测，∫p（Ot）=ΣNp（x t）p（Ot|x t）dx t= 1.ΣpO t|X t（二）目标图像的作用，不足以提高性能，由于伪标签的不完善，在目标域中产生了错误。我们如何才能充分利用目标图像的完整集合并学习更多的区分性表示？在初步预测的基础上，我们提出了在没有任何标签信息的情况下进一步优化分类器输出分布的方法。我们的思想是通过扩大一个类的分类器的输出，同时以无监督的方式抑制其他类的分类器的输出，从而在特征空间中学习大的决策间隔与监督互信息[56，19，45，34]不同，我们的MI损失最大化了未标记目标数据Xt和分类器基于理想条件差-i i iNii=1我们建议最大化Ot的熵可以使样本在数据集的类别之间均匀分配。在信息论中，X和Y之间的互信息，即I（X;Y），可以表示为两个熵项之差：I（X; Y）= H（X）− H（X|Y）= H（Y）− H（Y|（十）（三）如果X和Y是由一个确定的，可逆的功能，然后最大的互信息达到。在我们的例子中，我们结合两个熵项，并获得数据Xt和预测Ot之间的互信息：ΣNtL= 1H（O |x t）− γH（O）分类器预测p（O t）的估计|（二）看比如[0，0，...， 1、…0]，最 好 用la rgema r gin. Grand valet[28]认为，MNi=1ΣN我不是CCNC不CCNC1Nt=1p（o t|x t）logp（o t|x t）− γp（ot）logp（o t）Ni=1 H（Ot|xi）非常有效地满足了这一要求，Njj j j因为当分类器的预测分布均匀时，它最大化但如果票数i=1j=1ΣN CCNCj=1CCNC完全无监督学习，简单地最小化这个en-=p（x t）p（o t|x t）logp（o t|x t）− γp（ot）logp（ot）熵将导致更多的决策边界被移除i j ii=1j =1j i j jj=1并且大多数样本被分配到相同的类。因此，我们倾向于类别的均匀分布。的估计=H [Ot|Xt] − γH [Ot]<$−I（Xt;Ot）（四）标记源数据源分类损失无标号目标数据…MMDMMD相互信息损失聚类方法伪标签1未标记2伪目标数据MI-适应网络输出标记源数据…安妮·海瑟薇汤姆·克鲁斯…………………696∗MΣMJ否¨其中第一项是Ot的条件分布的熵，它可以扩大分类器增强了网络对目标域的识别能力第二种是抑制其他类别的人;第三种是抑制其他类别的人。m是Ot的边缘分布的熵，它可以避免大多数样本被分配到同一个类。N是目标图像的数量，并且NC是目标类别的数量。但如果没有groundtruth标签，算法1信息最大化自适应网工作（IMAN）。输入：源域标记的样本{xs，ys}M和目标保证了分类器预测的准确性域未标记样本{xt}N.i i=1tion？利用基于聚类的伪标签，利用聚类数代替NC，通过预适应得到初步预测，保证我输出量：网络层参数Θ。一曰： 第一阶段：//预训练：i=1互信息损失的准确性。4.3. 适应网络如图4、IMAN的架构由源CNN和目标CNN组成最大平均差异（MMD）估计器[61，40，12，14]是测量域差异的标准分布距离度量我们简单地在适配层之后的网络顶部使用分叉。源CNN的输入是源标记图像，而目标CNN的输入训练的目标是尽量减少以下损失：Σ2：MMD [61]和源分类的预训练网络-最大限度地减少域差异，并为聚类提供更可靠的目标表示;3：重复：第四章： 第二阶段：//预适应：5：采用聚类算法，根据式（1）生成部分目标图像（1）在Softmax的监督下对它们进行网络预适应，以获得目标域的初步改进;第六章： 阶段3：//MI适应：7：根据等式11调整具有互信息损失的网络。(5)进一步提高网络输出的判别能力;8：直到收敛L= L（X，Y）+α MMD2（D1，D1）+β L（X）C SSl∈Ls tM不（五）5. RFW实验其中，α和β是用于在三个任期。LM（Xt）是我们在未标记的目标数据Xt上的互信息损失。LC（Xs，Ys）表示源数据Xs和源标签- sYs上的源分类损失。D1是源示例和目标示例的第1层隐藏表示，MMD2（D1，D1）是源示例和目标示例的第1层隐藏表示。5.1. 种族偏见实验实验设置。我们使用[21]中描述的类似ResNet-34架构。它是在CAISA-Webface [67]上使用Arcface损失[21]的指导进行训练的，这种模型称为弧面（CASIA）模型。CASIA-Webface由-在l上评估的源和目标之间的MMD-th层表示。两个域之间MMD的经验估计被定义为MMD2（Ds，DT）=10K名人的50万张照片，其中85%的照片是白人。对于预处理，我们使用五个FA-¨¨<$1φ（xs）−1¨2φ（xt）<$、 其中φ表示用于相似性变换的社会地标，然后裁剪和将面的大小调整为112×112。RG中的每个像素（[0，255]）¨i=1伊努j=1HB图像通过减去127.5进行归一化，然后被将原始数据映射到再现对象的函数nel Hilbert空间算法描述了IMAN的整个过程1.源分类损失监督源域的学习过程。MMD最小化域差异以学习域不变表示。此外，在预训练阶段，MMD提供更可靠的底层目标表示用于聚类，从而导致更高质量的伪标签。基于训练的伪标签可以初步改善目标域的性能，保证网络对无监督MI损失的预测精度。MI损失可以进一步充分利用所有目标数据，无论它们是否是完全聚类的，以学习更大的决策裕度除以128。 我们设置批量大小、动量，重量衰减分别为200、0.9和5e−4学习率从0.1开始，当错误平稳时以10倍的因子降低两次种 族 偏 见 的 存 在 。 我 们 利 用 我 们 的 Arcface（CASIA）模型提取了RFW中6000个对的特征，并计算了余弦距离的分布，如图所示。第5（c）段。高加索人的分布比较明显，t边缘比其他种族，这从视觉上证明了非白人被试的识别错误要高得多。然后，我们还研究了一些SOTA算法，即Center-loss [65]，Sphereface [39]，VGGFace 2 [15]和Ar- cFace [21]，以及四个商业识别API，即Face++、百度、亚马逊、微软。的697(a) 中心损失（b）(c)Arcface（d）VGGFace2图6.在所有对上评估的（e）中心丢失、（f）Spereface、（g）Arcface、（h）VGGFace2的ROC曲线。对所有对进行评估的生物特征ROC曲线如图所示。LFW类方案的准确度见表1，ROC曲线见补充资料。首先，所有SOTA算法和API在高加索人测试子集上表现最好，其次是印度人，最差的是亚洲人和非洲人。这是因为主要在高加索人身上训练的学习表征将丢弃对辨别非高加索人面孔有用的信息。第二，发现与[11]一致的现象：由东亚公司开发的API对亚洲人的效果更好，而西半球开发的API对高加索人的效果更好。域间隙的存在。在特征层次上进行了可视化和定量比 较 。 1.2K 图 像 的 深 度 特 征 通 过 我 们 的 弧 面（CASIA）模型提取，并分别使用t-SNE嵌入[22]进行可视化，如图所示。第五条（a）款。这些特征几乎完全根据种族分开。此外，我们使用MMD计算图1中高加索人和其他种族的图像5（b）。从这些数据中，我们得出了同样的结论：高加索人与其他种族的差异性远大于高加索人自身的差异性，这与种族之间存在领域鸿沟的现象相一致。因为种族偏见。我们根据FreeBase名人[27]从网站上它包含来自14 K名人的590 K图像，其具有与CASIA-Webface数据库相似的规模，但近似种族平衡，每个种族具有3.5K身份。以E-qualizedface为训练数据，采用与 Arcface （ CASIA ） 模 型 相 同 的 方 法 训 练 Arcface（Equal）模型，并在6000个困难的RFW对上比较它们的性能，如表3所示。与Arcface（CASIA）模型相比，在所有种族上同等训练的Arcface（Equal）模型在非白种人身上的表现要好得多，这证明了数据库中的种族偏见会反映在FR算法中。然而，即使进行了均衡的训练，我们看到非白种人的表现仍然不如白种人。这可能是因为有色肤色的人脸更难提取和预处理特征信息，特别是在黑暗的情况下-S.此外，我们还在同一种族的7K身份上训练特定模型，其性能与平衡训练（每个种族3.5K人）相比略低我们相信不同种族之间由于相似的底层特征而存在合作关系，因此这种种族的混合将提高识别能力。5.2. 领域适应实验数据集。根据RFW方法构造了一个具有四个种族子集的训练集。如表4所示，一个训练子集由10k个高加索人的约500K个标记图像组成，另外三个子集分别我们使用Cau- casian作为源域，其他种族作为目标域，并在6000对和所有对RFW上评估算法子集火车受试者数量图像数量测试受试者数量图像数量高加索10000468139295910196印度-52285298410308亚洲-5418824929688非洲-50588299510415表4.训练和测试数据集的统计实施细节。 对于预处理，我们共享了统一对齐方法 ，如 上面提到的弧 面 （ CASIA ） 模 型 。 对 于MMD，我们遵循DAN [40]中的设置，并将MMD应用于最后两个完全连接的层。在所有实验中，我们使用ResNet-34作为主干，并将批量大小、动量和权重衰减分别设置为200、0.9和5e−4在预训练阶段，学习率从0.1开始，当错误平台时，学习率以10倍的倍数下降在预适应阶段，我们使用5e−3的学习率对伪标记的目标样本和源样本进行预适应网络。在MI适应阶段，我们使用所有源和目标数据以1e−3的学习率适应网络在IMAN-A （Arcface ）中，Arcface[21]用作源分类损失，参数α、β和γ分别设置为10、5和0.2。在IMAN-S（Softmax）中，Softmax被用作源分类损失，并且参数α、β和γ被设置为2、5和0.2。实验结果。三个UDA任务进行，即转移知识从高加索到印度，亚洲和非洲。由于任务的特殊性，很少有研究关注FR任务中的UDA。 最新的工作698300200100高加索人检测子集300200100印度测试子集300200100亚洲测试子集300200100非洲测试子集0-0.200.20.40.60.810-0.200.20.40.60.810-0.200.20.40.60.810-0.200.20.40.60.81(a) T-SNE（b）MMD余弦距离余弦距离余弦距离(c)6000对图5. (a)四个测试子集的特征空间。 每个颜色点代表一个图像属于高加索人，印度人，亚洲人或非洲人。(b) MMD测量的高加索人与其他种族的分布差异。’Ca’, ’As’, ’In’ and ’Af’ represent Caucasian, Asian, （c）高加索人、印度人、亚洲人和非洲人子集上6000对余弦距离的分布培训数据库LFWCFP-FPAgeDB-30高加索印第安人亚洲非洲[67]第六十七话99.4093.9193.3592.1583.9884.93（我们的）99.5592.7495.1593.92 92.9890.6090.98高加索人-700099.2088.0094.6193.68---印度人-700098.5390.8086.47-90.37--亚洲-700098.0587.7186.05- -91.27-非洲人-700098.4586.4489.62- --90.88表3.使用不同训练数据集训练的ResNet-34模型的验证准确率（%）由 Luo et al.[70] 使 用 基 于 MMD 的 方 法 ， 即[61][62][63][64][65][66][67][68][69因此，我们也比较了我们的IMAN与这两个UDA方法。DDC在最后一个全连接层采用单核MMD，DAN在最后两个全连接层采用方法高加索印度亚洲非洲Softmax94.1288.3384.6083.47DDC-S [61]-90.5386.3284.95DAN-S [40]-89.9885.5384.10IMAN-S（我们的）-91.0889.8889.13Arcface [21]94.7890.4886.2785.13DDC-A [61]-91.6387.5586.28DAN-A [40]-91.7887.7886.30IMAN-A（我们的）-93.5589.8788.88IMAN*-A（我们的）-94.1591.1591.42表5.6000对RFW数据集的验证准确度（%）“-S”表示使用Softmax作为源分类损失的方法;而“-A”表示使用Arcface的。表5和图7、我们有以下观察。首先，在没有适应的情况下，在CVPR'19上发表并报告了LFW和MegaFace挑战的SOTA性能的Arcface由于种族差距而无法在非高加索人身上获得完美的性能。其次，基于MMD的方法，即DDC和DAN，与Softmax和Arcface模型相比，获得了有限的改进，这证实了我们的想法，即通过源和目标域的全局对齐的流行方法不足以用于人脸识别。第三，我们可以发现，我们的IMAN-S和IMAN-A都显着优于所有的com-boundary方法，IMAN-A实现了约3%的增益，(a) 印度集（b）亚洲集（c）非洲集图7. Arcface、DAN-A和IMAN-A模型的ROC曲线在所有对非高加索人集上进行评估。弧面模型此外，当在第二阶段使用Arcface损失而不是Softmax损失的监督来预适应网络时，我们的IMAN-A（表示为IMAN*-A）得到了进一步的改进，并且在印度，亚洲和非洲集上获得了94.15%，91.15%和91.42%特别地，我们通过在任务Caucasian→African中交替迭代地执行预适应和MI适应来进一步优化IMAN*-A，并在图中显示了每次迭代的准确性。8.性能逐渐增加，直到收敛。图8.在任务Caucasian→African中交替执行预适应和MI适应时，在每次迭代时验证IMAN*-A的准确性。第0次迭代时的值表示在6K对非洲集上测试的Arcface的精度。消融研究。与现有的UDA方法相比，IMAN主要有两个贡献：伪适应和MI适应。评估其效果-亚洲人亚洲人印度人阳性配对负对TN TPFNFP阳性配对负对TN TPFNFP阳性配对负对TN TPFNFP阳性配对负对TN TPFNFP配对数量配对数量配对数量配对数量699高加索非洲高加索非洲改编前(a) 特征可视化（b）领域差异图9.（a）高加索人→非洲人任务中的特征可视化。（b）源域和目标域的分布差异。我们使用Arcface损失进行消融研究作为源分类损失。在表6中，IMAN w/o伪标签的结果是不令人满意的，因为MI损失依赖于伪自适应以保证分类器的准确性，并且仅用随机初始化的分类器执行MI自适应为了得到公平的比较，正如我们从IMAN w/o MI的结果中可以看到的那样，伪自适应平均优于基线约2.3%，并且我们的IMAN比伪自适应约1.1%，受益于MI自适应。这表明，每一个组成部分都有独特的效果，减少种族偏见。方法印度亚洲非洲无伪标签91.0286.8885.52无MI92.0888.8088.12IMAN-A（我们的）93.5589.8788.88表6.6000对RFW数据集的消融研究可视化。为了证明IMAN学习功能的可移植性，在功能级别进行可视化比较。首先，我们分别用Arcface模型和IMAN-A模型对Caucasian→African任务中的10K幅源图像和目标图像进行随机抽取。这些特征使用t-SNE可视化，如图所示。9（a）。自适应后，更多的源数据和目标数据开始在特征空间中混合，使得它们之间没有边界。其次，我们分别使用弧面和IMAN-A激活计算源域和目标域之间的域差异。图图9（b）显示使用IMAN-A特征的差异比使用Arcface特征的差异小得多。因此，我们得出结论，我们的IMAN有助于最大限度地减少域差异和对齐两个域之间的特征空间受益于MMD。关于IJB-A和GBU的附加实验。除了种族差距，还有其他领域的差距，使学习-测试模型在目标域中退化，例如不同的照明条件、姿势和图像质量。为了验证我们的IMAN方法，我们通过使用CASIA-Webface作为源域并使用G-BU [48]或IJB-A [37]作为目标域，进一步采用它来减少这些域间隙。CASIA-Webface中的图像是在不受约束的环境下从互联网上收集的，大多数人物都是名人表7.对于GBU分区，FAR为0.001时的VR方法不IJB-A：验证。AR@FARIJB-A：鉴别0.0010.010.1Rank1排名10[20]第二十话---58.80-[62]第六十二话-73.30-82.00-[7]第七话-78.70-84.60 94.70三重相似性[53]-79.0094.5088.01 97.38[17]第十七话-83.80-90.30 97.70VGG [46]64.1984.0296.0991.1198.25[21]第21话74.1987.1194.8790.6896.07DAN-A [40]80.6490.8796.2292.7897.01IMAN-A（我们的）84.1991.8897.0594.0598.04表8.IJB-A的验证性能（%） 表示1：N标识。在环境照明下拍摄。GBU被分成三个分区，具有不同识别难度的人脸对，即，好的，坏的，丑陋的。每个分区由一个目标集和一个查询集组成，它们都包含437个不同人的1085幅图像。这些图像是正面的，用数码相机在室外或室内的中庭和走廊IJB-A包含500个主题的5，397个图像和2，042个视频，并且覆盖大的姿势变化并且包含许多模糊视频帧。GBU和IJB-A数据库的结果见表7和表8。改进后的IMAN-A模型优于其它同类方法，甚至优于弧面模型.特别是，它优于SOTA同行的GBU的大幅度，虽然它只是基于无监督的适应。6. 结论一个最终的人脸识别算法应该在不同的种族上表现得相当好。我们已经完成了第一步，并创建了一个基准，即。RFW，公平地评估种族偏见。通过在RFW上的实验，我们首先验证了种族偏见的存在。然后，我们解决它的观点，领域适应和设计一种新的IMAN方法，以弥合领域差距和种族之间的知识转移。综合实验证明了我们的IMAN减少种族偏见的潜力和有效性。7. 致谢本工作得到佳能信息技术（北京）有限公司的支持，Ltd.根据批准号OLA18001。方法丑陋坏好[48]第四十八话7.0024.0064.00融合[47]15.0080.0098.00VGG [47]26.0052.0085.00[21]第21话75.0090.3296.21DAN-A [40]80.7793.6697.60IMAN-A（我们的）85.3896.0098.88700引用[1] 亚马逊的Rekognition工具。https://aws.amazon的网站。com/rekognition/.[2] 人 脸 识 别 系 统 准 确 吗 ？ 取 决 于 你 的 种 族 。https://www.technologyreview.com/s/601786.[3] 百度云视觉api. http://ai.baidu.com。[4] Face++研究工具包。 www.faceplusplus.com。[5] Microsoft Azure。https://www.azure.cn网站。[6] Ms-celeb-1 m挑战3：人脸特征测试/万亿对。http://trillionpairs.deepglint.com/网站。[7] Wael AbdAlmageed ， Yue Wu ， Stephen Rawls ， ShaiHarel ， Tal Hassner ， Iacopo Masi ， Jongmoo Choi ，Jatuporn Lekust，Jungyeon Kim，Prem Natarajan，et al.使用深度多姿态表示的人脸识别计算机视觉应用，第1-9页IEEE，2016.[8] Mohsan Alvi ， Andrew Zisserman ， and ChristofferNellaker.视而不见：显式去除深度神经网络嵌入的偏差和变化。arXiv预印本arXiv：1809.02169，2018。[9] Alexander Amini，Ava Soleimany，Wilko Schwarting，Sangeeta Bhatia和Daniela Rus。通过学习的潜在结构发现和减轻算法偏差。AIES，2019年。[10] 谢恩·巴拉特和里希·夏尔马关于Inception评分的注释。arXiv预印本arXiv：1801.01973，2018。[11] J Ross Beveridge，Geof H Givens，P Jonathy Phillips，Bruce A Draper和Yui Man Lui。注重质量，预测2006年业绩.自动人脸&与手势识别，2008. FG'08。第八届IEEE国际会议，第1-8页。IEEE，2008年。[12] KarstenM Borgwardt，Arthur Gretton，Malte J Rasch，Hans-PeterKri e gel ， BernhardScho¨ l k opf ， andAl exJSmola. 利用核最大平均差异对结构化生物数据进行整合。Bioinformatics，22（14）：e49[13] Joy Buolamwini和Timnit Gebru。性别色调：商业性别分类的跨部门准确性差异。在第一届公平，问责制和透明度会议的会议记录中，第81卷，第77-91页，2018年。[14] 放大图片作者：Andrea Gabrielli，Miguel A. Mu Ntilde和 Oz 。 基 于 核 最 大 平 均 差 异 的 结 构 化 生 物 数 据Bioinformatics，22（14）：e49-e57，2006.[15] 曹琼，李申，谢伟迪，奥姆卡·M·帕克希，安德鲁·齐瑟曼. Vggface2：一个用于识别跨姿势和年龄的人脸的数据集。arXiv预印本arXiv：1710.08092，2017。[16] Chaoqi Chen ， Weiping Xie ， Tingyang Xu ， WenbingHuang ， Yu Rong ， Xinghao Ding ， Yue Huang ， andJunzhou Huang.用于无监督域适应的渐进特征对齐。arXiv预印本arXiv：1811.08585，2018。[17] Jun-Cheng Chen，Vishal M Patel，and Rama Chellappa.使用深度cnn特征的无约束人脸验证。在计算机视觉应用 （ WACV ） ， 2016 年 IEEE 冬 季 会 议 上 ， 第 1-9 页IEEE，2016.[18] Minmin Chen，Kilian Q Weinberger，and John Blitzer.领域适应的联合训练。神经信息处理系统的进展，第2456-2464页，2011年[19] Xi Chen，Yan Duan，Rein Houthooft，John Schulman，Ilya Sutskever，and Pieter Abbeel. Infogan：通过信息最大化生成式对抗网络进行可解释的表示学习神经信息处理系统的进展，第2172-2180页，2016年[20] Aruni Roy Chowdhury ， Tsung-Yu Lin ， SubhransuMaji