减轻人脸识别偏差的受保护属性抑制系统

15087PASS：用于减轻人脸识别偏差的受保护属性抑制系统[1] 2008年10月25日，2008年1月26日卡斯蒂略1、拉玛切拉帕11约翰霍普金斯大学2马里兰大学学院公园分校{pdhar1，aroy28，carlosdc，rchella4} @ jhu.edu，gleason@umd.edu摘要人脸识别网络在被训练用于身份分类的同时对关于敏感属性的信息进行这种编码有两个主要问题：（a）它使面部表征容易受到隐私泄露的影响（b）它似乎有助于面部识别中的偏见。然而，现有的偏差减轻方法通常需要端到端的训练，并且不能实现高的验证准确度。因此，我们提出了一种基于描述符的对抗性去偏置方法，称为PASS可以在从任何先前训练的高性能网络获得的描述符之上进行训练这消除了对端到端培训的需要。作为PASS的一个组成部分，我们提出了一种新的鉴别训练策略，不鼓励网络编码受保护的属性信息。我们显示PASS的功效，以减少性别和肤色信息的描述符从SOTA人脸识别网络，如Ar-cface。因此，PASS描述符在减少IJB-C数据集上的性别和肤色偏差方面优于现有基线，同时保持高验证准确性。1. 介绍在过去的几年里，人脸识别网络的准确性有了显着提高[40，41，36，15，10，17]。这些改进已经导致在大量应用中部署面部识别系统然而，最近的研究[16，25，43]也表明，人脸识别网络在接受身份分类训练时，会对有关种族、性别和年龄等受保护属性的信息进行编码。敏感属性的编码引起了对隐私和偏见的关注。隐私问题：许多大规模的人脸验证和识别系统采用存储身份的人脸描述符的数据库，而不是人脸图像。面部描述符是指从先前训练的面部识别网络的倒数第二层* 这些作者对这项工作做出了同样的贡献标识，针对所述标识提取描述符（使用预训练的网络P）并存储在私有数据库D身份1身份2身份3身份4步骤1针对数据集DX，使用P步骤2预训练数据集DX(with性别标签）恶意性别分类器CX是在数据集DX的描述符上训练的人脸识别网络（P）隐私泄露场景身份1身份2身份3标识4鉴别1雄性鉴别2雄性身份3女性鉴别4雄性专用数据库D面部描述符步骤3训练的分类器CX预测私有数据库D图1.假设恶意代理X已经获得了对私有数据库D（蓝色）的访问权，该数据库由预训练的网络P和四个身份的面部描述符组成。代理可以使用P来提取用于性别标记的数据集D X的描述符（红色）（步骤1）。使用这些描述符，代理可以训练性别分类器CX（步骤2）。 使用训练的CX，代理可以预测D中的描述符的性别（步骤3），从而导致隐私泄露。存储描述符而不是图像允许非常快速的图库查找和针对已知主题的验证这也通过不存储原始面部图像中存在的潜在敏感信息而然而，由于一些敏感信息仍然被编码在这些描述符中（例如，种族、性别、年龄），可以访问这些描述符的恶意代理可能潜在地提取该信息并将其用于邪恶目的。示例场景如图1所示。偏倚问题：在面部描述符中对诸如性别或种族的受保护属性的编码导致相对于面部描述符的偏差。当用于面部识别时这些属性。NIST [22]最近的一项研究发现，性别和种族等特征会影响人脸描述符的验证和匹配性能。类似地，已经表明，大多数基于面部的性别分类器在具有浅色肤色的男性面部上的表现明显优于具有深色肤色的女性面部[12]。解决隐私和偏见问题的一种方法是通过产生独立于亲人脸的人脸描述符。15088受保护的属性。例如，Debface [20]提出了一种端到端的方法，用于生成使用对抗方法从受保护属性中分离出来的面部描述符。减轻偏见的另一种常见策略是使用在敏感属性方面平衡的训练数据集来训练人脸识别系统然而，构建在我们想要保护的属性方面平衡的大型数据集是困难的此外，一旦构建了这样一个大规模网络的端到端训练需要访问大型数据集和计算能力，并且是耗时的。在训练时应用对抗性损失（如[20]中所做的）也会减慢训练过程。几项工作[48，11，27]表明，在训练网络时减少敏感属性的信息会导致整体性能的下降。即使训练了一个新的网络来生成属性不可知的人脸描述符，我们也需要替换现有的网络（比如图1中的P），并通过输入相应的人脸图像来重新计算所有身份的描述符在这项工作中，我们提出了解决以下四点的解决方案：（i）减少了面部描述符中受保护属性泄漏的机会。（ii）减轻关于多个属性（性别和肤色）的偏见（iii）在现有描述符上操作并且不需要昂贵的端到端培训。(iv)不需要平衡的训练数据集。所提出的方法训练一个轻量级的模型，转换从现有的人脸识别模型获得的人脸描述符，并将它们映射到一个属性不可知的表示。我们使用一种新的对抗性训练程序来实现这一目标，该程序被称为保护性攻击抑制系统（PASS）。与其他使用端到端训练对抗性地抑制受保护属性[20，48]的作品不同，我们在描述符空间上操作一旦被训练，PASS可以容易地应用于其他现有的面部描述符。综上所述，本文主要做以下贡献：1. 我们提出了PASS，一个对抗性的方法，旨在减少敏感属性的信息，从任何人脸识别网络的人脸描述符，同时保持高的人脸验证性能。我们展示了PASS在减少面部描述符中的性别和肤色信息方面的功效，从而大大减少了相关的偏见。此外，PASS可以在从任何面部识别网络获得的面部描述符之上使用。 我们在两个SOTA预训练的网络上显示了这些结果：[ 15 ][16][17][18][19][19]2. 我们的基于描述符的模型不能包括基于CNN的鉴别器，这带来了新的挑战。我们提出了一种新的鉴别器训练策略在PASS，以执行方法目标任务敏感属性[49，30]类比完成性别[47]对象分类[48]操作分类标识，私有属性[13]动作识别场景[6]性别/年龄预测年龄/性别[19]保留姿势/照明/表情标识[27]微笑、高颧骨性别、化妆[7]人脸检测Skintone[35]第三十五话[46]第四十六话[20]人脸识别年龄、性别、种族PASS（Ours）人脸识别性别、肤色表1.在一般视觉/NLP任务（上图）和面部相关任务（下图）中删除描述符中的敏感信息3. 我们扩展PASS，以减少多个属性的信息，同时，并表明，这样的框架（称为4. 由于减少人脸描述符中受保护属性的信息也会降低其身份分类能力，因此我们引入了一个新的度量标准，称为偏差性能系数（BPC），该度量标准衡量偏差减少和验证性能下降之间的权衡。我们表明，我们的PASS框架实现了更好的BPC值比现有的基线。2. 相关工作人脸识别的偏差：几项实证研究[22，12，18]表明，许多公开可用的人脸识别系统对种族和性别等属性表现出偏见。[46，45，21]强调了人脸识别中的种族偏见问题，并提出了缓解这一问题的策略。在性别偏见的背景下[5，29]，大多数实验表明，女性的人脸识别性能女性使用化妆品[14，26]和性别发型[3]被认为在由此产生的性别偏见中发挥了重要作用。但是，在这方面，[4]表明化妆品在性别差距中只起到很小的作用[29]表明，面部验证系统在较浅的肤色上比在较深的肤色上表现得[5，47]表明，即使训练数据集是性别平衡的，性别偏见也不会减轻。[38，46]提出了一个在种族方面平衡的评估数据集，并提供了验证协议。抑制属性的对抗技术：表1中提供了在执行目标任务时不利地移除敏感属性的工作的总结。这些作品中的大多数不操作描述符空间。此外，在这些实验中的一些中，所考虑的属性对于目标任务是短暂的。例如，在[48]中，动作不是特定于身份的。相反，属性15089Deb--Deb1.000.950.900.850.800.75弧面（原始）：男性-男性对Arcface（原始）：女-女配对Crystalface（原始）：Male-male配对Crystalface（原始）：雌-雌配对聚合不能有意义地捕获实际操作点处的偏差在我们的经验中，大多数真实世界的验证系统倾向于在非常低的FPR下操作，即小于10−4，则10- 5104103十两101 100用AUC不能有意义地捕获在这项工作中，我们发现-假阳性率（一）（b）第（1）款根据我们认为实际操作的FPR值图2. (a)在IJB-C数据集上，针对Arcface和Crystalface网络的我们将偏差定义为在固定FPR下男性和女性（或深色和浅色肤色）的TPR之间的差异例如性别和种族对于面部识别可能不是短暂的。给定的身份通常可以与单个性别/肤色相关联。由于身份与性别/肤色之间的依赖性，将它们分开是更困难的。人脸识别中的属性隐私：[32，33]介绍了使用AD来合成扰动的面部图像的技术。条件测量偏差/性能权衡：减少图像或表示中敏感属性信息的几种方法表明系统的整体性能略有下降[11，27，48，39]。因此，减少用于去偏置的描述符中的性别/肤色信息可能导致面部验证性能的轻微下降。受[11]中的度量的启发，我们引 入了一个称为偏置性能系数（BPC）的新度量来衡量偏置减少和验证性能下降之间的对抗性的方法，使性别分类器混淆，但商业面部匹配器的性能是预先确定的。送达[42，11，44]引入抑制亲-BPC（F）=偏置（F） 偏置（F）偏置（F）− TPR（F）− TPR（F）TPR（F）（三）受保护的属性，如面部表示中的种族、年龄和性别（与面部图像相反）。然而，这种隐私保护技术对人脸识别这里，（TPR（F）， Bias（F））是指通过原始描述符获得的总体TPR和对应的偏差（Gen-1）。der/Skintone偏倚）。（TPR（F），偏倚（F））表示deb deb目前尚不清楚。3. 问题陈述我们的目标是减少性别和肤色信息在面部描述符中，使得分类器预去偏见的对手我们更喜欢获得更高BPC的算法，因为更高的BPC表示验证性能的高偏差减少和低下降原始面部描述符（没有任何去偏置）将具有零BPC（因为Bias（ F ）= Bias（ F ）且TPR（ F ）= TPR（F））。deb deb减少了来自这些描述符的dict性别和肤色。作为附加要求，我们约束性别和肤色不可知的面部描述符以编码足够的身份信息，使得它们可以用于执行面部验证。我们假设，降低面部描述符中预测受保护属性（性别和肤色）的能力将减少面部验证任务中的性别/肤色偏见。这一假设建立在[20]的结果基础上，该结果表明，从面部表征中反向删除敏感信息会减少偏见。然而，与[20]不同，我们在描述符空间中处理问题。测量偏倚：在这一点上，我们定量描述性别和肤色偏见在人脸验证的背景下。注意，负BPC表示TPR的百分比下降在我们的工作中，我们将针对肤色的BPC表示为总之，我们的目标是构建实现高BPC值。4. 该方法4.1. 通过我们提出的方法-PASS的关键思想是训练一个模型来对身份进行分类，同时阻止它预测特定的受保护属性。首先，对于给定的图像I，我们使用预先训练好的网络提取人脸描述符fin[15，36，28，17]报告执行通过使用ROC（TPR vs FPR）曲线对系统进行管理P.f在 =P（I）⑷类似于图2。因此，我们在给定的假阳性率（FPR）下定义性别和肤色偏差如下：性别偏倚（F）= |TPR（F）− TPR（F）|（一）我们在图中呈现PASS架构3 .第三章。该架构受到[48]中的对抗框架的启发。PASS由三部分组成：(1) 生成器模型M：接受面部描述的模型（F）M（F）F（F）从预训练的网络P中生成f肤色偏差为|TPRl− TPRd|（二）维描述子f_out∈R256。M由单个其中（TPR（F）， TPR（F）， TPR（F）， TPR（F））表示具有256个单元的真线性层，随后是PReLU [24]层。mfldFPRF对雄性-雄性、雌性-雌性、亮-亮和暗-暗配对的验证阳性率分别为0.01%、0.01%和0.01%。在一些工作中，如[20]，偏倚被评估为ROC曲线下面积（AUC）之间的差异。虽然这可以被看作是我们的措施的总和，这样一个M的权重表示为M。(2) 分类器C：取入f_out并生成用于身份分类的预测向量的分类器C的权重表示为C。(3) E：属性分类器的集合1.000.950.900.850.80弧面（原始）：灯光-灯光对弧面（原始）：dark-dark pairs Crystalface（原始）：光-光对y0.7510- 5104 103102 10110个假阳性率暗偶ginal）：dark-Stalface（OriCR真阳性率真阳性率15090att阿特岛NattAdvL（Σ1−阿特岛∀ΣΣ第一约束：为了使fout熟练地对身份进行分类，我们将其提供给分类器C，并使用交叉熵分级损失L类来训练C和MyidLclass（M，C）= −yid. log（C（f_out，C））（6）是一个热身份标签，分类器C产生softmaxed输出。训练鉴别器：M生成F出来被馈送到合奏E. E中的每个属性预测模型（表示为Ek）用于计算交叉熵损失L（Ek）用于属性分类。Latt 被计算为图3. PASS架构。从先前训练的网络P中提取面部描述符fin，并将其馈送到模型M。M由具有PReLU激活的单个线性层组成，其输出变换后的人脸描述符出来 . 然后将其馈送到分类器C并将其输送到分类器C。每个Ek的交叉熵损失之和。K NattLatt（M，E）=−yatt，ilogy（k）k=1i =1（七）合奏E. 箭头指示各种训练阶段在阶段1中，M和C被初始化并被训练以使用L类的梯度对身份进行分类。在阶段2中，E被初始化并被训练以使用L att的梯度对属性进行分类。在阶段3中，使用梯度L_br训练M和C以相对于目标属性去偏置f_out，同时能够对身份进行分类。在阶段4中，集合E的一个成员被训练为使用L_att的梯度对来自f_out的属性进行分类。 阶段3和4以交替的方式重复，其中在阶段4中训练的E的集合成员在每次迭代时改变。yatt，i是第i个属性cat的二进制属性标签e（k）表示与输入面部描述符相关联的Ek的相应软最大化输出，并且y（k）表示集合中的EkNatt表示与所考虑的属性相关联的类别的数量。训练生成器（第二约束）：在训练E之后，训练M以将fin变换为属性不可知的描述符fout。然后，我们将f_out提供给E中的每个模型：ok= Ek（fout，Ek），其中k = 1。. . 中文（简体）K个属性预测模型表示为E、E. . .E输出〇k是Natt-dimensional并且表示概率。采取12K能力得分的不同类别相关联的fout作为输入。这些模型中的每一个都是两层MLP具有分别具有SELU激活的128和64个隐藏单元，随后是具有Natt单元的S形激活的输出层。这里，Natt表示所考虑的属性我们将E中所有模型的权重统一表示为E，第k个模型Ek的权重表示为Ek。注意E中的属性分类器是属性我们把ok的第i个元素称为ok，i如果在f_out上操作的最佳分类器总是为属性中的所有类别产生后验概率1，则这意味着描述符中不存在属性信息。为此，我们定义E中第k个模型的对抗损失L（Ek）为：简单的MLP网络（而不是[48]中使用的CNN这是因为E的输入是低维描述符fout而不是图像。（Ek）AdvM，EkNatt）=log（oNi=1k我）（9）我们现在将PASS解释为对抗性方法。 M可以被视为生成器，其应当生成对所考虑的属性不可知的描述符f_out。f_out被馈送到属性预测模型的集合E，集合E充当鉴别器并试图预测受保护的属性。M的目标是生成描述符f_out，其可以在属性预测方面欺骗E因此，我们强加在这里，我们使用属性预测模型的集合，而不是单个模型，因为我们希望构造fout，使得没有模型可以预测受保护的属性。这种方法的动机是[48]解决“挑战”的工作在计算模型M相对于E中所有模型的对抗损失后，我们选择损失最大的模型我们将该损耗称为去偏置损耗L_deb。Ldeb（M，E）= max {L（Ek）（M，E）|K} （10）对fout的两个约束：（i）错误识别的惩罚这个损失函数惩罚Advkk=1以及（ii）来自f_out的属性可预测性的惩罚。为此，我们提出了在第4.1.1节中描述的降低分类损失Lbr的偏差。4.1.1降低分类损失L的E1拉特初始化训练M和C（阶段1）E中的训练模型（阶段2和4）去偏置+分类（第3阶段）E2合奏E（鉴别器）杨永训练数据集f在预训练网络P+（冷冻）Fout模型M分类器（发电机）CLbr= L class+ λL debL级L黛布att15091M相对于最强的而预言家们，却没有一个人能做到。这一方法在[48]中引入。然后将L_deb与L_class组合以计算偏差减小分类损失L_br。Lbr（C，M，E）=Lclass（C，M）+λLdeb（M，E）br在从预先训练的人脸识别网络中提取描述符fin之后，我们将其通过M以获得较低维度的描述符fout。这里，λ用于对去偏置损耗进行加权。4.1.2分阶段训练我们现在讨论训练PASS的各个阶段（十一）（5）阶段1-初始化和训练M和C：使用输入15092第t第t +1集一一E1BEB2阶段4培训所有性别分类器（判别器）阶段3阶段4培训所有性别分类人员M（鉴别器）一BK在Ensemble E中培训所有成员（AET策略）E1E2按顺序培训合奏E中的一名成员（OAT策略）第t第t +1集AE1一B阶段3阶段4训练生成器仅训练一个性别分类器M（鉴别器）具有性别信息特征空间的整个fout fout子空间（在训练生成器M之后）E2阶段4仅训练一个分类器（鉴别器）集合E的感兴趣子空间（用于预测性别）图4. AET（顶部）与OAT（底部）策略的描述符空间（使用2成员系综的示例）。使用OAT，M在其如何在描述符空间中表示受保护属性信息方面受到更多限制，从而鼓励其替代地一起移除关于受保护属性的信息。描述符f，我们训练M和C从头开始，用于使用L类的Tfc迭代（等式（六）。阶段2-初始化和训练E：一旦M被训练以执行分类，我们就将M的输出f馈送到K个属性预测模型的集合EE从头开始被训练以使用Latt（等式1）对Tatrain迭代的属性进行分类（七）. M、阶段3-更新模型M和分类器C：这里，M被训练以生成精通对身份进行分类并且相对属性不可知的描述符f_outf_out被馈送到集合E和分类器C，其输出导致L_deb（等式2）。10）和L类（Eq.6）分别。我们将它们组合以计算Lbr（等式10）。11），用于训练M和C以进行Tdeb迭代，而E保持锁定。在计算Lbr时，传播Ldeb的梯度更新考虑PASS由具有两个性别分类器的系综E组成的情况，并且假设模型M已经在情节t的阶段3之后将所有性别信息提取到描述器空间的子空间A中。遵循AET策略，E中的所有分类器都被训练来分类性别，从而鼓励它们关注子空间A。在情节t+1中，假设M重新组织描述符空间以将性别信息提取到新的子空间B（与A正交）中，以便欺骗E中的分类器。在情节t+1的阶段4中，所有性别分类器然后将被再次训练以提取性别信息，使得它们聚焦于子空间B并且忘记子空间A。因此，在阶段t+2中，M可以恢复到其情节t状态，再次将性别信息提取回子空间A而没有惩罚。为了解决这个问题，我们提出了一种新的鉴别训练策略，我们称之为使用来自图4（底行）的相同示例，我们描述了这如何鼓励M去除性别。如前所述，假设在情节t的阶段3之后，M已经将所有性别信息提取到子空间A中。然而，与AET示例不同，假设在阶段4期间仅训练集合E的成员E1 在情节t+1的阶段3中，假设M再次将性别信息提取到子空间中B.在情节t+1的阶段4期间，训练E2，并且E1的权重保持恒定。因此，在两次发作之后总体E的预测取决于子空间A和B两者（因为E1仍然取决于子空间A）。我们的结论是，该策略限制M在第3阶段的第t+2集之后恢复到其第t集状态，从而提高了M一起移除性别信息对于具有集合中的K个分类器的PASS架构到M和L的那些类被传播到M和C。E，在第i集，我们训练集合中的第j个阶段4-更新系综E（鉴别器）：在阶段4中，训练E的成员以使用f_out对属性进行分类。因此，我们交替运行阶段3和4，对于Tep事件，之后我们重新初始化并重新训练E中的所有模型（如阶段2中所做的）。这种重新初始化遵循[48]，以防止M和E之间的轻微过拟合。这里，一个片段指示连续运行阶段3和4在第4阶段，我们选择E中的一个模型，并训练它进行T平台迭代，或者直到它在验证集上达到A*M和具体的PASS算法是其中j=imod K，并且冻结其余部分（因此顺序地选择一个鉴别器）。我们进行实验比较OAT和AET（在5.5节中），并表明与AET相比，4.2. 多程我们还提出了MultiPASS（图5），通过扩展PASS来同时减少几个敏感属性的信息。在这里，我们描述如何扩展PASS来处理两个属性。我们考虑两个属性：属性a，其中N（a）cat-在补充材料中提供。（b）第（1）款att4.1.3一次一个（OAT）与每次一个（AET）我们注意到PASS所基于的方法[48]，在第4阶段训练期间训练所有判别器。 我们称之“每时每刻（AET）”策略。 然而，在本节我们提出了一个概念性的论点，描述如何AET可以产生仍然包含敏感信息的描述符。这一论点的关键思想在图4中可见。类别和属性b，具有N个属性类别。 与PASS相反，我们在MultiPASS中包含两个判别器集合：一个用于属性a，表示为E（a），一个用于属性b，表示为E（b）。 设E（a）和E（b）分别由Ka和Kb个 MultiPASS中模型M的第1阶段训练与PASS中相同。在阶段2中，我们训练E（a）和E（b）。在阶段3中，我们计算来自E（a）中的所有分类器的输出o（a）。15093KE（E）和去偏置损耗DebNk=1∪∪∪+集合E（a）是啊是啊L级E（a）E（a）yid1KaL黛布发电机型号M通过发电机型号M多程雄性-雄性和雌性-雌性对（在IJB-C方案[31]中定义的所有对中）。为了计算肤色偏差，我们计算了暗-暗和亮-亮对的人脸描述符的验证性能。使用Arcface和Crystalface，我们为IJB-C数据集中对齐的人脸提取了512个维度描述符，然后将其用于性别和肤色方面的真实性分析。图5.我们通过扩展PASS来构建MultiPASS，以同时处理两个属性。通过扩展Eq8。o（a）=Ek（fout，（a）），其中k= 1。. . Ka（12）K图中提供了该图的曲线图。二、5.2.通过性别和肤色在第4节中，我们将PASS作为一种通用的方法使用〇（α）并扩展等式9和10，我们计算关于任何属性的这里K对抗损失L（一）KAdvL（a）关于我们显示PASS的有效性，通过使用它来减少-E（a）如下：（一）（一）att关于性别和肤色的形成（分别地）。我们称培训PASS框架，以减少性别信息L（Ek）=−Σ1log（o（a））（13）N从描述符PASS-g，和它的肤色对应Adv（一）i=1（一）att（E（a））Kk我作为PASS-S。此外，我们构建了PASS（称为Ldeb=max{LKAdv| a }(14)和肤色。训练PASS-g、PASS-s和我们计算对抗损失L（b）相对于E（b）MultiPASS，我们首先需要从预训练的以类似方式。使用权重λDeb（a）和λ对于L（b），训练数据集上的人脸识别网络，该训练数据集包括a代表Ldebbdeb我们计算偏差减少分类如下：Lbr=L类+λaL（a）+λbL（b）（十五）适当的标签。使用Arface网提取fin-第5.1节中描述的工作。DebDeb通过-g： 为了训练PASS-g，我们在a中提取f我们在补充材料中提供了详细的MultiPASS算法5. 实验5.1. 预训练网络和评估数据集我们评估从以下两个预训练网络的倒数第二层获得的面部描述符：Arcface [1]：Resnet-101在MS 1 MV 2[2]上训练，具有额外的角度边缘（Arcface）损失[15]。Crystalface：Resnet-101在UMDFaces[9]，UMDFaces-Videos[8]和MS 1 M [23]的混合物上训练，具有晶体损失[36]。上述Arcface [15]网络在人脸验证和识别方面实现了因此，我们在Arcface描述符的基础上构建基线和PASS框架，并提供详细的分析（见第2节）。5.4）。为了评估PASS和基线的可推广性，我们还使用Crystalface [36]描述符进行了类似的5.4.4）。为了进行评估，我们使用来自IJB-C的对齐面，并遵循[31]中定义的1：1面验证协议使用[37]进行对齐。该数据集提供性别（男性/女性）和肤色标签。肤色属性有六个类别，我们将其重新组织成三个组，（i）浅色为了评估性别偏见，我们计算了人脸描述符的验证性能L（a）Deb+L（b） Deb集合E（a）集合E（b）YYY YBYBL级E（a）E（a）yidE（b）第（1）款E1Ka（b）第（1）款KB15094UMDFaces[9]、UMDFaces-Videos[8]和MS 1 M [23]的组合。数据集中有39，712个男性和18，308个女性使用[37]获得面部对齐和性别标签。对于PASS-g，Natt=2（雄性/雌性）。PASS-s：据我们所知，我们目前没有一个带有肤色标签的大型数据集。因此，我们使用f来训练PASS-s，而不是使用种族标签来提取数据集，因为种族和肤色之间存在一些相关性[34]。我们使用BUPT-BalancedFace [45]来训练PASS-s（使用[37]对齐）。该数据集由28k身份的130万张图像组成。每个身份都与四个种族之一相关：非洲人，亚洲人，印度人和高加索人。因此，对于PASS-s，Natt=4。MultiPASS：我们通过组合PASS-s和PASS-g中的ad-versarial 集 合 来 设 计 MultiPASS 。 MultiPASS 使 用BUPT-BalancedFace数据集的描述符使用[37]预测该数据集的性别标签。在训练PASS/MultiPASS之后，我们将用于测试（IJB-C）图像的512维描述符f_in馈送到经训练的模型M，其生成256维f_out。fout然后用于面部验证。补充材料中提供了训练PASS所需的超参数的其他信息，我们还分析了重要超参数对偏倚缓解和验证性能的影响。用于实现PASS的代码将在发布后公开提供。150955.3. 基线方法5.3.1增量变量消除IVE [42]是一种属性抑制算法，它排除了面部表示中影响属性分类的我们构建了IVE的两个变体：IVE（g）和IVE（s）。使用来自MS1M的弧面描述符描述符和使用[37]预测的性别标签来训练IVE（g）以减少性别信息。 类似地，IVE（s）被训练以减少0.100.080.060.040.020.00FPR（一）0.0120.0100.0080.0060.0040.0020.000（b）第（1）款FPR使用Arcface描述符和BUPT-BalancedFace标签的肤色信息[45]。补充材料中提供了其他培训详情。图6. (a)性别和（b）Arcface描述符中的肤色偏见以及IJB-C上的去偏见对应物。0.105.3.2模糊的头发-类似于[3]在[3]中示出，在评估期间模糊面部图像中的毛发有助于通过改善真正的女性-女性对的相似性得分来减少性别偏见我们构建了一个类似的管道来缓解性别偏见我们使用[37]为评估数据集（IJB-C）中的图像计算面部边界关键点，并使用这些关键点模糊所有头发区域最后，我们提取这些0.080.060.040.020.00105104FPR（一）1030.050.040.030.020.010.00104103FPR（b）第（1）款十两头发模糊的图像。[3]的更多详细信息见补充材料。5.4. 结果5.4.1评估性别和肤色为了评估性别泄漏，我们在Arcface描述符及其去偏对应物（PASS变体/IVE）上训练MLP分类器。这些描述符被提取用于具有从IJB-C采样的60 k图像（30 k男性和女性）MLP分类器是两个隐藏层MLP，分别具有128和64个SELU激活的隐藏单元，随后是S形激活的输出层。随后，我们在IJB-C中为20 k非训练图像（10 k男性和女性）提取的描述符上测试MLP最后，我们计算了MLP的性别分类精度使用与肤色相同的实验设置，我们还训练了MLP（具有相同的架构）来预测肤色（暗/中/亮）。在表2和表3中，我们发现对于性别和肤色，当使用MultiPASS产生面部描述符时，分类准确度最低。我们还发现，在PASS-g和PASS-s描述符上训练的分类器获得了第二低的分类精度。这表明PASS变体能够减少面部描述符中的性别和肤色信息。5.4.2评价偏倚我 们 分 别 在 表 2 和 表 3 中 从 图 6 中 ， 我 们 推 断 使 用PASS/MultiPASS变换的Arcface描述符此外，从表2和3中，我们还推断基于PASS/MultiPASS的框架在大多数FPR处获得比基线更高的BPC（等式3）。这表明PASS变体在保持高度验证的图7.Crystalface描述符中的（a）性别和（b）肤色偏差以及它们在IJB-C上的去偏置对应物。性能我们在补充材料中提供了按性别、按肤色的ROC图（类似于图2中的ROC曲线）以及总体验证图。5.4.3端到端vs通过以端到端方式操作时的一个微妙之处在于，为了建立基线，通常需要从头开始重新训练整个面部识别系统。训练这样的系统以实现SOTA性能在技术上具有挑战性。其他作品经常使用较弱的基线系统报告结 果 。 例 如 ， GAC [21] 使 用 了 ResNet 50 版 本 的Arcface，其在IJB-C中的整体性能低于原始ArcFace，如表6所示。或者，PASS在预先训练的模型上运行，允许我们从现有的SOTA模型开始，并保持接近SOTA的性能。5.4.4通过，晶面为了评价PASS和其他基线的普遍性我们对晶面描述符（在第2节中提到）进行所有上述实验。5.1）。我们在表4和5中呈现了IJB-C中的性别/肤色泄漏的相应结果。我们发现PASS和MultiPASS转换的描述符具有最少的性别/肤色可预测性。类似地，对于性别和肤色，用PASS/MultiPASS转换的晶面描述符在所有FPR下获得IJB-C上的最低偏差（图7）和最高BPC值（如表4和5中所示）。补充材料中提供了所有方法的超参数信息和详细结果。5.5. OAT与AET结果我们在Arcface和Crystalface描述符之上使用OAT和AET策略训练PASS-g系统。我们确保OAT和AET方法具有相同的数字0.415弧面IVE（g）W/o haiirPASS-g（我们的）MulltiiPASS（我们的）最低偏倚105104103弧面IVE（s）PASS-s（我们的）MultiPASS（我们的）最低偏差零偏置104103十两0.289晶面IVE（g）不含头发PASS-g（我们的）MultiPASS（我们的）最低零偏置晶面IVE（s）PASS-s（我们的）MultiPASS（我们的）最低零偏置性别偏见（越低越好）性别偏置（越低越好）肤色偏差（越低越好）的肤色偏置（越低越好）15096晶面[36]86.730.8330.0000.9100.0000.9510.000无毛发[3]86.040.589-8.9260.7800.8230.8990.731IVE（g）[42]86.100.8330.8330.9100.3910.9510.071Arcface 82.060.921 0.900 0.0210.9620.947 0.0150.969 0.956 0.013AET 八十一点八十四0.922 0.900 0.0220.9620.947 0.0150.969 0.956 0.013OAT73.650.900 0.881 0.0190.9480.925 0.0230.957 0.947 0.010FPR10-510−410-3方法Acc-g（↓）TPRm TPRfTPR偏倚（↓）BPCg（↑）TPRm TPRfTPR偏倚（↓）BPCg（↑）TPRmTPRfTPR偏倚（↓）BPCg（↑）Arcface[15]82.060.921 0.900 0.9290.0210.0000.9620.947 0.9530.0150.0000.969 0.956 0.9740.0130.000无毛发[3]80.770.418 0.833 0.6160.415-19.0990.7880.889 0.8640.101-5.8270.933 0.928 0.9250.0050.565IVE（g[42]）80.200.922 0.881 0.9250.041-0.9570.9620.947 0.9500.015-0.0030.969 0.956 0.9660.013-0.008PASS-g（我们的）73.650.900 0.881 0.9190.0190.0840.9480.925 0.9460.023-0.5410.957 0.947 0.9620.0100.218MultiPASS（我们的）68.430.871 0.874 0.8810.0030.8050.9340.919 0.9340.015-0.0190.953 0.936 0.9500.017-0.332表2. Arcface描述符的性别分类器的性别偏差分析和准确性（'Acc-g'），以及它们在IJB-C上的转换对应物。TPR：总体真阳性率，TPRm：男性-男性TPR，TPRf：女性-女性TPR。粗体=最佳，下划线=次佳FPR10−410-310−2方法Acc-st（↓）TPR1 TPRdTPR偏倚（↓）BPCst（↑）TPR1 TPRdTPR偏倚（↓）BPCst（↑）TPR1 TPRdTPR偏倚（↓）BPCst（↑）Arcface [15]87.150.951 0.938 0.9530.0130.0000.974 0.968 0.9740.0060.0000.976 0.974 0.9760.0020.000IVE（s）[42]88.230.951 0.938 0.9530.0130.0000.973 0.967 0.9740.0060.0000.976 0.974 0.9760.0020.000PASS-s（我们的）83.860.925 0.919 0.9340.0060.5190.949 0.949 0.9500.0000.9750.974 0.974 0.9730.0000.997MultiPASS（我们的）79.220.925 0.919 0.9340.0060.5190.950 0.949 0.9500.0010.8090.974 0.974 0.9730.0000.997表3.用于Arcface描述符的肤色分类器的肤色偏差分析和准确性（“Acc-st”），以及它们在IJB-C上的变换对应物。TPR：总体真阳性率，TPRl：浅-浅TPR，TPRd：深-深TPR。粗体=最佳，下划线=次佳FPR10-510−410-3FPR10-510−410-3方法Acc-g（↓）TPRBPCg（↑）TPRBPCg（↑）TPR BPCg（↑）PASS-g80.540.7610.8470.8390.8570.9100.956多程76.310.7080.3830.8090.8230.8810.784表4.Crystalface描述符的性别分类器的性别偏差分析和准确性粗体=最佳，下划线=次佳FPR10−410-310−2方法Acc-st（↓）TPRBPCst（↑）TPRBPCst（↑）TPR BPCst（↑）晶面[36]89.300.9100.0000.9510.0000.9740.000IVE（s）[42]88.260.910-0.0410.951-0.4070.974-1.000PASS-s83.840.8440.2610.9140.7020.9190.125多程79.440.8090.6390.8810.9270.9680.994表5. Crystalface描述符的肤色分类器的肤色偏差分析和准确度粗体=最佳，下划线=次佳方法/FPR10-5 10−4 10-3训练方法训练属性[15]第十五话92.995.397.4--[20]第二十话83.289