AI算法中未知偏见属性的发现

14970LLV发现图像分类器的未知偏置属性李晨亮徐志恒罗切斯特{zhiheng.li，chenliang.xu} @ rochester.edu摘要最近的研究发现，AI算法从数据中学习偏见。因此，识别AI算法中的偏差是迫切而重要的。然而，先前的偏见鉴定人类推测潜在的偏见。步骤2：人类收集并标记测试图像。第三步：分析分类器管道过度依赖人类专家推测潜在的(a) 上一个偏倚识别管道时间偏差（例如，性别），这可能会忽视其他潜在的偏见没有意识到的人类。为了帮助人类专家更好地发现人工智能算法更新遍历图像图像分类器+λ客观和约束该工作生成模型步骤1：超平面优化。第二步：人工解读。为了解决这一难题，我们在生成模型的隐空间中使用一个超平面来表示图像属性;这样，原问题就转化为偏置属性超平面遍历图像年轻的老人类偏置属性：年龄优化超平面的法向量和偏移。我们提出了一种新的总变差损失在这个框架内作为目标函数和一个新的正交化惩罚作为约束。后者防止平凡的解决方案，其中发现的偏置属性与目标或已知偏置属性之一相同在解纠缠数据集和真实数据集上的大量实验表明，该方法能够发现有偏属性，并在解纠缠时获得更好的解纠缠效果。目标属性。此外，定性的结果表明，我们的方法可以发现不明显的偏见属性的各种对象和场景分类器，证明我们的方法1. 介绍尽管通过在大规模数据集上进行训练，深度神经网络的性能得到了极大的提高，但AI算法也会学习到一些令人担忧的偏差。因此，识别AI算法的偏差是必要的首先，它过度依赖人类专家来推测潜在的偏差（图1中的步骤11（a）），这可能会留下其他未考虑的偏见未暴露。例如，人们可能该代码可在https://git.io/J3kMh上获得。(b) 新框架：未知偏倚发现图1：虽然以前的管道（a）过度依赖于人类的努力来识别偏见，但我们设计了一个新的自动化框架（b），可以帮助人类发现图像分类器的未知偏见属性。在第一步中，根据我们提出的优化目标和约束条件，对潜在空间中的生成模型的有偏属性超平面进行优化。在步骤2中，人类可以从合成的遍历图像中的变换中解释偏置属性超平面的语义含义。例如，图像从“年轻”变为推测受法律保护的属性（例如，年龄，性别1）的人脸图像分类器，并考虑然而，人们可能会忽视其他不明显的偏见属性，如头发长度[3]和孩子的存在[53]与性别虚假相关。虽然它们不是受法律保护的属性，但不考虑这些有偏见的属性仍然可能导致对不同性别的不公平[53]。其次，先前的流水线还需要昂贵的人工努力来收集测试图像并注释有偏见的属性（图2中的步骤2）。1（a））用于分析分类器的预测。当人们想要分析新的图像域中的偏差时（例如，对象1在本文中，我们使用性别来表示视觉感知的性别，这并不表明人• 面部图像：年龄• 视频：第一步：14971LLLImageNet [11]和Place365 [56]中的场景类别），每个新的图像域都需要大量的图像收集和标记的人工努力，这是不可扩展的。此外，作为偏差识别的下游任务，许多去偏差方法[7，10，45，54]还需要定义良好的偏差属性和注释作为输入和监督，以减轻相应的偏差。因此，如果先前的流水线由于忽略偏差或有限的注释预算而没有识别偏差因此，迫切需要用更少的人力来发现未知的人工智能偏见为此，我们研究了一个新的问题，通过定义未知的偏置属性发现任务：对于预测输入图像的目标属性的分类器，发现其未知的偏置属性。“目标属性”代表用于预测的属性。The “biased attribute” means an attribute例如，如果性别分类器对不同肤色的女性图像具有不同的预测，则肤色属性是偏向属性。“未知”有两个首先，它表明预期被发现的有偏属性不是由人类假定的，更不用说用有偏属性标签注释图像了也就是说，图1中的传统管道。1（a）不符合“未知”的要求。其次，在完成该任务之后，所发现的偏置属性可以用作其他下游任务的输入，诸如算法去偏置。我们提出了一个新的框架（图。1（b））通过解决两个挑战来完成这项新任务。第一个难点是如何在没有任何假设或标签的情况下表示和学习“属性”。为了解决这个问题，我们的方法基于[23，46，48]中的一些发现，即生成模型的潜在空间中的超平面可以线性分离属性因此，我们将未知的偏置属性表示为生成模型的潜在空间中的可优化超平面（参见图2中的“偏置属性超平面”）。（b）款。不同于以前的方法[23，46，48]使用属性的标签作为监督，我们提出了总变差损失（图1（b）中的V第二个挑战是如何以确保所发现的偏置属性不同于已知的偏置属性。我们提出了正交化惩罚（图中的）1（b）），以鼓励有偏见的属性和已知属性之间的解开我们还使用来防止有偏见的属性与分类器的相同目标属性。最后，为了使人类能够解释优化的超平面的语义，基于优化的超平面生成被称为遍历图像的图像序列沿着遍历图像是优化结果的语义含义。如图1，合成的遍历人脸图像逐渐从“年轻”转变为“年老”，表明我们的方法发现的偏向属性是年龄。总之，与之前的管道相比（图1（a）），我们的框架首先让优化主动找到偏向的属性（图1中的步骤1）。 1（b）），并推迟人类参与到最后一步（图2中的步骤2）。1（b）），其不仅自动发现人类可能未意识到的未知偏差，而且免除了人类在测试图像上注释有偏差属性的努力。我们进行了三个实验来验证我们的方法的有效性在第一个实验中，两个解缠结数据集[20，32]用于创建大规模的实验环境进行评估。在第二个实验中，我们在两个人脸数据集[23，34]上进行实验，以发现人脸属性分类器中的偏见属性前两个实验表明，我们的方法可以正确地发现有偏见的属性。在第三个实验中，我们应用我们的方法发现有偏见的属性在其他领域的图像，如对象和场景。定性结果和用户研究表明，我们的方法可以从ImageNet [11]和Place365 [56]上预训练的分类器中发现不明显的偏差，证明了我们的方法这项工作的贡献如下。首先，我们提出了一个新的未知偏置属性发现任务，发现未知的偏见从分类。解决这个任务中的问题可以帮助人类更好地识别分类器的偏见。其次，我们提出了一种新的方法，这个新的任务，通过优化总的变化损失和正交惩罚没有任何假设或标签的偏见属性。最后，我们设计了全面的实验设置和评估指标来验证我们的方法的有效性，这也可以作为未来工作的基准。此外，许多相关领域可以受益于我们的新框架，发现未知的偏见，如算法去偏置，数据集试听等。(more附录H.5中的讨论）。2. 相关工作偏差识别以往的偏差识别流水线主要集中在收集测试图 像 和 基 于 偏 差 属 性 值 分 析 不 同 子 组 的 性 能 。Buolamwini和Gebru [5]收集野外人脸图像以分析错误率差异交叉分组。Kortylewski等人。 [28，29]使用3DMM [4]来合成不同姿势和光照条件下的3D人脸图像。Muthukumar等人。 [40]通过图像处理技术（如颜色理论方法和图像裁剪）改变面部图像的面部属性。Denton等人 [12，13]使用PGGAN [22]合成CelebA数据集[34]中具有不同属性值到14972||为了进一步降低属性之间的相关性，Balakrish-nan等人[3]还对合成图像的属性进行注释，以基于StyleGAN 2[ 24 ]生成多维为了减少对人类标签的依赖，Donderici等人。 [14]使用物理引擎通过控制不同的面部属性值来合成面部图像，然后将图像增强到真实世界的领域。在不依赖于特定算法进行偏差分析的情况下，Wang等人 [52]提出了“REVISE”，这是一种用于计算数据集在对象，性别和地理方面的统计数据的工具。Manjunatha等人[38]通过运行规则挖掘算法分析VQA [2]任务的偏差上述所有方法都只能从一组假定的属性或注释中分析算法相反，我们研究了一个新的问题，发现未知的偏见属性。偏见缓解已经提出了许多方法来缓解AI算法的偏见，其中大多数需要对受Wang等人 [54]对先前的偏差缓解方法进行基准测试，并对受保护的属性进行全面监督。 Creager等人 [10]从受保护属性的标签训练基于VAE的解纠缠方法，使得学习的表示可以在测试时间期间灵活地公平于多个受保护属性。 Sarhan等人 [45]提出了一种最大化受保护属性预测熵的方法，并对目标属性和受保护属性的正态分布均值向量进行正交化。 元音等 [50]提出了一种弱监督偏差缓解方法NestedVAE，该方法使用来自不同受保护属性值的成对图像进行训练。Choi等人[8]使用来自具有平衡分布的小参考数据集的弱监督来减轻偏差。尽管使用了不同级别的监督，但上述所有工作都需要所选择的受保护属性作为输入。唯一的例外是[35]，其中既不需要定义受保护的属性，也不需要标签，并且他们证明了更好的解纠缠可以降低不公平分数。然而，[35]中的实验仅基于具有平衡分布的合成数据集相比之下，我们的方法被测试是有效的真实世界的数据集。无监督解缠解缠方法旨在恢复不同的独立属性（即，变化的因素）。我们把这个领域与我们的工作联系起来，因为不超级-VAE间 隙。 对 于基 于 GAN 的 生成 模 型， Voynov 和Babenko [51]训练了一个额外的重建器来预测方向索引和 移 位 幅 度 。 最 近 ， Hessian Penalty [44] 通 过 惩 罚Hessian矩阵w.r.t.中的非对角项来潜在代码我们使用这些无监督的解纠缠方法作为基线，研究他们的性能上的未知偏置属性发现任务。3. 未知偏置属性发现任务在本节中，我们首先介绍了公平性的定义。第3.1条然后，我们正式定义了未知偏置属性发现任务在SEC。3.2.3.1. 公平定义在这项工作中，我们专注于图像域中的反事实公平标准[12，13，21，31]，我们将在未来的工作中对其他公平标准进行研究。反事实公平性由以下公式表示：P（t|I（s=s1））=P（λt|I（s=s2）），s1=s2，（1）其中t是目标属性。S1和S2是受保护属性（也称为敏感属性）S的不同值。I（s=s1）和I（s=s2）是通过分配不同的受保护属性值（s1和s2）在受保护属性s方面进行干预的一对反事实图像。 所有其他属性（包括目标属性）的值在两个图像之间是相同的。P（tI）是分类器对图像I的目标属性t的预测。例如，当受保护属性是年龄并且目标属性是性别时，如果s1和s2是反事实公平标准要求分类器的性别预测在两个图像之间是相同的3.2. 偏倚属性发现任务的制定在这里，我们正式定义了未知偏置属性发现任务。该任务的输入是用于预测输入图像I的目标属性的分类器（即，P（tI））。同时，分类器还从其训练数据中学习未知的偏差。我们在分类器中将这种偏差公式化为违反公平性准则的未知偏差属性b分解数据属性而没有任何定义或标签的约束解纠缠方法可以用作P（t|I（b=b1））P（t|I（b=b2）），b1b2，（2）未知偏置属性发现任务的基线方法。对于基于VAE [27]的生成模型，许多方法，包括β-VAE [20]，FactorVAE[25] ， β-TCVAE [6] ， DIP-VAE-I 和 DIP-VAE-II [30]JointVAE [15]，都是支持的。提出的无监督解纠缠，其中的目标是表示每个属性作为一个维度的隐藏其中b1和b2是偏置属性的不同值。当量2意味着目标属性的预测与偏置属性相关。该任务的预期输出是有偏属性b。换句话说，应该发现未知的偏置属性b另外，可以提供一组已知属性K ={k}以用于要求14973目标属性分类器向前传球向后传球∈||W||B{|}L{||}wb，robwhb=（w b，o b）有偏属性超平面WB{z+i||W|||i= 1。 . . n}生成模型G0.90.80.70.20.1ˆLV（wb，ob） +λL？（wb）全变差损失正交化处罚B遍历生成模型的{I（b=bi）|i=1。 . . n}合成 遍历 图像{P（t|I（b=bi））|i= 1。 . .n}预测 的 目标属性图2：方法概述。我们使用一个潜在的空间超平面来表示有偏属性。在训练过程中，我们首先在生成模型G的潜空间中沿着有偏属性超平面hb的法向量wb对遍历潜向量进行采样，以合成遍历图像，然后将其馈送到目标属性分类器中最后，我们使用分类器生成模型和分类器的权重是固定的。所发现的偏向属性不应该是已知属性之一。当用户已经知道分类器具有的一些偏置并且期望知道分类器的其他未知偏置属性时，已知属性的集合是有用的提供已知属性是可选的（即，当用户不知道任何偏向属性时，K =）。4. 方法在这一节中，我们提出了我们的方法在未知偏置属性发现任务。我们的方法的概述如图所示二、首先，我们将图像的属性表示为生成模型的潜在空间中的超平面（参见图1的左侧）2）的情况。然后，我们将我们的方法形式化为一个优化问题，并提出总变差损失来优化有偏属性的超平面（见第二节）。4.2）。为了避免一些不必要的结果，我们提出了正交化的惩罚。4.3作为优化问题的约束条件最后，我们在第二节中总结了完整的模型。4.44.1. 偏倚属性如Sec. 3.2，在未知偏置属性发现任务中需要发现未知偏置属性b。我们通过解决一个优化问题来完成这个任务。因此，我们需要将有偏属性公式化为可优化的表示。为此，我们利用生成模型G（图1中的生成模型2），其从潜在向量zRd合成图像I，其中d表示G这里G可以由GAN [16]的生成器或VAE [27]的解码器实现。图像编辑领域的一些最新工作[46，48]发现，生成模型的潜在空间中的超平面基于这一发现，我们将有偏属性表示为G的潜在空间中的超平面hb=（wb，ob）2），其中wb∈ Rd，ob∈ R是法向量和偏移量a这样，通过学习超平面hb，就可以将发现有偏属性的问题转化为一个4.2. 总变异损失在将有偏属性形式化为可优化表示之后，下一个问题是如何设计优化目标。请注意，与属性标签可作为完全监督的图像编辑任务[46，48]不同，我们没有用于学习超平面的标签，因为有偏属性甚至是未知的，更不用说收集标签用于监督训练。为了解决这个具有挑战性的问题，我们利用定义在第二节。3.2未知偏置属性违反公平性准则。 为了检查超平面hb是否违反公平性准则，我们生成N个图像，它们具有不同的偏置属性值，公式为I（b=bi）i= 1。. . N（图中所示）2）的情况。我们将这些图像称为遍历图像。我们通过以下步骤实现这一首先，我们随机抽取一个潜在向量z。然后，由于超平面h b的法向向量wb是分离b的不同值的最有鉴别力的方向，因此我们从潜在向量z开始沿着法向向量遍历，得到遍历潜在向量{z+ αiwb|i= 1。. . N}（图中以蓝点表示）。其中，αi是i-遍历的步长。最后，可以通过将遍历潜在矢量馈送到生成模型G中来合成遍历图像（即，I（b=bi）=G（z+αiwb））。||WB||在合成遍历图像之后，我们将它们馈送到分类器（2）获取遍历图像的目标属性预测P（tI（b=bi））1。 . . N. 那么我们建议变化损失（V）作为目标函数，其量化违反公平性定义的程度：.........B14974Σ1−||我}LLL{||- -|⟨⟩|⟨⟩|⟨⟩||⟨⟩||⟨⟩||⟨⟩||⟨⟩|−|⟨⟩|LBB-||N−1=logP（μtG（z+αN−1 i=1WBi+1））||WB||（三）5. 实验实验是在解纠缠数据集上进行的（Sec. 5.1），面部图像（第5.2），以及来自其它域的图像（例如，猫、卧室等）（第二节）5.3）。更P（tG（z+αwb））。||WB||直观地说，总变差损失检查P（t）中每个连续预测I（b=bi））1。. . N，并且预测上的较大差异导致较低的总变化损失。 由于上述所有操作都是可微的，因此我们通过梯度下降更新超平面来最小化总变差损失。在实践中，偏移〇b用于将采样的潜在向量z投影到超平面，因此我们通过LV优化wb和〇〇。计算LV的完整算法见附录A.2。4.3. 正交化惩罚然而，单独最小化总变化损失（V）具有两个问题。首先，它可能导致一个平凡的解决方案，其中所发现的偏置属性只是目标属性，因为具有不同目标属性值的图像肯定会在目标属性预测中产生大的变化例如，当遍历图像从“男性”变换为“女性”时，性别其次，该任务允许用户提供一组已知属性K=k，并且所发现的偏向属性不应该是已知属性k中的一个（参见第2节）。3.2），这不能通过最小化V来实现。为了解决这两个问题，我们还将目标属性t和已知属性k表示为潜在空间中的超平面，分别表示为ht=（wt，ot）和hk=（wk，ok）。这些法向量和偏移量可以通过监督训练获得，因为目标属性和已知属性是预定义的。关于如何得到这些超平面的更多细节见附录A.3。然后我们提出正交化惩罚（）来解决上面提到的两个问题：L= wTwt+ ΣwTwk。（四）k∈K每个数据集的实验设置的细节将在每个小节中介绍其他实施细节见附录（附录x）A.评估指标如第4、在隐空间中用超平面表示属性。对于定量评估，我们首先选择一对不同的属性作为地面实况偏置属性和目标属性。然后，我们计算这两个属性的地面实况超平面（更多细节请参见Appx。A.3）。基于超平面的法向量，我们设计了以下定量评价指标：1.coswb，wb是预测法向量wb和有偏属性超平面的真 实 法 向 量 wb 之 间 的 余 弦 相 似 度 的 绝 对 值 。 Largercoswb，wb意味着超平面预测更接近地面实况偏置属性。2.因为wb，wt是有偏属性超平面的预测法向量wb与目标属性超平面的真实法向量w t之间余弦相似性的绝对值。coswb，wt的值越低，意味着超平面预测与目标属性超平面越我们称之为“更好的解缠”。目标属性”。3. ∆cos=coswb，wb因为wb，wt是前两个度量的差。通过联合考虑前两个度量，较大的值意味着更好的结果 我们使用Δ cos作为比较不同方法的主要评估指标，因为良好的有偏超平面预测应同时接近地面实况有偏属性h超平面（即。例如， lar r ge cosw（b，wb）并且正交于目标属性超平面（即， smallcosw（b，wt）.4. “%leading”: since each experiment contains 5.1），我们报告此方法引导最小化鼓励偏向属性b与目标的超平面正交。贡和已知属性。直观地，更好的正交化将产生遍历潜在向量到h t和h k上的投影的较小变化4.4. 完整模型最后，我们联合地最小化总变化损失和正交性惩罚以更新超平面hb=（wb，ob）（参见图1中的红线）。2）：L=LV+λL，（5）其中λ是正交性惩罚的系数。在cos方面。对于定性评价指标，我们示出了基于相同的采样潜码的不同偏置属性超平面预测的遍历图像。准确的偏置属性超平面预测的遍历换句话说，就目标属性、已知属性或任何其他属性而言，不存在变化或存在相对小的变化（参见图1中的示例）（3）第三章。5.1. 解纠缠数据集数据集在本实验中，我们对两个解纠缠数据集进行实验：小NORB [32]和LV14975dSpritesSmallNORB↓↑L|⟨⟩||⟨⟩||⟨⟩||⟨⟩|L方法|coswb，wb|↑|coswb，wt|↓↓基于VAELH0.21±0.21 0.16±0.13 0.05±0.20 16.67%0.24± 0.160.26±0.16-0.02 0. 2431.67%我们的0.23±0.180.10±0.11 0.12±0.21 51.67%基于VAELH0.11±0.14 0.13±0.14-0.01 0. 16 22.00%0.23± 0.150.25±0.15-0.02 ± 0.2141.00%(a) 小NORB(b) 精灵我们的0.17±0.140.13±0.11 0.05±0.18 37.00%地面实况偏置属性：类别。地面实况偏置属性：形状。表1：SmallNORB [32]和dSprites [20]数据集上所有480个实验设置的平均值和标准差结果H表示Hessian惩罚方法。%领先指标下的前2个结果以粗体显示。：值越大，结果越好。：值越小表示结果越好。注意，∆ cos是联合考虑前两个度量的主要评估度量我们的方法实现了更好的性能比两个基线方法。dSprites [20].两个数据集都包含具有有限属性集的图像，例如比例、形状等。两个数据集的属性数量分别为4和5如果属性不是二进制值或连续值（例如，形状、类别），更多预处理细节见附录x。A.7.我们选择5种基于VAE的方法作为生成模型：香草VAE[27]、β-VAE [20]、β- TCVAE [6]、DIP-VAE-I和DIP-VAE-II [30]。公司现采用国际在[36]中报告的同一组超参数（更多细节见Appx. A.1）。经训练的生成模型的权重是固定的，并且在优化hb时将不会更新。基线方法基于VAE：由于上述基于VAE的生成模型也是解纠缠方法，因此我们将其用作基线方法。注意，这些方法直接分解潜在空间的维度，这意味着偏置属性的预测超平面的法向量与轴对齐，并且超平面的偏移为0。Hessian Penalty[44]（H）是另一种基线方法。我们使用官方发布的Hessian Penalty实现来优化潜在空间中的超平面。关于如何为未知偏置属性发现任务调整基线方法的更多细节，请参见Appx。A.6.实验设置我们在两个解纠缠数据集上创建了480个实验设置每个实验设置是（目标属性、偏置属性、生成模型）（例如，（形状、尺度、β-VAE））。在每个设置中，为了确保目标属性分类器被所选择的偏置属性偏置，我们在目标属性和偏置属性之间具有偏斜分布的采样数据集上训练它在dSprites数据集上的（形状、尺度、β-VAE）设置的示例更多详情见附录A.8。对于正交化惩罚，我们选择除了偏置或目标属性之外的所有剩余属性作为图3：（a）SmallNORB [32]和（b）dSprites [20]上遍历图像的定性比较。 行是基于来自不同方法的预测超平面的遍历图像。（a）和（b）的地面实况偏置属性分别是类别和形状（a）和（b）的目标属性分别是方位角和位置x来自基线方法的遍历图像在（a）中的照明、（b）中的取向和位置X方面变化，这与地面实况偏置属性不同相比之下，我们的方法的遍历图像正确地在地面实况偏置属性类别（即）方面变化。在（a）中从“汽车”到“飞机”）和在（b）中的形状（从“心脏”到“椭圆”）。定量结果（例如，Δ cos）的数值在附录x中E.结果为了定量比较，我们报告了每个数据集上所有实验设置的结果的平均值和标准差。所有结果总结在表1中1.一、令人惊讶的是，Hessian Penalty方法在coswb，wb方 面 实 现 了 最 佳 性 能 。 然而，它也 在coswb ， wt 中 实 现 了 反 向 性 能 ， 这 意味着HessianPenalty方法学习了在偏向属性和目标属性之间平均的超平面。我们的方法在cos w b，w b中可以达到与Hes罚函数法相当的结果，并且在coswb，wt中达到最好的结果。 在联合考虑前两个度量的主要度量Δcos方面，基线方法的四个结果中有三个甚至是负值，这意味着它们的预测超平面甚至更接近目标属性超平面。相比之下，我们的方法在两个数据集上实现了最佳的∆ cos结果方面%领先，我们的方法也可以在SmallNORB上获得最佳结果，并在dSprites上获得与Hessian Penalty相当的结果注意，我们方法仍然实现了更稳定（即，较小的标准偏差）Δ cos结果。总之，我们所提出的方法可以准确地发现有偏见的属性，更解开w.r. t。目标属性。为了进行定性比较，我们对每个数据集的实验设置进行随机采样，并基于预测的超平面生成遍历图像。如图3、与其他方法相比，该方法能准确地发现有偏属性，且遍历图像不随目标属性而变化例如图3（b）我们的方法的遍历图像随形状改变（即， 从“心脏”到“椭圆”），这是地面实况偏向属性，而基线方法的遍历图像在非偏向属性上变化，例如ori。黑森VAE-基于我们14976变化：姿势精灵 小NORB|⟨⟩||⟨⟩|LLLLLWLLL|⟨⟩|LL|⟨⟩|L|⟨⟩|L|⟨⟩|LLHL|coswb，wb|↑|coswb，wt|↓∆cos↑0.25±0.15 0.27±0.18-0.02 ± 0.23✓✓ 0.23±0.180.10±0.11 0.12±0.210.27± 0.160.28±0.17-0.01 ± 0.25✓ ✓ 0.25±0.17 0.15±0.13 0.10±0.240.20±0.13 0.21±0.13-0.01 ± 0.18✓0.17±0.140.13±0.11 0.05±0.18✓0.21± 0.130.21±0.13 0.00±0.18✓ ✓0.21±0.130.19±0.13 0.01±0.180.960.32有偏属性的伪地面实况：姿势。表2：正交化惩罚（）和Hessian惩罚[44]（H）的消融研究。表示使用了惩罚。 请注意，所有行都使用V。 我们将H引入我们的方法。虽然增加H有助于改善coswb，wb，但它严重损害了coswb，wt。 总之，我们的最终方法（每个数据集的第二行）在∆ cos中表现最好。方法|coswb，wb|↑|coswb，wt|↓εcos↑LH0.02±0.020.02±0.00030.0005±0.02我们的0.06±0.01 0.002±0.001 0.06±0.01长H0.05±0.01 0.01±0.008 0.03±0.004我们的0.17±0.11 0.002±0.002 0.17±0.11表3：CelebA [34]和FFHQ [23]数据集的结果。我们省略了%前导，因为我们的方法在所有实验设置中都是前导（即，%领先（我们的）= 100%）。方向或位置X（即，对象正在旋转或水平移动）。图4：由StyleGAN [23]在（a）FFHQ [23]数据集上预训练合成的预测偏差属性的遍历图像的定性比较。在FFHQ上训练目标属性分类器。目标属性是性别，有偏属性的伪地面实况是姿势。图像下的数字是性别分类器我们的方法正确地发现姿态偏置属性。分类器监督的属性标签上的两个数据集。对于FFHQ数据集，我们使用来自[42]的性别注释注意，与第一个实验不同，我们不对具有任何偏斜分布的数据集进行采样，因为我们想要发现原始人脸数据集中潜在的有偏属性我们选择两个生成模型：两个StyleGAN [23]网络分别在CelebA-HQ [22]和FFHQ [23]数据集上进行预训练我们使用StyleGAN的Hessian消融研究上和LH我们进行消融研究罚分（H）用作基线方法。自从CelebA和FFHQ是野外数据集，我们不知道真实的正交化惩罚（L）。Tab中的结果。2显示那个有 助 于 降 低 cos w 目 标 在 - 三 步 。 然 而 ， L 也 减 小|coswb，wb|. 我们建议，gest，可能会使优化问题更难，由于额外的约束。此外，良好的结果Hessian惩罚（表示为H）在coswb方面，wb促使我们通过联合优化将我们的方法与Hessian Penalty相结合。结果表明，结合H也可以在coswb，wb中实现改进。然而，它仍然损害coswb，wt中的性能，这表明H学习偏置属性和目标属性之间的平均超平面。我们还对生成模型的已知属性集和训练数据的分布进行了额外的消融研究结果见附录x。C.5.2. 人脸图像实验设置我们使用CelebA [34]和FFHQ [23]数据集来发现人脸图像的偏见属性。CelebA是一个名人的面部图像数据集，具有40个注释属性。FFHQ数据集包含70，000张高质量人脸图像。我们选择性别作为目标属性来训练两个ResNet-18 [19]网络作为目标属性有偏见的属性因此，对于定量评估，我们获得了偏置属性的伪真实值（参见附录X）。A.4）。由于不存在偏置属性的真实地面实况，我们在正交化惩罚中不使用已知属性（即，K=）。结果与第一个实验类似，我们在所有设置（目标属性，有偏属性，生成模型）下运行所有设置的平均结果报告在选项卡中。3 .第三章。每个实验设置的结果在Appx中。E.我们的方法在所有指标和每个实验设置中击败了Hessian罚分方法。定性比较如图所示。4.第一章HessianPenalty方法的遍历图像根据目标属性性别（即，男性对女性）。相比之下，我们的方法正确地预测 了有 偏属性 的伪 地面 实况： pose.更多 示例 见Appx。F.1.在这个实验中，我们试图找到一些已知属性之外的有偏见的属性。在正交化惩罚（）中，我们让已知属性K的集合是四个属性：年龄，眼睛-戴眼镜、摆姿势和微笑，其超平面在[46]中提供结果见图。5的实验结果表明，该方法能够成功地发现光照和秃顶等其他有偏属性，证明了L中已知属性的有效性。一0.83变化：性别0.21CelebAFFHQ黑森罚分我们149770.960.801.000.90LL0.52 0.38(a) cat.发现的偏向属性：毛发颜色的阴影。0.970.13(b) 发现偏见属性：秃头。图5：通过将已知属性K的集合设置为由在FFHQ [23]数据集上预训练的StyleGAN[23]（a）和（b）中的目标属性分类器分别在CelebA和FFHQ上训练。图像下面的数字是性别分类器可以考虑不切换0.5-阈值的变化（例如，图中1.00至0.90（5）没有意义。我们相信这种变化仍然是有价值的，并在Appx中进行了讨论。H.3.我们还进行了一项用户研究（见附录X）。G）邀请受试者从更多的遍历图像中命名属性，其结果证明了我们的方法难以找到Hessian惩罚方法的偏见属性。5.3. 其他领域最后，我们将我们的方法应用于来自其他领域的图像，包括对象（例如，猫）和场景（例如，卧室）类别在LSUN数据集[55]。在每个类别的图像上预训练的StyleGAN和StyleGAN2被用作生成模型，权重从[47]中获得。由于每个生成器仅在一个类别的图像上训练（例如，猫生成器仅在猫图像上训练），我们只使用V而不使用因为目标属性值（即，或者说，每一个人，都有一个属于自己的托尔我们选择在ImageNet上预训练的ResNet-18 [19]作为对象分类器，在Places 365上预训练的ResNet-18我们在图中显示了我们的方法发现的一些有偏见的属性。六、我们的方法成功地发现了偏见的属性，如皮毛颜色的阴影，是埃菲尔铁塔，布局，和床的数量在猫，塔，会议室，卧室分类，分别，这可能是很难为人类提前推测。我们还进行了一项用户研究（见附录X）。G）在让受试者从更多的遍历图像中命名有偏属性时，验证了我们的方法发现了Hes- sian Penalty难以发现的有偏属性这证明了我们的方法发现偏见的属性在不同的图像域的普遍性(b) 塔发现的偏倚属性：就是埃菲尔铁塔0.830.200.950.45(c) 会议室发现有偏见的属性：布局。0.740.160.440.07(d) 卧室发现的偏倚属性：床位数图6：用于对猫、塔、会议室、卧室图像进行分类的分类器的发现的有偏属性图像下面的数字是由分类器预测的概率6. 结论在这项工作中，我们提出了一个新的问题，发现未知的偏见属性的分类没有假设和标签。为了解决这个问题，提出了一种新的方法，通过优化总变异损失和正交化惩罚。综合实验证明，该方法是有效的，可以发现多个领域的有偏属性在附录中，我们讨论了限制，未来的方向，以及相关的方法和领域，可以受益于这个新的未知偏置属性发现任务。鸣 谢 。 这 项 工 作 已 部 分 支 持 的 国 家 科 学 基 金 会（ NSF ） 的 赠 款 1764415 ， 1813709 ， 1909912 ， 和1934962。艺术-CLE仅反映作者的意见和结论，而不反映供资机构的意见和结论。0.420.29(a)发现偏向属性：照明。0.880.290.990.780.910.7314978引用[1] 阿米尔·HAbdi Purang Abolmaesumi和Sidney Fels。使用Disentanglement-PyTorch进行变分学习在神经信息处理系统研讨会的进展，2019年。12[2] Stanislaw Antol ， Aishwarya Agrawal ， Jiasen Lu ，MargaretMitchell，Dhruv Batra，C.劳伦斯·齐特尼克和德维·帕里克VQA：可视化问答。IEEEInternational Conference onComputer Vision（ICCV），2015年。3[3] Guha Balakrishnan、Yuanjun Xiong、Wei Xia和Pietro佩洛娜面向人脸分析算法中偏见的因果基准在欧洲计算机视觉会议，2020年。一、三、十一[4] Volker Blanz和Thomas Vetter。的可变形模型合成3D面。在Proceedings of the 26th Annual Conferenceon Computer Graphics and Interactive Techniques，1999中。2[5] Joy Buolamwini和Timnit Gebru。性别阴影：Intersec-商业性别分类的准确性差异。在ACM公平，问责制和透明度会议上，2018年。一、二[6] 瑞 奇 ·TQ. Chen ， Xuechen Li ， Roger B Grosse ， andDavid K杜弗诺分离变量自编码器中的解纠缠源。在神经信息处理系统的进展，2018年。三、六[7] Jinwoo Choi，Chen Gao，Joseph C E Messou，and Jia-Bin煌为什么学习减轻动作识别中的场景偏差。在神经信息处理系统的进展，2019。一、二[8] Kristy Choi，Aditya Grover，Trisha Singh，Rui Shu，andSte-法诺·埃蒙通过弱监督的公平生成建模2020年国际机器学习会议。3[9] 科琳娜·科尔特斯和弗拉基米尔·瓦普尼克支持向量网络。机器学习，（3），1995年。11[10] 埃利奥特克里格大卫马德拉斯约恩-亨里克·雅各布森Marissa Weis ， Kevin Swersky ， Toniann Pitassi ， andRichard Zemel.基于分解的公平表示学习。2019年国际机器学习会议。二、三[11] Jia Deng，Wei Dong，Richard Socher，Li-Jia Li，KaiLi，and Li飞飞ImageNet：一个大规模的分层图像数据库。在IEEE计算机视觉和模式识别会议（CVPR），2009年。2[12] 艾米丽·丹顿，本·哈钦森，玛格丽特·米切尔，蒂姆尼特Gebru和Andrew Zaldivar。利用生成的伪事实人脸属性增强检测偏差。在IEEE计算机视觉和模式识别会议（CVPR）研讨会上，2019年。二三二十一[13] 艾米丽·丹顿，本·哈钦森，玛格丽特·米切尔，蒂姆尼特Gebru和Andrew Zaldivar。用于检测非预期偏差的图像反事实敏感性分析在IEEE计算机视觉与模式识别会议（CVPR）上，工作坊，2019年。二三二十一[14] Burkay Donderici，Caleb New，and Chenliang Xu.预测生成模型的语义分解表示，通过自适应合成域。arXiv：2002.09818 [cs，eess]，2020. 3[15] 艾米莉·杜邦学习解缠联合连续和离散表示。InAdvances in Neural Information加工系统，2018年。3[16] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。神经信息处理系统进展，2014年。4[17] Ian J. Goodfellow，Jonathon Shlens，Christian Szegedy.解释和利用对抗性示例。国际学习表征会议，2015年。21[18]Moritz Hardt，Eric Price，Eric Price，and Nati Srebro.平等监督学习的机会神经信息处