82270在数据领域发现公平表示0Novi Quadrianto ‡�，Viktoriia Sharmanska §，Oliver Thomas ‡0‡ 预测分析实验室（PAL），英国苏塞克斯大学，布莱顿 §计算机系，英国帝国理工学院0摘要0在计算机视觉和机器学习应用中，解释性和公平性对于处理人类结果尤为重要，例如根据包括照片在内的申请材料邀请或不邀请参加面试。实现公平的一个有希望的方向是学习去除受保护特征语义的数据表示，从而能够减少不公平的结果。然而，所有可用的模型都学习潜在嵌入，这导致了不可解释性。我们提出将这个问题视为数据到数据的转换，即学习从输入域到公平目标域的映射，其中强制执行了公平定义。这里的数据域可以是图像，也可以是任何表格数据表示。如果我们有公平目标数据可用，这个任务将变得简单，但事实并非如此。为了克服这个问题，我们通过利用残差统计和受保护特征来学习一个高度无约束的映射。当应用于具有性别属性作为受保护特征的CelebA人脸图像数据集时，我们的模型通过调整眼睛和嘴唇区域来实现机会平等。有趣的是，在使用图像的语义属性表示进行转换时，我们在同一数据集上得出了类似的结论。在最近的DiF数据集的人脸图像上，使用相同的性别属性，我们的方法调整了鼻子区域。在具有受保护性别属性的成年收入数据集中，我们的模型通过模糊化妻子和丈夫的关系等方式实现了机会平等。分析这些系统性的变化将使我们能够审查公平标准、选择的受保护特征和预测性能之间的相互作用。01. 引言0机器学习系统越来越多地被政府机构、企业和其他组织用于制定决策。0� 还在俄罗斯莫斯科高等经济学院任职0在做出改变人生的决策时，比如是否邀请候选人参加面试，或者是否给某人贷款，机器学习系统起到了重要作用。问题是我们如何确保这些系统是公平的，即它们不因为个人的性别、残疾或其他个人（“受保护”）特征而歧视他们？例如，在构建一个自动化系统来审查工作申请时，除了其他特征外，可能会使用照片来做出邀请决策。如果直接使用照片，可能会出现歧视问题，因为带有面部的照片可能会透露出某些受保护特征，比如性别、种族或年龄（例如，[14, 5, 4,29]）。因此，任何将照片纳入其决策过程的自动化系统都存在间接歧视的风险。最近在学习公平表示方面取得的进展表明，对抗训练是隐藏决策/预测函数中的受保护特征的手段。然而，所有公平表示模型都学习潜在嵌入。因此，产生的表示不能轻易解释。当我们拥有工作申请数据时，它们没有照片、教育和培训成就的语义含义。如果我们想要鼓励公众对公平机器学习系统进行讨论和建设性的公共辩论，解释公平如何得到满足是一个重要但被忽视的因素。在本文中，我们专注于能够将输入转化为公平表示并保留输入域的语义的表示学习模型。当我们拥有图像数据时，我们的方法将对图像的外观进行语义上的改变，以实现特定的公平标准。为了实现这一点，我们通过学习从源域到目标域的映射来执行数据到数据的转换。从源域到目标域的映射是一个标准的过程，有许多方法可用。例如，在图像领域，如果我们有对齐的源/目标训练数据，我们可以使用[24]中基于条件生成对抗网络（cGANs）的pix2pix方法。01公平性准则的例子是男性和女性之间的真正阳性率（TPR）的平等机会[ 22 , 47 ]。82280CycleGAN [ 50 ]和Choi等人的StarGAN [ 7]解决了一个更具挑战性的情况，只有不对齐的训练样本可用。然而，我们不能简单地重用现有的源到目标映射方法，因为我们没有目标域中的数据（例如，公平图像不可用；图像本身不能公平或不公平，只有当它们与特定任务相结合时，公平性的问题才会出现）。为了说明困难，考虑我们之前的一个例子，一个使用照片作为输入的自动化工作评论系统。为了实现公平性，很容易地使用GAN驱动的方法将女性面部照片转化为男性。我们需要女性面孔（源域）和男性面孔（目标域）的训练数据，只需要不对齐的训练数据。然而，这种解决方案在根本上是有缺陷的；谁决定我们应该朝这个方向进行翻译更公平？如果我们将男性面孔翻译成女性面孔，是否更公平？一个道德基础的方法是将男性和女性面部照片（源域）翻译成适当的中间面部照片（目标域）。这个挑战实际上是多维的，它包含至少两个子问题：a）如何拥有一个通用的方法来处理图像数据以及表格数据（例如，工作经验、教育，甚至是照片的语义属性表示），以及b）如何找到一个具有多值（例如种族）或连续值（例如年龄）受保护特征或甚至多个特征（例如种族和年龄）的中间地带。我们通过利用翻译图像和受保护特征之间的统计（非）独立性来提出解决上述多维挑战的方法。我们使用图像特征和受保护特征的再生核希尔伯特空间之间的交叉协方差算子的希尔伯特-施密特范数（希尔伯特-施密特独立性准则[ 20]）作为统计独立性的经验估计。这种灵活的独立性度量允许我们考虑更高阶的独立性，并处理多个连续值和多个受保护特征。相关工作我们专注于扩展相关主题的公平学习，尽管不可解释。公平表示学习的目标是学习数据的中间表示，尽可能保留有关数据的信息，同时删除年龄和性别等受保护特征的信息。Zemel等人[ 48]学习了数据点到一组与受保护特征无关的潜在原型的概率映射（接受率的平等性，也称为统计平等准则），同时尽可能保留类别标签信息。Louizos等人[ 32]通过采用深度变分自动编码器（VAE）框架来扩展这一方法，以找到公平的潜在表示。近年来，我们看到了对于公平表示的敌对学习方法的增加。Ganin等人[ 15]提出了一种敌对表示学习方法，通过要求学习到的表示对于域之间的差异是不加区分的来实现域适应。多个数据域可以被转化为多个人口统计学群体。Edwards和Storkey[ 12]建立了这种联系，并提出了用于统计平等准则的敌对表示学习方法。为了实现其他公平性概念，如机会平等，Beutel等人[ 2 ]表明可以重用Edwards和Storkey[ 12]的敌对学习算法，但我们只向敌对组件提供具有积极结果的训练数据。Madras等人[ 33]使用一个标签感知的对手来学习公平和可转移的潜在表示，以满足统计平等和机会平等的准则。以上方法都没有同时学习公平表示和保留数据的语义含义。还有一种使用人对公平的感知进行特征选择的正交工作（例如[ 21]），虽然这种方法无疑保留了表格数据的语义含义，但尚未推广到图像数据。在我们的独立工作中，Sattigeri等人[ 40]描述了在输入图像领域中产生公平表示的类似动机；他们的重点是创建一个全新的类似图像的数据集，而不是针对每个输入图像进行条件处理。因此，无法像我们的方法一样为给定图像提供公平版本的可视化（参见图2和图3）。0公平表示的敌对学习方法。Ganin等人[ 15]提出了一种敌对表示学习方法，通过要求学习到的表示对于域之间的差异是不加区分的来实现域适应。多个数据域可以被转化为多个人口统计学群体。Edwards和Storkey[ 12]建立了这种联系，并提出了用于统计平等准则的敌对表示学习方法。为了实现其他公平性概念，如机会平等，Beutel等人[ 2 ]表明可以重用Edwards和Storkey[ 12]的敌对学习算法，但我们只向敌对组件提供具有积极结果的训练数据。Madras等人[ 33]使用一个标签感知的对手来学习公平和可转移的潜在表示，以满足统计平等和机会平等的准则。以上方法都没有同时学习公平表示和保留数据的语义含义。还有一种使用人对公平的感知进行特征选择的正交工作（例如[ 21]），虽然这种方法无疑保留了表格数据的语义含义，但尚未推广到图像数据。在我们的独立工作中，Sattigeri等人[ 40]描述了在输入图像领域中产生公平表示的类似动机；他们的重点是创建一个全新的类似图像的数据集，而不是针对每个输入图像进行条件处理。因此，无法像我们的方法一样为给定图像提供公平版本的可视化（参见图2和图3）。02. 通过残差分解解释公平性0我们将使用自动化职位申请筛选系统的示例进行说明。给定输入数据（照片、工作经验、教育和培训、个人技能等） xn ∈ X ，输出标签为表现良好或不良 y n ∈ Y = { +1 , − 1} ，以及受保护的特征值，例如种族或性别 s n ∈ { A, B, C,D, . . . } ，或年龄 s n ∈ R ，我们希望训练一个分类器 f，该分类器决定是否邀请某人参加面试。我们希望分类器在关于 y n 的准确性方面是准确的，但在关于 s n的公平性方面是公平的。02.1. 公平性定义0已经对公平性的数学定义进行了大量研究（例如[ 28 , 8]）。广泛认可的是，在所有情况下都没有单一的公平性定义适用，而是取决于机器学习模型的特定上下文和应用[ 18]。在本文中，我们关注的是平等机会的准则，该准则要求分类器 f 和受保护特征 s 在标签为正时是独立的，简写为 f⊥⊥ s | y = +1 。02.对于二元标签，假设正标签是一种期望的/有利的结果，例如在工作中表现良好。φ(x) = φ(˜x) + φ(ˆx),(1)minimizeTω+(3)82290用条件分布的方式表示简写符号，我们有 P ( f ( x ) | s, y =+1) = P ( f ( x ) | y = +1)。对于二元受保护特征，这意味着两个组之间的真正阳性率相等，即 P ( f ( x ) = +1 | s = A, y = +1) = P ( f ( x ) = +1| s = B, y = +1)。等价地，简写符号也可以用联合分布表示，得到 P ( f ( x ), s | y = +1) = P ( f ( x ) | y = +1) P ( s | y = +1)。使用联合分布表达式的优点是变量 s不会出现作为条件变量，因此可以直接使用该表达式来处理多个或连续值甚至多个受保护特征。02.2. 残差分解0我们希望为每个输入 x n 学习一个数据表示 ˜x n，满足以下条件：a）它能够预测输出标签 y n，b）它根据某种公平性准则保护 s n ，c）它与 x n在相同的空间中，即 ˜x n ∈ X。第三个要求确保学习到的表示与输入具有相同的语义含义。例如，对于人脸图像，目标是修改面部外貌以消除受保护特征信息。对于表格数据，我们希望对分类特征（如教育程度：学士、硕士、博士等）的值进行系统性的更改。可视化这些系统性的变化将为我们的算法如何实施某种公平性准则提供证据。尽管所有的权力都依赖于观察数据，但这将是一个强大的工具，用来审查公平性准则、受保护特征和分类准确性之间的相互作用。我们通过对 x进行以下分解假设来进行下一步操作：0其中 ˜x 是与 s 独立的组成部分，ˆx 表示与 s 有关的 x的组成部分，φ ( ∙ )是某个预训练的特征映射。我们将在本节中讨论关于图像和表格数据的预训练特征映射的具体选择。我们希望学习从源域（输入特征）到目标域（具有输入域语义的公平特征）的映射，即 T : x → ˜x ，并将此映射 T = T ω 参数化，其中ω是一类自动编码转换网络。关于我们选择的转换网络的架构，请参考第 3节。为了实现（1）中的分解结构，我们需要满足两个条件：a）˜x 与 s 独立，b）ˆx 与 s有关。给定特定的统计依赖度量，第一个条件可以通过最小化 P = { φ ( ˜x 1 ) , . . . , φ ( ˜x N ) } = { φ ( T ω ( x 1 )) , . .. , φ ( T ω ( x N )) } 与 S = { s 1 , . . . , s N }之间的依赖度量来实现；N是训练数据点的数量。对于第二个条件，我们首先定义一个残差：0φ(x) - φ(˜x) = φ(x) - φ(Tω(x)) = φ(ˆx)，(2)0最后一项是与受保护特征s有关的数据组件。然后，我们可以通过最大化R = {φ(ˆx1), ..., φ(ˆxN)} = {φ(x1) -φ(Tω(x1)), ..., φ(xN) -φ(Tω(xN))}和S之间的依赖度量来强制执行第二个条件。我们使用分解属性作为学习变换器网络Tω的参数ω的指导机制。在公平和可解释的表示学习任务中，我们认为使用残差是有充分理由的，因为我们知道我们生成的公平特征应该与我们的输入特征有些相似。残差将使学习变换器网络变得更容易。考虑到我们没有关于目标公平特征˜x的训练数据，我们不应该期望变换器网络将输入特征x生成一个新的输出˜x。相反，它应该只学习如何调整我们的输入x以产生所需的输出˜x。残差的概念是普遍的，例如，残差块已被用于加速和防止非常深的神经网络的过拟合[23]，残差回归输出已被用于在加性噪声模型中执行因果推断[37]。形式上，给定N个训练三元组(X, S, Y)，要找到一个公平且可解释的表示˜x =Tω(x)，我们的优化问题可以表示为：0n = 1 L(Tω(xn),yn)0预测损失0+ λ 10n = 1 ∥xn -Tω(xn)∥22的重构损失0+ λ 20�0� � - HSIC(R, S | Y = +1) + HSIC(P, S | Y = +1) 的分解损失0�0� �0其中HSIC(∙,∙)是统计依赖度量，λi是权衡参数。HSIC是重现核希尔伯特空间之间的交叉协方差算子的希尔伯特-施密特范数。这相当于使用最大均值差异(MMD)准则[19]将联合分布和两个边缘分布的乘积进行非参数距离度量；MMD已经成功地在公平性文献中作为自己的准则[32,38]中使用。第2.1节讨论了基于联合分布定义统计独立性的方法，并将其与条件分布进行对比。我们使用HSIC的有偏估计器[20, 42]：HSIC emp. = (N - 1) - 2 trHKHL，其中K，L ∈RN×N是残差集合R和受保护特征集合S的核矩阵，即Kij =k(ri, rj)和Lij = l(si,sj)(测量集合P和S之间的独立性的定义类似)。我们对k(∙,∙)和l(∙, ∙)都使用高斯RBF核函数。此外，Hij = δij - N -1将集合R和集合S的观测值在RKHS特征空间中居中。预测损失3http://mmlab.ie.cuhk.edu.hk/projects/CelebA.html4https://www.research.ibm.com/artificial-intelligence/trusted-ai/diversity-in-faces/5https://archive.ics.uci.edu/ml/datasets/adult82300在transformer网络的输出上，我们使用softmax层来定义。在图像数据中，我们通过在公平表示上添加总变差(TV)惩罚[34]来确保空间平滑性，但对于表格数据，我们不强制执行任何正则化项。总之，我们学习一个新的表示˜x，它消除了对受保护特征s的统计依赖(通过最小化HSIC(P, S | Y =+1))，并强制残差x - ˜x和s的依赖性(通过最大化HSIC(R, S |Y =+1))。然后，我们可以使用这个新的表示来训练任何分类器f，并且它将固有地满足公平性标准[33]。0神经风格转移和预训练特征空间神经风格转移(例如[17,25])是一种执行图像到图像转换的流行方法。我们在(3)中的分解损失类似于神经风格转移模型中使用的风格损失。风格损失定义为风格图像和转换后图像的二阶统计量之间的距离。在神经风格转移中，优秀的结果[17, 25, 43,44]依赖于预训练特征。遵循这个思路，我们在定义我们的分解损失时也使用了“预训练”特征映射φ(∙)。对于图像数据，我们利用深度卷积神经网络(CNN)的强大表示来定义映射函数[17]。CNN中层l中x的特征映射表示为Flx ∈RNl×Ml，其中Nl是层l中的特征映射数量，Ml是特征映射的高度乘以宽度。我们使用F lx的向量化作为所需的映射φ(x)= vec(Flx)。我们将使用CNN的多个层来定义完整的映射(详见第3节)。对于表格数据，我们使用以下随机傅里叶特征[39]映射φ(x) = �02 / D cos ( � θ, x � + b )，其中偏置向量 b ∈ R D 在 [0, 2 π ] 上均匀采样，矩阵 θ ∈ R d × D 中的元素 θ ij从高斯分布中采样。我们假设输入数据位于一个 d维空间，并将其转换为一个 D 维空间。03. 实验0我们给出了一个关于筛选工作申请的示例，然而，没有这样的数据是公开可用的。我们将使用公开可用的数据来模拟这种情况。我们使用三个数据集进行实验：CelebA图像数据集3 [30]，面部多样性（DiF）数据集4[35]和UCI存储库中的成年人收入数据集5[9]。CelebA数据集共有202,599张名人图像。这些图像带有40个属性，反映外貌（例如头发颜色和风格、脸型、化妆等）、情绪状态（微笑）等方面。0性别、吸引力和年龄。对于这个数据集，我们使用性别作为二元受保护特征，吸引力作为在名人世界中被邀请参加工作面试的代理度量。我们随机选择了20K张图像进行测试，并使用其余的图像来训练模型。DiF数据集是最近引入的，包含近百万张人脸图像，反映了种族、年龄和性别的多样性。这些图像带有诸如种族、性别和年龄（连续和离散为七个年龄组）以及面部标记和面部对称特征等属性。对于这个数据集，我们使用性别作为二元受保护特征，使用离散化的年龄组作为预测任务。成年人收入数据集经常用于评估公平性方法。它来自人口普查局，二元任务是预测个人是否每年收入超过5万美元。它总共有45,222个数据实例，每个实例有14个特征，如性别、婚姻状况、教育水平、每周工作小时数等。对于这个数据集，我们遵循[48]，将性别视为二元受保护特征。我们使用28,222个实例进行训练，使用15,000个实例进行测试。在三个实验中，我们始终将机会平等作为公平性标准。03.1. 成年人收入数据集0重点是调查我们提出的公平且可解释的学习方法是否与最先进的公平性方法相媲美，并且通过进行表格到表格的转换是否使我们更接近实现公平性的可解释性。我们使用以下分类器对我们的方法进行比较：1）逻辑回归（LR）和2）线性核支持向量机（SVM）。我们使用3折交叉验证从6个可能的值（10^i，其中i ∈ [0,6]）中选择LR和SVM的正则化参数。然后，我们使用学习到的表示˜x和Beutel等人[2]描述的最先进对抗模型的潜在嵌入z来训练分类器1-2。我们还应用重新加权样本的方法，以模拟关于受保护特征的平衡数据集，使用FairLearn [1] FairReduction 3-4和Kamiran＆Calders [26]Kamiran＆Calders5-6进行优化，同时使用交叉验证的LR和SVM（1-2），分别得到（Fair Reduction LR），（Fair ReductionSVM），（Kamiran＆CaldersLR）和（Kamiran＆CaldersSVM）。作为参考，我们还与Zafar等人[47]的公平分类方法（Zafar etal.）进行比较，该方法直接将机会平等作为约束添加到学习目标函数中。已经证明，将公平性约束以“公平管道”的方式连续应用不会强制执行公平性[11, 3]，因为HusbandNot-in-famiOther-relatOwn-childUnmarriedWife050100150200250HusbandNot-in-famiOther-relatOwn-childUnmarriedWife050100150200250Amer-IndianAsian-Pac-IBlackOtherWhite050100150200250Amer-IndianAsian-Pac-IBlackOtherWhite0501001502002503.2. The CelebA datasetOur intention here is to investigate whether (Q3) per-forming an image-to-image translation brings us closer toachieving interpretability in how fairness is being satisfied,and whether (Q4) using semantic attribute representationsof images reinforces similar interpretability conclusions asusing image features directly.Image-to-image translation Our autoencoder network82310原始x 公平可解释˜x 潜在嵌入z 准确性↑ 公平准则↓ 准确性↑ 公平准则↓ 准确性↑公平准则↓01: LR 85.1±0.2 9.2±2.3 84.2±0.3 5.6±2.5 81.8±2.1 5.9±4.6 2: SVM 85.1±0.2 8.2±2.3 84.2±0.3 4.9±2.8 81.9±2.06.7±4.7 3: 公平减少LR [1] 85.1±0.2 14.9±1.3 84.1±0.3 6.5±3.2 81.8±2.1 5.6±4.8 4: 公平减少SVM [1] 85.1±0.2 8.2±2.384.2±0.3 4.9±2.8 81.9±2.0 6.7±4.7 5: Kamiran和Calders LR [26] 84.4±0.2 14.9±1.3 84.1±0.3 1.7±1.3 81.8±2.1 4.9±3.36: Kamiran和Calders SVM [26] 85.1±0.2 8.2±2.3 84.2±0.3 4.9±2.8 81.9±2.0 6.7±4.7 7: Zafar等人� [47] 85.0±0.3 1.8±0.9— — — —0表1.在3种不同的表示x，˜x和z上训练多个分类器（行1-7）的结果。x是原始输入表示，˜x是本文介绍的可解释的公平表示，z是Beutel等人的潜在嵌入表示。我们用粗体表示Eq. Opp.，因为这是公平准则（值越低越好）。�Zafar等人的求解器在10次重复中有4次无法收敛。我们学到的表示˜x在实现可比公平水平的同时，保持了与原始输入相同的约束。0（‘关系状态’）（‘种族’）图1. 左：显示分类特征‘关系状态’的分布的箱线图右：显示分类特征‘种族’的分布的箱线图。每个左边：原始表示x∈X。每个右边：公平表示˜x∈X。0因此，我们只展示了（公平的）分类器7在未修改的x上。基准测试我们使用具有1个隐藏层的网络对编码器和解码器进行了50000次迭代的训练，每个隐藏层有40个节点，编码表示为40个节点。预测器作用于该网络的解码输出。我们将重构损失（λ1）和分解损失（λ2）的权衡参数分别设置为10^-4和100。然后，我们使用这个模型将10个不同的训练和测试集翻译成˜x。使用Friedler等人提供的框架的修改版本，我们使用x和˜x表示评估方法1-6。为了保持一致性，我们使用与我们模型相同的架构和迭代次数训练Beutel等人的模型。表1显示了这些实验的结果。我们的可解释表示˜x实现了与Beutel的最先进方法（Q1）相似的公平水平。一致地，我们的表示˜x在准确性上只有很小的损失，同时促进了公平准则（Eq.Opp.接近0）。可解释性我们促进正类别（实际薪资>50K）的机会平等。在图1中，我们展示了学习公平表示的效果，展示了在x中被SVM错误分类为<50K的样本的“关系状态”和“种族”特征的变化，但在˜x中被正确分类。这种可视化可以用于理解表示方法如何调整数据以实现公平性。例如，在图1（左）中，我们可以看到我们的方法解决了丈夫或妻子的关系状态直接代表性别的问题（Q2）。我们的方法以无监督的方式在所有重复中识别出这一点，并减少了与负预测相关联的妻子类别。与受保护特征的相关性较小的其他类别，如种族，基本上保持不变（图1（右））。0图1显示了在x中被SVM错误分类为<50K的样本的‘关系状态’和‘种族’特征的变化，但在˜x中被正确分类。这种可视化可以用于理解表示方法如何调整数据以实现公平性。例如，在图1（左）中，我们可以看到我们的方法解决了丈夫或妻子的关系状态直接代表性别的问题（Q2）。我们的方法以无监督的方式在所有重复中识别出这一点，并减少了与负预测相关联的妻子类别。与受保护特征的相关性较小的其他类别，如种族，基本上保持不变（图1（右））。translatedresidualFigure 2. Examples of the translated and residual images onCelebA from the protected group of males (minority group) thathave been classified correctly (as attractive) after transformation.These results are obtained with the transformer network for image-to-image translation. Best viewed in color.domainAcc.Eq. Opp.TPRTPRX↑↓femalemaleorig. ximages80.633.890.857.0orig. xattributes79.139.990.850.9fair ˜ximages79.423.885.261.4fair ˜xattributes75.912.487.274.8fair ˜xfake images78.523.087.564.5Table 2. Results on CelebA dataset using a variety of input do-mains. Prediction performance is measured by accuracy, and weuse equality of opportunity, TPRs difference, as the fairness crite-rion. Here, domain of fake images (last row) denotes images syn-thesized by the StarGAN[7] model from the original images andtheir fair attribute representations. We boldface Eq. Opp. sincethis is the fairness criterion.is based on the architecture of the transformer network forneural style transfer [25] with three convolutional layers,five residual layers and three deconvolutional/upsamplinglayers in combination with instance weight normalization[44]. The transformer network produces the residual imageusing a non-linear tanh activation, which is then subtractedfrom the input image to form the translated fair image ˜x.Similarly to neural style transfer [17, 16, 25], for computingthe loss terms, we use the activations in the deeper layers ofthe 19-layered VGG19 network [41] as feature representa-tions of both input and translated images. Specifically, weuse activations in the conv3 1, conv4 1 and conv5 1 layersfor computing the decomposition loss, the conv3 1 layer ac-tivations for the reconstruction loss, and the activations inthe last convolutional layer pool 5 for the prediction lossand when evaluating the performance. Given a 176x176color input image, we compute the activations at each layermentioned earlier after ReLU, then we flatten and l2 nor-malize them to form features for the loss terms. In the HSICestimates of the decomposition loss, we use a Gaussian RBFkernel k(x1, x2) = exp(−γ∥x1 − x2∥2) width γ = 1.0 forimage features, and γ = 0.5 for protected characteristics (asone over squared distance in the binary space). To computethe decomposition loss, we add the contributions across thethree feature layers. We set the trade-off parameters λ1 andλ2 of the reconstruction loss and the decomposition loss,respectively, to 1.0, and the TV regularization strength to10−3. Training was carried out for 50 epochs with a batchsize of 80 images. We use minibatch SGD and apply theAdam solver [27] with learning rate 10−3; our TensorFlowimplementation is publicly available6.Benchmarking and interpretability We enforce equal-ity of opportunity as the fairness criterion, and we considerattractiveness as the positive label. Attractiveness is whatcould give someone a job opportunity or an advantaged out-come as defined in [22]. To test the hypothesis that we havelearned a fairer image representation, we compare the per-formance and fairness of a standard SVM classifier trainedusing original images and the translated fair images. Weuse activation in the pool 5 layer of the VGG19 network asfeatures for training and evaluating the classifier7.We report the quantitative results of this experiment inTable 2 (first and third rows) and the qualitative evaluationsof image-to-image translations in Figure 2. From the Table2 it is clear that the classifier trained on fair/translated im-ages ˜x has improved over the classifier trained on the origi-nal images x in terms of equality of opportunity (reductionfrom 33.8 to 23.8) while maintaining the prediction accu-racy (79.4 comparing to 80.6). Looking at the TPR valuesacross protected features (females and males), we can seethat the male TPR value has increased, but it has an op-posite effect for females. In the CelebA dataset, the pro-portion of attractive to unattractive males is around 30% to70%, and it is opposite for females; male group is thereforethe minority group in this problem. Our method achievesbetter equality of opportunity measure than the baseline byincreasing the minority group TPR value while decreasingthe majority group TPR value. To understand the balanc-ing mechanism of TPR values (Q3), we visualize a subsetof test male images that have been classified correctly as at-tractive after transformation (those examples were misclas-sified in the original domain) in Figure 2.We observe a consistent localized area in face, specifi-cally lips and eyes regions. The CelebA dataset has a largediversity in visual appearance of females and males (hairstyle, hair color) and their ethnic groups, so more localizedfacial areas have to be discovered to equalize TPR valuesacross groups. Lips are very often coloured in female (themajority group) celebrity f
我的内容管理
展开
