通过安全人工智能消除算法偏见

0通过安全人工智能实现公平表达0通过对无偏信息瓶颈的对抗学习来消除算法偏见0金英金和曹成培0韩国首尔延世大学计算机科学系03722  {seago0828, sbcho}@yonsei.ac.kr  摘要算法偏见指的是由算法引起的歧视，这种歧视发生在受保护特征（如性别和种族）中。即使我们从输入数据中排除了导致不公平的受保护特征，由于其他属性和受保护特征的依赖性，偏见仍然可能出现。已经设计了几种方法来减少偏见，但尚未完全探索此问题的原因。在本文中，非歧视表示化问题，同时利用无偏信息瓶颈来模糊有关数据表示中受保护特征的信息数据表示中是否存在有关受保护特征的信息。它们以对抗的方式同时进行差-方差困境的角度分析了算法偏见，以揭示偏见的原因，从而证明所提的有效性。对成年人、人口普查和COMPAS等知名基准数据集的实验证的有效性。我们的方法不仅减少了偏见，而且可以在其他分类器中使用潜就可以在各种分类器中使用）。我们通过将其应用于传统的机器学习模型加以说明。0介绍0歧视是基于特定特征的个体的不公平对待，也称为敏感属性，如性别和种族[Helm，2016年；Shipman和Griffiths，2016年]。已经发现，机器学习显著地导致了构建能够决定新数据标签的模型，但可能会导致偏见[Dwork等，2012年；Feldman等，2015年；Kamiran和Calders，2010年；Koene，2017年；Luong等，2011年；Zemel等，2013年]。即使机器学习算法也放大了算法偏见[Dressel和Farid，2018年]。然而，通过从输入中删除敏感变量无法解决算法偏见。0所谓'代理歧视'。例如，即使我们删除了种族信息，也有可能通过邮政编码推断出种族。缓解偏见的方法分为三类，如图1所示：预处理、处理中和后处理[Calmon等，2017年]。预处理是通过消除训练数据本身中存在的偏见来解决问题[Calmon等，2017年；Edwards和Storkey，2016年；Grgic-Hlaca等，2018年；Hajian，2013年；Louizos等，2017年]。处理中是通过向学习算法添加约束来减少偏见，即使数据中存在偏见[Fish等，2016年；Kamishima等，2011年；Zafar等，2017年；Zhang等，2018年]。后处理是确保决策本身[Hardt等，2016年]。由于缺乏对算法偏见原因的分析，需要进行更深入的研究，因此仅提出了像公平表示或分类器这样的片段性解决方案。一些研究分析了数据的偏见，并提出了评估算法偏见的指标，但缺乏原因的理论背景[Zafar等，2017年；Zhang等，2018年]。我们将算法偏见问题表述为混淆潜在空间中受保护特征的双目标优化，并通过使用信息瓶颈[Alemi等，2017年]公平地对数据进行编码，以实现无偏表示。我们提出了一种无偏信息瓶颈方法，以减少受保护属性与潜变量的关联，如方程（1）所示。max � ��  = ���, �� − ���, �� (1)0其中，�代表互信息，�是数据，�是潜变量，�表示受保护的属性。通过方程（1），我们可以最大化表示和数据特征之间的关系，同时最小化与引起偏见的特征之间的关系。为了最小化���，��，我们构建了两个模型：编码器通过将数据投影到潜在空间来学习数据表示，鉴别器判断数据表示中是否存在有关敏感属性的信息。它们在对抗和0版权所有 © 2020 年作者。在知识共享署名4.0国际许可证（CC BY 4.0）下允许使用。0实现公平表示与编码器的输出。为了防止数据被扭曲，即最大化���，��，解码器使用编码器的输出重构数据，以便编码器应该被训练以更好地在潜在空间中表示数据中的信息。此外，算法偏差是从偏差-方差困境进行分析的，这是机器学习中的典型错误分析指标。我们还从理论上证明了每个受保护特征的偏差差异可以通过实现公平表示来解决，证明了我们方法的有效性。为了评估模型的性能，我们在知名基准数据集上进行了几个实验。本文的主要贡献总结如下。�据我们所知，这是分析算法偏差的原因的第一次尝试，从偏差-方差困境的角度来看。�我们从理论上证明了通过学习公平表示可以解决算法偏差。�通过提出的带有对抗学习的无偏信息瓶颈方法，我们能够训练可用于迁移学习的公平表示。�通过在各种数据集上实现最高性能，与其他已知技术相比，所提出的算法被证明是公平的，而且不依赖于数据。本文的其余部分组织如下。在第2节中，我们介绍了解决算法偏差的研究，分为三个方面。我们在本文中所做的工作和提出的模型在第3节中介绍，评估在第4节中进行。第5节介绍了总结和一些讨论。0相关作品0已经进行了几项工作来识别和解决算法偏差问题。解决它的方法可以根据前一节提到的内容分为三种类型。我们总结了每种方法的研究，见表1。通过预处理的解决方案是通过消除数据中存在的偏见来预先阻止算法偏差。Hajian提出了一种方法，通过多种度量来计算歧视，解决间接偏见以及算法偏见[Hajian,2013]。Edwards和Storkey提出了一种学习公平表示的方法，以解决算法偏差，并将其应用于图像匿名化以去除图像中的文本[Edwards and Storkey,2016]。Louizos等人通过变分自动编码器实现了公平表示，这是学习数据表示的方法之一[Louizos et al.,2017]。Calmon等人提出了一种通过引入三个重要标准来解决预处理方法中的算法偏差的解决方案[Calmon et al.,2017]。Grgic-Hlaca等人提出了一种选择特征进行程序上公平学习的方法[Grgic-Hlaca et al.,2018]。上述研究具有预先阻止偏见的优势，但它们的缺点是失去了数据的特征并降低了性能。因此，已经进行了研究以在学习算法中实现公平性。Kamishima等人提出了一种通过基于分析的不公平性的正则化方法来解决算法偏差的方法[Kamishima et al.,2011]。Fish等人通过移动决策边界的技术实现了公平性[Fishet al.,2016]。Zafar等人提出了一种通过向学习算法添加称为不同对待的正则化项的方法[Zafar et al.,2017]。Zhang等人使用预测结果来教导模型变得公平[Zhang et al.,2018]。Hardt等人定义了一个评估不公平程度的度量标准，使用后处理技术以事后方式解决算法偏差[Hardt et al.,2016]。尽管大多数研究提出了解决算法0图1. 解决算法偏差的方法示意图0类别  描述  作者  优缺点0预处理0预处理训练数据0Hajian (2013),Edwards (2016),Louizos (2016),Calmon (2017),Grgic-Hlaca (2018)0� 通过复杂的预处理防止偏差  �可以解决数据中存在的偏差0� 发生失真，丢失数据的特征0内部处理0通过添加约束修改学习算法0Kamishima (2011), Fish (2016),  Zafar(2017),  Zhang(2018)0� 使用完整数据  � 适用于所有数据0� 由于添加到学习算法的约束而不稳定  �无法解决数据中存在的偏差0后处理 后期 Hardt (2016)0� 可以实现零偏差  �适用于所有数据和模型0� 用户干预分析结果并控制决策边界0表1. 相关工作总结 ℒ = 𝔼x∼� [�� − �̂�����] = 𝔼x∼�[���� − �̂���]� +𝔼 [(�̂��� − 𝔼�∼� [�̂���])�], = Bias��̂�� + ���𝑖��𝑐���̂� (2) ℒ = 𝔼x∼� [�� − �̂�����] +[Bias+(�̂) − �𝑖��−(�̂)]�, (3) 0算法偏差，他们缺乏问题的原因和方法有效性的评估。本文试图从偏差-方差困境的角度分析算法偏差，并在理论上证明我们可以通过公平表示学习来解决这个问题。我们还表明，通过对抗学习构建模型可以解决算法偏差。0提出的方法0概述0如公式（2）所示，偏差-方差困境显示了试图同时最小化误差分量的冲突；偏差和方差[Geman等，1992；Vijayakumar，2007]。偏差项评估近似函数与真实函数的相似程度，方差项评估近似程度的复杂性。我们将证明算法偏差是由于每个受保护特征的偏差值不同而引起的。我们还将从理论上证明，通过使表示公平，我们可以减少每个敏感特征的偏差差异。如果我们构建一个减少这种差异的客观函数，如公式（3），那么从未分离的数据中学习将变得棘手。我们修改这一点，以证明公平表示减少了受保护特征的偏差值之间的差异。通过使用无偏信息瓶颈的对抗学习，通过编码器和鉴别器的对抗学习实现公平表示，并将遵循详细的学习过程。0其中，�是数据空间，�是数据样本，�是0对于�对应的真实标签，�是真实函数，� � 是近似函数，Bias+和Bias−分别是仅具有正和负受保护特征的近似和真实函数之间差异的期望。Chen等人也提供了从偏差-方差困境的角度定义算法偏差的方法，但他们只是展示了它们之间的关系[Chen等，2018]。我们不仅将它们联系起来，而且还基于此导出解决方案。0对算法偏差的分析0从偏差-方差困境的角度来看，与以往研究不同，算法偏差可以通过公平表示来解决。图2显示了每个受保护特征的偏差与算法偏差之间的关系。数据表示使用t-SNE算法[Maaten和Hinton，2011]。我们确认许多具有正受保护特征的点存在于实际标签为正的空间中，因此训练模型预测对于�=�的数据，�=�（即Bias +（� �）大于Bias −����）。我们制定了公式（4）的客观函数，因为通过学习使每个敏感特征具有相同的偏差值，可以解决算法偏差。然而，由于这是棘手的，我们从公式（4）导出了公式（8）。0� x�� + [� � ��� − ����]         ≈ � x�� − [� � ��� − ����] (4)0� � x�� + [� �  � ����� − � � ����]         ≈ � x�� − [� �  � ����� − � � ����] (5)0� � x�� + [� �  � �����] − � ��� − [� �  � �����]         ≈ � x�� + [� � ����] − � ��� − [� � ����] (6)0� � x�� + [� �  � �����] ≈ � ��� − [� �  � �����] (7)0� � x�� + [�����] ≈ � ��� − [�����] (8)0其中，�和�是特征提取器和分类器的实际函数，带帽符号的函数代表近似函数，�+和�−分别是具有正和负敏感特征的数据空间。因为分类器的函数并不总是可逆的，我们在方程(8)中表示左箭头。因此，如果特征提取器的结果（即数据表示）对于每个受保护特征都有类似的分布，则偏见的差异会减少，从而减轻算法偏见。0通过对信息瓶颈的对抗学习实现公平表示0通过方程(1)实现公平表示时存在许多难以处理的公式问题[Chenet al., 2016; Alemi et al.,2017]。我们可以通过最大化下界来获得类似的结果，以最大化���,��，表示数据和潜在变量之间的关联。受Chen等人的启发，我们推导了���, ��的下界，如方程(9)到(12)所示。0图2.t-SNE可视化，用于验证数据本身的偏见。蓝色对应于正敏感特征，而橙色对应于负保护特征。背景颜色越红，实际标签越密集。 �]] (24) 0���, �� (9)0= � �����|��  [� � ′ ����|�� [��� ��� ′ |��]] + ���� (10)0� � �����|��  [� � ′ ����|�� [��� ��� ′ |��]] + ���� (11)0= � � ′ ��(� ′ ),�����|�� [��� ��� ′ |��] + ���� (12)0其中，�和�分别代表解码器和编码器，�和�表示实际和近似分布，�是熵。从方程(10)到方程(11)，我们使用Kullback-Leibler散度是非负的事实。让方程(12)的第一项为�XZ。同时，我们应该最小化���,��以实现方程(1)。受Alemi等人的启发，我们可以通过减小它的上界来最小化���, ��，并从方程(13)到方程(17)中推导出它。0= ∫ ���|������ ���  ���|�� ���� (14)0= ∫ ���|������ ��� ���|�� − ∫ ���� ��� ���� (15)0� ∫ ���|������ ��� ���|�� − ∫ ���� ��� ���� (16)0= ∫ ���|������ ���  ���|�� ���� (17)0其中，����是一种变分逼近。然而，这种方法中的一个关键问题是选择适当的逼近器����的困难。我们提出了基于信息瓶颈理论的上界的另一种公式化[Tishby et al., 2000; Tishby andZaslavsky,2015]。如图3所示，我们定义了另一个模型�，称为潜在转移，它从编码器中获取潜在变量�并输出中间表示�。因此，可以得到���, ��的修改上界如下：0���, �� = � ��, �(����)� (18)0              � �(�, ����) (19)0              � ∫ ���|������ ���  ���|�� ���� (20)0其中，����是一种变分逼近。第一个不等式得益于马尔可夫性质[Tishby and Zaslavsky, 2015]。让方程(20)为�AZ，我们可以将方程(1)重写如下：max � ��  � � ��  − � �� (21)0通过这种方法，通过公平表示学习解决算法偏见，如我们在前一节中证明的，编码器和鉴别器是对抗性学习的。所提出方法的架构如图3所示。三个模型的目标函数如下。0�� �,� �=���� [−���+���+�������,�� [� ���,�(� � ���)�] ] (22)0� D=���,����×� [� ��,�(� � ���)�], (23)0其中� �，��和�是编码器、解码器和鉴别器的函数，�是敏感特征的空间，�是衡量重构或分类损失的二元函数，������,��表示零或一的随机抽样，���是Kullback-Leibler散度，使结果分布尽可能简单。有几项工作提出通过修改生成对抗自动编码器和对抗自动编码器的学习过程来实现公平性，类似于本文提出的方法[Edwards andStorkey, 2016; Mardras et al., 2018; Wadsworth et al.,2018; Zhang et al., 2018; Goodfellow et al., 2014;Makhzani et al.,2015]。他们提出了一种训练编码器的方法，使鉴别器将敏感特征分类为与数据表示相反的特征，从而可以学习有关受保护特征的信息。然而，我们首先提出了一种无偏信息瓶颈方法，并训练编码器使鉴别器以������,��项来随机分类受保护特征，从而使有关敏感属性的信息在数据表示中消失。鉴别器将来自具有受保护特征的数据的投影潜变量进行分类，以便编码器学习构建与敏感属性无关的公平表示以愚弄鉴别器。此外，他们的方法是处理中的，导致无法获得公平表示。我们的优化也收敛，因为它等价于原始目标函数，如方程（24）所示。0min G max D [���� ���� ��� [log ����]0+���� � ���  [������,��  [�� − �(����)�]]0� min G max D [���� ���� ��� [log ����]0图3.所提出方法的架构。为了训练鉴别器，从�中对敏感特征�进行抽样。编码器被训练以使用来自���,��的��将数据投影到公平表示。当获得公平表示时，只有虚线内的模型被学习。在公平解决分类问题时，来自编码器的输出值成为分类器的输入。 = |Σ�∈�+𝕝�(�|�)=�Σ�∈�+𝕝�=�−Σ�∈�−𝕝�(�|�)=�Σ�∈�−𝕝�=�| (25) 5: ��� ← ��� − �𝜕ℒ��,��𝜕𝜃�� ��, �̃�; 6: ��� ← ��� − �𝜕ℒ��,��𝜕𝜃�����; 7: �� ← �� − �𝜕ℒ�𝜕𝜃� ��, ��; 0当� �  ≈ � �时，目标函数收敛，其中� �和��分别是真实数据和生成数据的分布[Goodfellow et al.,2014]。我们可以将生成对抗网络中的真假对映射到敏感特征的正负对，因此收敛点为���� + ��� ≈ ���� − ���。学习公���的算法如下。0其中� � �，� � �和��是编码器、解码器和鉴别器的参数，�是学习率。当生成对抗网络收敛时，� �  ≈ � �，我们的模型在� � +  ≈ � �−时可以收敛。此外，本文提出的公平表示不受表示中实际标签的分类模型的影响，因为在学习过程中没有与分类器相关的术语。将数据表示分类为实际标签的其他分类器�的算法如下。0其中，�是一个二元函数，用于衡量真实标签�和计算标签�之间的差异��=�(� ����)。如果我们使用的是机器学习分类器而不是深度学习，我们将使用一个学习分类器而不是第5行上的参数更新方法的算法。0实验0数据集和实验设置0我们使用诸如成年人、人口普查和COMPAS等著名基准数据集来评估性能0相对于其他已知技术，提出的方法在公平性和准确性方面都表现出更好的性能。表2中描述了数据集的详细信息。我们展示了通过对每个数据的分类属性进行独热编码来显示最终特征的大小。在人口普查数据集中，通过欠采样技术解决了类不平衡问题。在COMPAS数据集中，"高加索人"和"非裔美国人"被用作受保护的特征。如果十分位分数大于5，我们将实际标签设置为正值；否则，我们将其设置为负值。编码器、解码器和鉴别器使用全连接，并使用修正线性单元作为激活函数[Nair and Hinton,2010]。当用于重构时，我们将二元函数�设置为均方误差，当用于分类时，我们将其设置为交叉熵。我们比较了基准模型(与我们的方法相同，但没有对抗性学习)、由Louizos提出的变分公平自动编码器(VFAE)和由Edwards提出的对抗模型，以展示提出方法的优越性[Edwards and Storkey, 2016;Louizos et al., 2017]。0偏见减少0为了定量评估算法偏见，我们使用了一些著名的度量标准，如机会平等和几率平等，如方程(25)和(26)所示[19]。机会度量了每个受保护特征的真正阳性率(TPR)的差异。几率度量了每个受保护特征的真正阳性率(TPR)和假阴性率(FNR)的差异。0机会0几率 = | Σ �∈� + ���|�� Σ �∈� + � −  Σ �∈� − ���|�� Σ �∈� − � | (26)01  成年人和人口普查数据集: https://archive.ics.uci.edu/ml/datasets/COMPAS数据集: https://kaggle.com/danofer/compass0数据  数据数量  特征数量0受保护的特征0真实标签0成年人  32,561  102  性别  收入0人口普查  37,136  389  性别  收入0COMPAS  11,742  16  种族  风险评分0表2. 本文使用的数据集的详细信息0算法1  训练公平表示  输入: 数据�和相应的敏感特征� 输出:完全训练的编码器� � 1: 初始化� � , � � , � 2:    对于每个epochs3:       对于每个batches 4:          从�, �,  ��中分别抽取样本�, �,��;08:       结束 9:    结束10:  返回� �0算法2  使用公平表示对数据进行分类  输入: 数据�，相应标签�，分类器� 输出:完全训练的分类器� 1: 初始化� 2:    对于每个epochs 3:       对于每个batches 4:从�，�中分别抽取样本�, �;  5:   � �  ← � �  − � ��08:       结束 9:   结束 10:返回�We conduct the experiment with 10-fold cross validation, and the result of evaluation with each metric is shown in Figure 4. The proposed model achieves better fairness on all datasets relative to the different models. The numerical results are shown in Tables 3 and 4. The performance of the proposed model was statistically significant at the 95% 0除了四种情况外，所有结果在90%的显著水平上都是显著的。在提出的模型中，歧视和效用之间的权衡也很可能出现，这个问题将在未来的研究中得到解决。在本文中，我们分析了算法偏见是由于"0模型  基础  VFAE  Edwards等人  我们0成年人数据集0平均值  0.1765  0.1669  0.0421  0.00770标准偏差  0.0128  0.0119  0.0129  0.00910p值  1.11 × 10^-801.43 ×10^-801.87 × 10^-7 -0人口普查数据集0平均值  0.4203  0.3357  0.2944  0.22970标准偏差  0.0090  0.0497  0.0720  0.09550p值  1.06 × 10^-705.20 ×10^-706.09 × 10^-7 -0COMPAS数据集0平均值  0.2942  0.3153  0.1076  0.05770标准偏差  0.0277  0.0287  0.0844  0.04970p值  2.88 × 10^-903.89 ×10^-807.19 × 10^-7 -0表3. 实验的数值结果。我们使用Odds指标验证性能并进行t检验。0模型  基础  VFAE  Edwards等人  我们0成年人数据集0平均值  0.0851  0.1987  0.0576  0.00980标准偏差  0.0132  0.0328  0.0274  0.00840p值  1.20 × 10^-806.12 ×10^-902.02 × 10^-7 -0人口普查数据集0平均值  0.1961  0.2448  0.1884  0.13140标准偏差  0.0190  0.0770  0.0600  0.11140p值  5.83 × 10^-701.09 ×10^-709.91 × 10^-7 -0COMPAS数据集0平均值  0.2891  0.3038  0.1184  0.04000标准偏差  0.0239  0.0250  0.0959  0.06360p值  1.40 × 10^-703.55 ×10^-902.01 × 10^-7 -0表4.实验的数值结果。我们使用Opportunity指标验证性能并进行t检验。0图4.基础模型、变分公平自动编码器、Edwards等人提出的模型和提出的模型相对于三个数据集的实验结果。我们使用两个指标进行比较：机会平等和几率，我们的模型相对于其他模型具有最佳的公平性。放大后查看图形。0通过偏差-方差中的受保护特征减小偏差差异（即|����+−����−因此我们在图5中展示了提出的方法通过受保护特征减小偏差的差异，这间接意味着使用我们的学习算法降低方程（2）中的难以处理的损失。0公平潜变量0通过公平表示解决算法偏见的提出方法的结果在图6中使用t-SNE算法描述。请注意，Edwards等人提出的模型属于处理中的方法，因此我们无法使用公平表示来使用它。原始数据的分布存在未知模式，并且由受保护的特征分离，而数据表示的分布使用VFAE变得简单。然而，在通过VFAE进行数据表示时，数据可以根据受保护的特征进行区分。我们可以观察到，通过使用我们的方法训练的数据表示与受保护的特征无关。由于通过提出的模型学习的公平表示本身具有非歧视特性，因此分类结果不受偏见，无论分类器。0分类器。我们通过将学习的公平表示输入到各种机器学习算法（如逻辑回归（LR）、决策树（DT）和随机森林（RF））中，将真实标签进行分类，结果显示在图7中。令人惊讶的是，即使我们使用提出的方法带来的预先训练的公平表示，实验中使用的所有机器学习算法的结果在提出的方法中具有最佳的公平性。此外，除了DT外，准确性仅降低约2%。将使用更多分类器进行比较和分析将在将来进一步进行。0结论0在本文中，我们解决了算法偏差问题的需求。通过所提出的方法对编码器和鉴别器进行对抗学习，从而在某种程度上实现了公平性。我们从偏差-方差困境的角度分析了算法偏差的原因，并证明可以通过公平表示来解决。所提出的方法学习了与分类器（包括深度学习）无关的表示，因为当编码器的输出输入到分类器时，偏差值最低。我们证明了算法偏差的原因是由于偏差-方差中每个敏感特征的偏差差异，我们应用对抗学习来减少差异。然而，由于这个过程是双重优化，导致学习不稳定。在未来，我们将尝试找到一种更稳定地减少偏差差异的方法。我们还需要评估所提出的公平表示方法在其他领域的可扩展性。0图5.通过偏差减少结果评估模型性能。Y轴表示每个受保护特征的偏差值之间的差异。0图6. 在成年人数据集上的t-SNE可视化：(a)数据本身，(b)基础模型的表示，(c)VFAE模型的表示，以及(d)所提出的模型。可以看出，除了我们的方法之外，其他方法的表示可以很容易地与受保护特征分开。0图7. 所提方法中学得公平表示的性能。Alemi A. A.; Fischer I.; Dillon V. J.; and Murphy K. 2017. Deep Variational Information Bottleneck. Int. Conf. on Learning Rep-resentation: 1-19. Calmon P. F.; Wei D.; Vinzamuri B.; Ramamurthy N. K.; and Varshney R. K. 2017. Optimized Pre-Processing for Discrimina-tion Prevention. In Advances in Neural Information Processing Systems: 3992-4001. Chen I.; Johansson F. E.; and Sontag D. 2018. Why is My Classi-fier Discriminatory? In Advances in Neural Information Pro-cessing Systems: 3539-3550. Chen X.; Duan Y.; Houthooft R.; Schulman, J.; Sutskever, B.; and Abbeel, P. 2016. InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets. In Advances in Neural Information Processing Systems: 2172-2180. Dressel J., and Farid H. 2018. The Accuracy, Fairness and Limits of Predicting Recidivism. Science Advances 4(1): 1-6. Dwork C.; Hardt M.; Pitassi T.; Reingold O.; and Zemel R. 2012. Fairness Through Awareness. In Proc. of the 3rd Innovation in Theoretical Computer Science Conf.:214-226 Edwards H., and Storkey A. 2016. Censoring Representation with an Adversary. Int. Conf. on Learning Representation: 1-14. Feldman M.; Friedler A. S.; Moeller J.; Scheidegger C.; and Ven-katasubramanian S. 2015. Certifying and Removing Disparate Impact. In Proc. of the 21st ACM SIGKDD Int. Conf. on Knowledge Discovery and Data Mining: 259-268. Fish B.; Kun J.; and Lelkes D. A. 2016. A Confidence-based Approach for Balancing Fairness and Accuracy. In Proc. of Int. Conf. on Data Mining: 144-152. Geman S.; Bienenstock E.; and Doursat R. 1992. Neural Net-works and the Bias/Vaiance Dilemma. Neural Computation 4(1): 1-58. Goodfellow I.; Pouget-Abadie J.; Mirza M.; Xu B.; Warde-Farley D.; Ozair S.; Courville A.; and Bengio Y. 2014. Generative Ad-versarial Nets. In Advances in Neural Information Processing Systems: 2672-2680. Grgic-Hlaca N.; Zafar B. M.; Gummadi P. K.; and Weller A. 2018. Beyond Distributive Fairness in Algorithmic Decision Making: Feature Selection for Procedurally Fair Learning. In AAAI Conf. on Artificial Intelligence: 51-60. Powered by TCPDF (www.tcpdf.org)0作为图像和文本。0致谢0本工作得到韩国信息通信技术规划与评估研究院（IITP）资助，该资助由韩国政府（MSIT）资助[2016-0-00562(R0124-16-0002)，情感智能技术以推断人类情感并相应地进行对话]。J. Y.Kim得到韩国国家研究基金会（NRF）资助，该基金会由韩国政府资助（NRF-2019-未来基础科学核心领导者培养计划/全球博士后奖学金计划）。0参考文献0Hajian S. 2013.数据发布和挖掘中的同时歧视预防和隐私保护。arXiv预印本arXiv:1306.6805。Hardt M.; Price E.; 和Srebro N. 2016.监督学习中的机会平等。在神经信息系统进展中:3315-3323。HelmT. 2016.大卫∙卡梅伦呼吁大卫∙兰米调查英国法院的种族偏见。卫报。检索日期：2019年8月23日。Kamiran F.，和Calders T. 2010.无偏见分类的优先采样。在比利时和荷兰第19届机器学习大会上:1-6。Kamishima T.; Akaho S.; 和Sakuma J. 2011.通过正规化方法进行公平感知学习。IEEE第11届国际数据挖掘研讨会:643-650。Koene A. 2017.算法偏见：解决不断增长的担忧。IEEE技术与社会杂志26(2):31-32。Louizos C.; Swersky K.; Li Y.; Welling M.; 和Zemel R. 2017.变分公平自动编码器。学习表征国际会议:1-11。Luong T. B.;Ruggieri S.; 和Turini F. 2011.k-NN作为歧视发现和预防的情境测试的实现。在第17届ACMSIGKDD国际知识发现和数据挖掘会议上:502-510。MaatenL.，和Hinton G. 2011.使用t-SNE可视化数据。机器学习研究杂志9(11):2579-2605。Madras D.; Creager E.; Pitassi T.; 和Zemel R. 2018.学习对抗公平和可转移表示。arXiv预印本arXiv:1802.06309。Makhzani A.; Shlens J.; Jaitly N.; 和Goodfellow I. 2015.对抗自动编码器。学习表征国际会议:1-16。Nair V.，和Hinton G.2010.改进受限玻尔兹曼机的修正线性单元。机器学习第27届国际会议论文集:807-814。Shipman T.，和Griffiths S. 2016.一个年轻的黑人更有可能在监狱里而不是在一所顶尖大学里。泰晤士报。检索日期：2019年8月21日。Tishby N.; Pereira, C. F.; 和BialekW. 2000. 信息瓶颈方法。arXiv预印本arXiv:0004057。TishbyN.，和Zaslavsky, N. 2015.深度学习和信息瓶颈原理。IEEE信息理论研讨会:1-5。VijayakumarS. 2007. 偏差-方差权衡。爱丁堡大学讲义:1-2。Wadsworth C.;Vera F.; 和Piech C. 2018.通过对抗学习实现公平性：再犯预测的应用。arXiv预印本arXiv:1807.00199。Zafar B. M.; Valera I.; Rodriguez G. M.; 和Gummadi P.K. 2017.超越不公平对待和不公平影响的公平性：学习无不公平对待的分类。在第26届万维网会议论文集上:pp.1171-1180。Zemel R.; Wu Y.;Swersky K.; Piitassi T.; 和Dwork D. 2013.学习公平表示。机器学习国际会议:325-333。Zhang H. B.; LemoineB.; 和Mitchell M. 2018.通过对抗学习减轻不必要的偏见。在AAAI人工智能会议上:335-340。