深度神经网络的偏差问题及解决方法

9012学会不学习：用有偏数据训练深度神经网络金秉柱1金贤宇2金京洙3金成进3金俊模1韩国KAIST电气工程学院1北京理工大学2三星研究所3{byungju.kim，junmo.kim}@ kaist.ac.kr@bit.edu.cn{ks0326.kim，sj9373.kim}@ samsung.com摘要我们提出了一种新的正则化算法来训练深度神经网络，其中训练时的数据存在严重偏差。由于神经网络有效地学习数据分布，因此网络可能学习偏差信息以分类输入数据。如果偏差实际上与分类无关，则会导致测试时的不良性能。在本文中，我们制定了一个正则化损失的基础上互信息的特征嵌入和偏见。基于最小化互信息的思想，我们提出了一种迭代算法来消除偏差信息。我们采用了一个额外的网络来预测偏差分布，并与特征嵌入网络对抗地训练网络在学习结束时，偏差预测网络无法预测偏差，不是因为它训练得不好，而是因为特征嵌入网络成功地学习了偏差信息。定量和定性的实验结果表明，该算法有效地去除了特征嵌入中的偏差信息。1. 介绍机器学习算法和人工智能已经在广泛的领域中得到应用。日益增长的应用程序的多样性导致了对鲁棒算法的巨大需求。 鲁棒训练神经网络的最理想方法是使用合适的无偏数据。然而，收集分布良好的数据往往需要付出很大的努力此外，对于什么是分布良好的数据也缺乏共识除了哲学问题之外，数据分布还显著影响网络的特性，因为当前基于深度学习的算法直接从输入数据中学习。如果在训练期间提供有偏数据图1.有偏数据的有害影响。饱和度高的点表示在训练期间提供的样本，而饱和度低的点将出现在测试场景中。虽然分类器经过良好的训练可以对训练数据进行分类，但它对测试样本的表现很差，因为分类器学习了训练样本中的潜在偏差。机器将有偏分布感知为有意义的信息。这种看法是至关重要的，因为它削弱了算法的鲁棒性，并可能引入不公正的歧视。类似的概念已经在文献中进行了探索，并被称为未知数[3]。作者将未知数分类如下：已知的未知和未知的未知。区分这些类别的关键标准是训练模型所做预测的置信度。未知的未知数对应于模型的预测以高置信度错误的数据点，例如。softmax得分较高，而已知未知数表示置信度较低的错误预测数据点。当分类器的置信度低时，已知的未知数有更好的机会被检测到在本研究中，我们考虑的数据偏倚与[3]中的未知数具有相似的闪光点。然而，与[3]中的未知数不同，偏倚并不代表数据点本身。相反，偏见代表了一些属性9013数据点，如颜色，种族或性别。图1从概念上展示了有偏差的数据如何影响算法。横轴表示数字的形状空间，而纵轴表示颜色空间，这是数字分类的偏置信息。实际上，形状和颜色是独立的特征，因此数据点可以出现在图1中的任何位置。然而，让我们假设在训练期间仅提供具有高饱和度的数据点，但是具有低饱和度的点存在于测试场景中（但在训练期间不可访问）。如果一台机器学会了对数字进行分类，那么每一条实线都是决策边界的适当选择。每个决策边界都能很好地对训练数据进行分类，但在低饱和度的点上表现不佳在没有额外信息的情况下，决策边界的学习是一个不适定问题，可以确定多个决策边界，完美地分类训练数据。此外，机器可能会利用颜色特征，因为它是提取的简单特征。为了使决策边界适合图1中的最佳分类器，我们需要简单的先验信息：不要从颜色分布中学习。为此，我们提出了一种基于互信息的新型正则化损失来训练深度神经网络，它可以防止学习给定的偏差。换句话说，我们调节网络，以最小化提取的特征和我们想要消除的偏见之间共享的互信息。在下文中，我们打算忘却的偏见被称为目标偏见。例如，目标偏差是图1中的颜色。在目标偏差的学习之前，我们假设数据偏差的存在是已知的，并且相关的元数据，例如统计数据或与偏差的语义相对应的附加标签然后，问题可以用对抗问题来表示。在这种情况下，一个网络已经被训练来预测目标偏差。另一个网络已经被训练来预测标签，这是网络的主要目标，同时最小化嵌入特征和目标偏差之间的互信息。通过这种对抗性训练过程，网络可以学习如何独立于目标偏差来预测标签。我们的主要贡献可概括如下：首先，我们提出了一种新的正则化项，基于互信息，从给定的数据中忘却目标偏差。其次，我们的实验表明，建议的正则化项最大限度地减少了数据中的偏见的不利影响。通过从特征嵌入中删除与目标偏差相关的信息，网络能够学习更多信息特征进行分类。 在所有的实验中，用提出的正则化损失训练的网络表现出性能的提高。而且，他们在最多的实验中取得了最好的成绩条款。最后，我们提出了公共数据集的偏差种植协议为了评估偏差去除问题，我们有意地将偏差植入训练集，同时保持测试集无偏。2. 相关作品Attenberg等人通过实验证明了未知未知的存在。在[3]中。作者将预测模型的决策分为四个概念类别：已知的已知、已知的未知、未知的已知和未知的未知。随后，作者开发并参与了一项还提出了几种识别未知未知数的方法[13，4]。Lakkaraju等人[13]提出了一种使用探索-利用策略的自动算法。Bansal和Weld提出了一种基于覆盖率的实用模型，该模型评估了已发现的未知未知数的覆盖率[4]。这些方法依赖于用于测试查询子集的oracle而不是依赖于一个甲骨文，阿尔维等人。[1]提出了联合学习和去学习的方法来消除神经网络嵌入中的偏差。为了消除偏差，作者应用了混淆损失，这是通过计算分类器输出和均匀分布之间的交叉熵来计算的。类似的方法，使网络被混淆，已应用于各种应用[8，2，6]。正 如 Alviet al. 在 文 献 [1] 中 ， 非 监 督 域 自 适 应（UDA）问题与有偏数据问题密切相关。UDA问题涉及在不同域上推广网络嵌入[8，23，21]。我们的问题和UDA问题之间的主要区别在于，我们的问题不像对目标图像的访问那样复杂，相反，我们知道目标偏差的描述。拥抱UDA问题，解开特征表示已在文献中得到广泛研究已详细探索了解纠缠特征的应用[24，17]。使用生成对抗网络[9]，已经提出了更多学习解纠缠表示的方法[5，16，22]。具体地，Chenet al. 提出了InfoGAN[5]方法，该方法在没有监督的情况下学习和保存语义上下文。这些研究强调了特征解纠缠的重要性，这是理解特征中包含的信息的第一步。受各种应用的启发，我们尝试从该功能中删除某些信息。与InfoGan [5]相反，我们最小化互信息以避免学习。然而，信息的去除是学习的对立概念，也被称为遗忘。虽然9014图2.深度神经网络的整体架构。网络g f是用ResNet-18 [10]实现的，用于真实图像，用四个卷积层的普通网络实现MNIST图像。这个概念本身是学习的完全对立面，它可以帮助学习算法。在这里，我们描述了一种算法，用于删除目标信息，并提出了实验结果和分析，以支持所提出的算法。3. 问题陈述在本节中，我们将制定一种新的正则化损失，它最大限度地减少了有偏数据的不良影响，并描述了训练过程。应在采用该制剂之前确定符号。除非特别提及，否则所有符号均指以下符号：此后，假设我们有一个图像x∈ X和相应的标签yx∈Y。我们定义了一组偏差B，它包含了X可能拥有的所有可能的目标偏差。在图1中，B是一组可能的颜色，而Y代表一组数字类。我们还定义了一个潜在函数b：X → B，其中b（x）表示x的目标偏差。我们定义随机变量X和Y，它们的值为x，x分别。输入图像x被馈送到特征提取网络中，功f：X →RK，其中K是偏倚具有以下特征：I（b（Xtrain）;Y）I（b（Xtest）;Y）0，（1）其中，X train和X test分别表示在训练和测试过程中采样的随机变量，I（·;·）表示互信息。有偏的训练数据导致有偏的网络，因此网络严重依赖于数据的偏差：I（b（X）;g（f（X）））<$0.（二）为此，我们将互信息添加到训练网络的目标函数中。我们最小化f（X）上的互信息，而不是g（f（X））。这是足够的，因为标签预测网络g将f（X）作为其输入。从g的观点来看，如果网络f没有提取目标偏差的信息，则训练数据没有换句话说，提取的特征f（x）不应包含目标偏差b（x）的信息。因此，训练过程是优化以下问题：minExP（·）[Lc（yx，g（f（x）]+λI（b（X）;f（X）），（3）θf，θgX其中Lc（·，·）表示交叉中心损失，并且λ是用于平衡各项的Eq.中的互信息（3）可以等价地表示为：I（b（X）;f（X））=H（b（X））−H（b（X））|f（X）），（4）其中H（·）和H（·|·）分别表示最大熵和条件熵。由于偏置的边际熵是不依赖于θf和θg 的 常 数，因此可以从优化问题中省略H（b（X）），并且我们尝试最小化iveentro py处的n eg，−H（b（X））|f（X））。 当量 （4）由于它需要后验分布P（b（X）），所以很难直接最小化|f（X））。由于它在实践中是不容易处理的，最小化Eq.（4）使用辅助词重新表述分布，Q，具有额外的等式约束：最小E[E特征嵌入f.随后，提取的fea-XXXX（·）Fb|f（x））[logQ（b|f（x））]]（五）通过标签预测网络g：RK→ Y和偏差预测网络h：RK→ B两者前馈真实f（x）。每个网络的参数定义为θf、θg和θh，下标表示它们的spe。cific网络图2描述了神经网络的整体架构。然而，我们没有明确地设计一个详细的架构，因为我们的正则化损失适用于任意的网络架构。3.1. 制剂我们工作的目标是训练一个网络，在测试期间，即使网络是用有偏数据训练的，也能数据S. t. Q（b（X）|f（X））=P（b（X）|f（X））。使用分布Q的好处是我们可以直接计算目标函数。因此，我们可以在等式约束下训练特征提取网络f。3.2. 训练过程作为等式中的等式约束。（5）很难满足（特别是在训练过程的开始），我们将等式约束修改为最小化P和Q之间的KL偏差，使得Q随着学习的进行而更接近P放松EQ。（5）、使辅助XGFH已知偏压分类标签反相梯度θ9015X分布Q可以用来近似后验分布。松弛的正则化损失LMI如下：训练以使用所述偏置信息对所述标签进行然后h学习预测偏差，f开始学习如何提取与偏差无关的特征嵌入。年底LMI =ExPX（·） [EbQ（·|f（x）） [logQ（b）|f（x））]]（六）在训练中，h回归到性能差的网络，这不是因为偏差预测网络h发散，而是因为+µDKL（P（b（X）|f（X））||Q（b（X）|f（X），其中DKL表示KL-散度，μ是平衡两项的超参数。类似于Chen等人提出的方法。[5]中，我们将辅助分布Q参数化为偏差预测网络h。请注意，我们将训练网络h，因此KL散度被最小化。 假设网络h实现的分布Q满足P（b（X））|f（X）），我们只需要训练网络f，使得方程中的第一项（6）最小化。虽然后分布P（b（X））|f（X））是不容易处理的，期望训练偏差预测网络h以随机地近似P（b（X））|f（X）），如果我们用b（X）作为SGD优化器的标签来训练网络。因此，我们放松了方程的KL-发散。（6）在期望b（X）和h（f（X））之间的交叉熵损失的情况下，我们训练网络h，使得偏差预测损耗LB被最小化。因为f不学习偏差，所以特征嵌入f（X），没有足够的信息来预测目标偏差。4. 数据集大多数现有的基准测试都是为了评估特定的问题而设计的收集器通常将数据集精细地划分为训练集/测试集。然而，他们努力保持训练/测试分离以获得相同的分布，使我们的实验变得模糊。因此，我们故意将偏见植入到平衡良好的公共基准中，以确定我们的算法是否可以消除偏见。4.1. 有色MNIST我们在MNIST数据集中植入了颜色偏差[14]。为了合成颜色偏差，我们选择了十种不同的颜色，并将它们分配给每个数字类别作为其平均颜色。然后，对于每个训练图像，我们随机采样LB（θf，θh）=EXXXX（·）[Lc（b（x∈），h（f（x∈）].（七）一个颜色从相应的正态分布平均颜色和提供的方差，并着色的数字。虽然单独训练网络h以最小化Eq.（7）足以使Q更接近P，训练f以最大化等式（7）将是额外有益的。（7）以对抗的方式，即让网络f和h进行极大极小博弈。直觉是，网络f提取的特征使得偏差预测变得困难。当f被训练以最小化等式中的第一项时（6），我们可以重新公式化方程。（6）使用LB代替KL-发散如下：由于正态分布的方差是可以控制的参数，因此可以调整数据中的颜色偏差的量。对于每个测试图像，我们从十种预定义的颜色中随机选择一种平均颜色，并遵循与训练图像相同的着色协议。每个子数据集表示如下：• Train-σ2：训练使用σ2• Test-σ2：使用σ2min maxθfθhExPX（·）[EbQ（·|f（x））[logQ（b）|f（x））]]（八）由于测试集中的数字是用随机均值颜色着色的，因此Test-σ2集是无偏的。我们改变σ2-µLB（θf，θh）我们训练h从其特征嵌入f（X）中正确预测偏差b（X）。我们训练f以最小化负条件熵。当最小化负条件熵时，网络h是固定的网络f也被训练为最大化交叉熵，以限制h预测b（X）。与原始分类问题一起，极大极小博弈公式如下：minmaxExP（·）[Lc（yx，g（f（x）从0.02到0.05，间隔为0.005。σ2的值越小，表明集合中的偏差越大。因此，Train-0.02是偏差最大的集合，而Train-0.05是偏差最小的集合。图3（a）显示了来自有色MNIST的样本，其中训练集中的图像显示颜色和数字类高度相关。数字的颜色包含足够的信息来分类训练集中的数字，但它是不够的，在测试集中的图像。识别颜色会破坏数字分类。因此，颜色信息必须θf，θgθh+λE<$b<$Q（·|f（x））[logQ（xb|f（x））]]-µLB（x，θf，θh）9016（九）从特征嵌入中移除。4.2. 狗和猫我们用狗和猫来在实践中，深度神经网络f，g和h使用对抗策略[9，5]和梯度恢复技术[8]进行训练在学习的早期，数据库，由Kaggle开发[12]。原始数据库是一组用于训练的25K狗和猫的图像，以及用于测试的12，500张图像与[13]类似，我们手动9017火车测试TB1 TB2 EB1 EB2(a) 彩色MNIST（b）狗和猫（c）IMDB脸图3.故意植入偏差的数据集示例（a）我们修改了MNIST数据[14]，以将颜色偏差植入训练图像。为每个类指定了一个平均颜色，因此分类器可以很容易地预测带有颜色的数字。(b)TB1是一组明亮的狗和黑暗的猫，而TB2包含黑暗的狗和明亮的猫。与彩色MNIST类似，分类器可以根据图像的颜色预测图像是狗还是猫（c）IMDB人脸数据集包含年龄和性别标签。EB1和EB2在年龄和性别之间的相关性上存在差异预测年龄使算法能够预测性别。根据动物的颜色对数据进行分类：明亮，黑暗，和其他。随后，我们将图像分成三个子集。• 列车偏倚1（TB1）：亮狗和暗猫。• 列车偏倚2（TB2）：黑狗和亮猫• 测试集：来自原始测试集的所有12，500张图像。分类为其他的图像是具有深棕色条纹的白色猫或斑点狗的图像由于它们的模糊性，我们没有在训练集中TB1和TB2分别包含10，047和6，738张图像的10.90.80.70.60.50.40.30.02 0.025 0.03 0.0350.042构建的狗和猫数据集如图3（b）所示，每个集合包含颜色偏置。对于该数据集，偏置集B={暗，亮}。与TB1和TB2不同，测试集不包含颜色偏差。另一方面，测试图像的真实标签不可访问，因为数据最初是用于竞争的[12]。因此，我们用所有25 K训练图像训练了一个oracle网络（ResNet- 18 [10对于测试集，我们根据测试结果对测试集的性能进行了测试。我们假设oracle网络可以准确地预测标签。4.3. IMDB FaceIMDB人脸数据集[19]是一个公开可用的人脸图像数据集。它包含来自20，284位名人的460，723张人脸图像IMDB人脸数据集中的每个图像都是裁剪的面部图像。如[19，1]中所述，所提供的标签包含显著噪声。为了过滤出错误注释的图像，我们使用了AdienceBenchmark [7]上的预训练网络[15]，该网络是为年龄和性别分类而设计的。使用预先训练的网络，我们估计了IMDB中图像中所有个体图4.彩色MNIST数据集的评价结果。注意，它是用灰度转换后的图像进行评估的。表示为Gray的模型是用转换为灰度的图像训练的;它是用显著减轻的偏差训练的与基线和BlindEye算法[1]相比，我们的模型显示出出色的结果。请注意，我们的结果显示与灰度模型相当的性能。这意味着网络被成功地训练成提取特征嵌入，而与偏差无关。Face数据集然后，我们收集了年龄和性别标签都与估计相匹配的图像。由此，我们获得了具有112，340张面部图像的清洁数据集，并且在柔软的材料中描述了详细的清洁过程。与[1]中的协议类似，我们将清理后的IMDB图像分为三个有偏见的子集。我们首先保留20%的清理过的IMDB图像作为测试集，然后将其余的图像拆分如下：• 极端偏倚1（EB 1）：0-29岁女性，40岁以上男性• 极端偏倚2（EB 2）：40岁以上女性，0-29岁男性• 测试集：20%的0-29岁或40岁以上的精度9018平均颜色基线我们图5.用单一平均颜色着色的测试图像的混淆矩阵顶行表示训练数据中的平均颜色及其对应的基线模型的混淆矩阵表明，由于有偏数据，网络是有偏的。相反，我们的算法训练的网络不会偏向颜色，尽管它们是用与基线相同的训练数据训练的结果，EB1和EB2分别包含36，004和16，800个面部图像，并且测试集包含13129个图像。图3（c）显示EB1和EB2都在年龄方面存在偏倚。虽然它不像图3（a）和（b）中的颜色偏见那么明显，但EB1由年轻女性和老年男性名人组成，而EB2由年轻男性和老年女性名人组成当性别成为目标时偏置，B={男性，女性}，当年龄是目标偏置时，B是他们的年龄。5. 实验5.1. 执行在下面的实验中，我们去除了三种类型的目标偏差：肤色年龄性别在IMDB人脸数据集中提供了年龄和性别标签，因此LB （θf，θh）是有监督优化的。 另一方面，通过自我监督消除了颜色偏见。到构建颜色标签时，我们首先对图像进行子采样，因子为4。此外，颜色的动态范围0-255被量化为八个偶数级。对于网络架构，我们使用ResNet-18 [10]用于真实图像，并使用具有四个卷积层的普通网络进行彩色MNIST实验。网络结构对应于gf的参数化。在我们使用ResNet-18的情况下，g被实现为两个残差-在顶部的两个块，而f代表其余的。对于着色MNIST的普通网络，g和f都由两个卷积层组成。ResNet-18使用Imagenet数据进行预训练[20]，除了最后一个完全连接的层。我们用两个卷积层来实现h，用于颜色偏差，用一个全连接层来实现性别和年龄偏差。每个卷积层后面都是批量归一化[11]和ReLU激活层。所有的评价结果进行了平均，在本文中提出。5.2. 结果我们将我们的训练算法与可用于此任务的其他方法进行比较。的性能-本节中提到的租赁是根据文献重新实施的。有色人种。通过调整σ2值控制数据偏倚量。针对0.02至0.05的每个σ2值训练网络，并使用具有相同σ2的相应测试集进行评估。由于每个图像的颜色是用给定的σ2采样的，所以较小的σ2意味着更小的颜色偏差。图4显示了有色MNIST的评价基线模型表示在没有额外正则化的情况下训练的网络，并且基线性能可以粗略地用作训练数据偏差的指示。表示为“Blind-Eye”的算法另一种算法表示为“Gray”，表示用灰度图像训练的网络，并且还用灰度图像进行了测试。对于给定的颜色偏置数据，我们将颜色数字转换为灰度。转换为灰度是一种可用于减轻颜色偏差的简单方法。我们假设转换为灰度不会显著减少信息，因为MNIST数据集最初是以灰度提供的。我们提出的算法的结果优于BlindEye [1]和基线模型的所有σ2值。值得注意的是，我们实现了与使用灰度图像训练和测试的模型相似的性能由于我们在训练和测试时都转换了图像，因此网络的偏差要小得多在大多数实验中，我们的模型表现略好于灰色算法，这表明我们的调节算法可以有效地消除目标偏差，并鼓励网络提取更多的信息特征。为了分析偏差和算法的影响，我们对测试图像进行了我们使用相同的协议进行采样，但使用固定的平均颜色，将其分配给有偏训练数据的十位数类别之一。图5显示了由基线和我们的模型绘制的混淆矩阵以及重新着色的测试图像。顶行中示出的数字表示训练集中的平均颜色及其对应的数字类。比如说9019数字的颜色。如从图中所观察到的，由我们的算法绘制的混淆矩阵（底行）示出颜色偏差被去除。狗和猫表1列出了评估结果，其中基线网络表现出色，考虑到预训练参数导致的任务复杂性。如[18]所述，神经网络更喜欢猫-表1.狗和猫数据集的评价结果。所有网络都用测试集进行了评估此外，用TB1训练的网络还用TB2进行了评估，反之亦然。†表示使用转换为灰度的图像对网络进行测试。Ours-adv表示使用Eq.（9）不使用梯度反转层。每列上的最佳执行结果用黑体表示，第二佳结果用下划线表示。根据形状而不是颜色来区分图像。 这个恩-鼓励基线网络学习形状，但表1中给出的评估结果意味着网络在没有正则化的情况下仍然存在偏差。与彩色MNIST的实验类似，减少颜色偏差的最简单方法是将图像转换为灰度。与MNIST数据集不同，转换将删除大量信息。尽管灰度图像的网络表现优于基线，但表1显示网络仍然偏向于颜色。这可能是因为用于植入颜色偏差的标准。由于原始数据集被分类为亮和暗，因此转换后的图像在亮度方面存在偏差。我们使用梯度反转层（GRL）[8]和对抗训练策略[5，9]作为优化过程的组成部分。为了分析每个组件的效果，我们从我们的算法中去除了GRL。我们还使用混淆损失[1]和GRL训练网络，因为它们可以相互结合使用。虽然GRL最初是为了解决无监督域自适应问题而提出的[8]，但表1表明它有利于消除偏差再加上混淆损失或我们的正则化，我们获得了性能的改善。此外，单独的GRL显着提高了性能，表明GRL本身能够消除偏差。图6显示了我们提出的正则化的定性效果如果颜色相似，无论查询图像是猫还是狗，基线网络的预测结果都不会显着变化如果使用TB1训练网络，则网络预测暗图像是猫，亮图像是狗。如果用TB2训练另一个网络，该网络预测明亮的图像是猫，而黑暗的图像是狗。这意味着基线网络偏向于颜色。另一方面，用我们提出的算法训练的网络成功地EB1培训EB2培训方法EB2测试EB1测试学习性别，忘却年龄基线.5986.8442.5784.6975BlindEye [1].6374.8556.5733.6990我们.6800.8666.6418.7450了解年龄，忘记性别基线.5430.7717.4891.6197BlindEye [1].6680.7513.6416.6240我们.6527.7743.6218.6304表2.在IMDB人脸数据集上的评估结果。所有网络都用测试集和另一个训练集进行评估。每列上的最佳性能结果用黑体表示。分类查询图像独立于它们的颜色。特别是，图6（c）和（f）是由基线网络根据其颜色进行相同预测的从特征嵌入中去除颜色信息后，图像根据其外观被正确分类IMDB脸。对于IMDB人脸数据集，我们进行了两个实验;一个用于训练网络以独立于性别对年龄进行分类，一个用于训练网络以独立于年龄对性别进行分类。表2示出了两个实验的评价结果。这些网络是用EB1或EB2训练的，由于它们有很大的偏差，基线网络也有偏差。通过去除特征嵌入中的目标偏差信息，提高了算法的另一方面，考虑到性别分类是一个两类问题，其中随机猜测达到50%的准确率，网络在性别分类上表现不佳。尽管表2显示，在从特征嵌入中去除目标偏差后，性能有所提高，但使用我们的算法实现的性能提高与第一个数字，红色零，表示下面训练在TB1训练关于TB2由红色的测试图像绘制，而不管它们的方法TB2测试TB1测试真实标签它也代表了一个事实，每一个数字的美食-基线.7498.9254.6645.8524训练数据中的血淋淋的零是红色的。灰色†.8366.9483.7192.8687在图5中，基线的矩阵显示垂直BlindEye [1].8525.9517.7812.9038模式，其中一些是共享的，例如数字1和3。GRL [8].8356.9462.7813.9012类别1的平均颜色是青色;在RGB空间中，它是（0，BlindEye+GRL.8937.9582.8610.9291128，128）。类别3的平均颜色与Ours-adv.8853.9594.8630.9298第一类。在RGB空间中，它是（0，149，182），称为bondi 我们.9029.9638.8726.9376蓝色的. 这表明基线网络偏向于90200.510.910.99Oracle的培训0.280.720.990.99基线TB1我们的TB1基线TB2我们的TB20.98（一）0.960.99（b）第（1）款（c）第（1）款（d）其他事项0.69（e）0.310.61（f）第（1）款0.39图6.狗和猫数据集的定性结果Oracle模型不仅使用TB1和TB2进行训练，还使用我们分类为其他颜色的图像进行训练。对于测试图像，预言机模型的预测结果被认为是它们的真实标签。图下方的堆叠条形图显示了每个模型的预测结果。基线模型倾向于根据颜色进行预测，而我们的模型忽略了颜色信息。的培训真实标签基线EB1我们的EB1基线EB2我们的EB21.000.670.330.49（a）（b）（c）（d）（e）（f）0.99图7. IMDB人脸数据集性别分类的定性结果。如图6所示，堆叠条形图表示预测结果。他们表明，基线模型对年龄有偏见。另一方面，用该算法训练的网络预测性别与年龄无关。其他数据集的实验。我们认为这是因为年龄和性别之间的相关性在颜色偏见的情况下，偏见本身是完全独立的类别。换句话说，努力忘掉偏见对数字分类是完全有益的。因此，从特征嵌入中去除颜色偏差显著提高了性能，因为网络能够专注于学习形状特征。与肤色偏见不同，年龄和性别不是完全独立的特征。因此，从特征嵌入中去除偏见信息并不是完全有益的。这表明，在消除偏见之前，必须深入了解具体的数据偏见。图7显示正规化对性别分类任务的质量影响青年、中年和老年人都有男性和女性。与图6类似，这意味着基线网络偏向于年龄。用EB1训练的基线网络预测了年轻男性和年轻女性的图像（图7(a)（d）作为一个自信心很强的女性与此同时，用EB2训练的网络以高置信度预测了与完全相反的性别相同的图像在消除年龄偏见后，网络经过训练可以正确预测性别。6. 结论在本文中，我们提出了一种新的正则化项，用于在使用有偏数据时训练深度神经网络。利用互信息的核心思想是受到Info- Gan [5]的启发。为了避免这种启发性的方法，我们宁愿最小化互信息，以免学习。通过让网络进行极大极小博弈，网络学会了猫式推理，同时消除了偏见.实验结果表明，用该正则化方法训练的网络能够提取与偏差无关的特征嵌入，在大多数实验中取得了最好的性能.此外，我们的模型表现得比总之，我们在本文中证明了所提出的正则化提高了用有偏数据训练的神经网络的性能。我们希望这项研究能够扩大各种数据的使用范围，并为特征解纠缠领域做出贡献。确认这项研究得到了Samsung Research的支持。0.990.990.380.370.620.990.620.960.530.990.600.990.470.401.000.960.960.980.941.000.990.960.610.990.391.000.990.990.910.970.981.001.000.470.920.990.950.53猫女性猫女性猫女性猫女性猫女性猫女性狗男性狗男性狗男性狗男性狗男性狗男性0.270.730.220.780.990.990.250.750.240.760.990.620.380.990.990.610.390.150.850.970.999021引用[1] Mohsan Alvi ， Andrew Zisserman ， and ChristofferNellaker.视而不见：显式去除深度神经网络嵌入的偏差和变化。arXiv预印本arXiv：1809.02169，2018。二五六七[2] Lisa Anne Hendricks ， Kaylee Burns ， Kate Saenko ，Trevor Darrell和Anna Rohrbach。妇女也滑雪：克服偏见的字幕模式.在欧洲计算机视觉会议（ECCV）上，2018年9月。2[3] 乔舒亚·阿滕伯格帕诺斯·伊佩洛提斯和福斯特·普罗沃斯特打败机器：让人类找到预测模型的未知未知数。Journal of Data and Information Quality （ JDIQ ） ， 6（1）：1，2015. 一、二[4] Gagan Bansal和Daniel S Weld。一种用于识别未知未知数的基于覆盖率的实用模型。 在proc 2018年AAAI的数据。2[5] Xi Chen，Yan Duan，Rein Houthooft，John Schulman，Ilya Sutskever，and Pieter Abbeel. Infogan：通过信息最大化生成对抗网络进行可解释的表示学习。CoRR，abs/1606.03657，2016。二、四、七、八[6] Abhimanyu Dubey 、 Otkrist Gupta 、 Pei Guo 、 RameshRaskar、Ryan Farrell和Nikhil Naik。细粒度视觉分类的成对混淆。在欧洲计算机视觉会议（ECCV），2018年9月。2[7] E.艾丁格河Enbar和T.哈斯纳未过滤面孔的年龄和性别估 计 。 IEEE Transactions on InformationForensics andSecurity，9（12）：2170-2179，2014年12月。5[8] Yaroslav Ganin 、 Evgeniya Ustinova 、 Hana Ajakan 、PascalGermain、HugoLarochelle、FrancçoisLa violette、Mario Marchand和Victor Lempitsky。神经网络的领域对抗机器学习研究杂志，17（1）：2096-2030，2016。二四七[9] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。 在神经信息处理系统的进展，第2672二四七[10] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun. 用 于 图 像 识 别 的 深 度 残 差 学 习 。 CoRR ，abs/1512.03385，2015。三五六[11] Sergey Ioffe和Christian Szegedy。批次标准化：通过减少内部协变量偏移来加速深度网络训练。CoRR，abs/1502.03167，2015。6[12] 卡格尔猫与狗2013 四、五[13] Himabindu Lakkaraju，Ece Kestival，Rich Caruana，andEric Horvitz.发现预测模型的盲点：指导勘探的代表和政策。CoRR，abs/1610.09064，2016。二、四[14] 扬·勒昆和科琳娜·科尔特斯MNIST手写数字数据库。2010. 四、五[15] G. Levi和T.哈森瑟使用卷积神经网络进行年龄和性别分类 。 在 2015 年 IEEE 计 算 机 视 觉 和 模 式 识 别 研 讨 会（CVPRW）上，第34-42页，2015年6月。5[16] Yang Liu，Zhaowen Wang，Hailin Jin，and Ian Was-sell.解纠缠特征9022学习在IEEE计算机视觉和模式识别会议（CVPR），2018年6月。2[17] Xi Peng ， Xiang Yu ， Kihyuk Sohn ， Dimitris N.Metaxas和Manmohan Chandraker姿态不变人脸识别中的特征去纠缠重构。CoRR，abs/1702.03041，2017。2[18] Samuel Ritter，David GT Barrett，Adam Santoro和MattM Botvinick。深度神经网络的认知心理学：形状偏差案例研究。arXiv预印本arXiv：1706.08606，2017。7[19] Rasmus Rothe，Radu Timofte，and Luc Van Gool.德克斯：从一张照片中对明显年龄的深层预期在IEEE国际计算机视觉研讨会（IC-CVW），2015年12月。5[20] Olga Russakovsky ， Jia Deng ， Hao Su ， JonathanKrause ， San- jeev Satheesh ， Sean Ma ， ZhihengHuang ， Andrej Karpathy ， Aditya Khosla ， MichaelBernstein，Alexander C.伯格和李飞飞。ImageNet大规模视觉识别挑战。国际计算机视觉杂志（IJCV），115（3）：211-252，2015年。6[21] Ozan Sener、Hyun Oh Song、Ashutosh Saxena和SilvioSavarese。学习非监督域适应的可转移表示。In D.D.李，M。杉山联合卢克斯堡岛Guyon和R. Garnett，editors，Advancesin Neural Information Processing Systems 29 ， pages2110- 2118. Curran Associates，Inc. 2016. 2[22] Luan Tran，Xi Yin，and Xiaoming Liu.姿态不变人脸识别的非纠缠表示学习算法在IEEE计算机视觉和模式识别的过程中，檀香山，HI，2017年7月。2[23] Eric Tzeng ， Judy Hoffman ， Trevor Darrell 和 KateSaenko 。 跨 域 和 任 务 的 同 步 深 度 传 输 CoRR ，abs/1510.02192，2015。2[24] Junho Yim、Heechul Jung、ByungIn Yoo、ChangkyuChoi、Dusik Park和Junmo Kim。使用多任务深度神经网络旋转你的脸在2015年IEEE计算机视觉和模式识别会议，第676- 684页2