1通过解纠缠表示的Sven Gowal介绍DeepMind崇礼秦观chongliqin@google.com黄博森posenhuang@google.com泰兰·切姆吉尔taylancemgil@google.comsgowal@google.comKrishnamurthy（Dj）Dvijothamdvij@google.com蒂莫西·曼timothymann@google.com普什梅特·科利pushmeet@google.com摘要最近的研究令人惊讶地发现，最先进的深度学习模型有时无法对输入的微小变化进行泛化对抗训练已被证明是克服这一问题的有效方法然而，它的应用已被限制到强制- ING不变性解析定义的转换，如BFP-范数有界扰动。这样的扰动不一定覆盖保留输入的语义的合理的真实世界变化（诸如照明条件的改变在本文中，我们提出了一种新的方法来表达和形式化的鲁棒性，这些类型的现实世界的输入变换。我们的公式背后的两个关键思想是（1）利用输入的非纠缠表示来定义不同的变异因子，(2)通过反向组合不同图像的表示来生成新的输入图像我们使用一个StyleGAN模型来证明这个框架的有效性具体来说，我们利用StyleGAN模型计算的解纠缠潜在表示来生成与真实世界变化相似的图像扰动（例如添加化妆或改变人的肤色），并训练模型对这些扰动保持不变大量的实验表明，我们的方法提高了泛化能力，减少了虚假相关的影响（例如，将“微笑”检测器的错误率1. 介绍训练神经网络以最小化训练数据的平均误差的原则被称为经验风险最小化（ERM）[1]。在很大程度上，ERM在各种领域都取得了突破[2-然而，机构风险管理只能保证产生有意义的模型图1.相同面孔的变化。通过经典训练获得的模型将同一张脸分类为“微笑”和“不微笑”（取决于变化）。我们的模型在分类方面保持一致。请注意，这些人当训练和部署期间遇到的数据独立于同一分布时。当训练数据和测试数据不匹配时，模型可能会以灾难性的方式失败;不幸的是，这种情况司空见惯：训练数据通常通过突出混杂因素和虚假相关性的有偏过程来收集 [6 ， 7] ， 这 可 能 导 致 不 期 望 的 后 果 （ 例 如 ，http://gendershades.org）上提供。这种数据变化的影响在文献中有很大的详细说明。例 如 ， Recht et al. [8] Hendrycks et al.[9] 表 明 ，IMAGENET模型的准确性受到数据收集过程变化的严重影响。抵消这种影响的方法，主要包括数据增强技术，也很难。针对损坏数据的训练只会强制记忆这种损坏，因此，这些模型无法推广到新的损坏[10，11]。像mixup[12]或AutoAugment[13]这样的作品为进一步的改进铺平了道路，12111212但仍需要复杂的微调以在实践中取得成功另一个平行且重要的工作发现，在输入中添加小但精心选择的偏差，称为对抗性扰动，可能导致神经网络以高置信度做出不正确的预测[14构建对对抗性扰动示例具有鲁棒性的模型的技术，例如对抗性训练[19]，近年来受到了大量关注[16，20改变模型输出的不可察觉的扰动的存在当在训练和对抗（或以其他方式损坏）分布之间切换时发生性能下降，表明神经网络拾取的相关性不一定对小的输入扰动具有鲁棒性[23]。不可察觉的对抗性扰动的存在只是一种形式的虚假相关，它会在我们训练的网络中导致本文重点关注对保留语义内容的真实世界扰动（如图1所示）具有鲁棒性的训练模型。我们超越了传统的数据增强和对抗训练的lp范数有界扰动，利用高质量的生成模型，可以描述这种扰动。我们特别要解决的问题是：“给定一个具有足够好的解纠缠表示的生成模型，它与感兴趣的扰动很好地吻合，我们能否训练出能够抵抗训练数据中存在的偏差和虚假相关的神经网络？”更具体地说，我们认为StyleGAN[24]是我们的底层生成模型。我们的贡献如下：1. 我 们 开 发 了 一 个 名 为 Adversarial Mixing withDisentangled Representations（AdvMix）的框架，该框架利用生成模型的解纠缠潜在性来训练对现实世界变化具有鲁棒性的网络2. 我们演示了如何利用StyleGAN这使我们能够以纯粹的数据驱动方式定义语义扰动，而不是需要在不同条件下收集数据的方法[25]。3. 我们在一个受控的Color-MNIST数据集上进行了大量的实验，将对抗混合与解纠缠表示与随机数据增强进行了比较，并演示了在何种条件下AdvMix实现了更高的准确性。4. 最后，我们在CELEB A上经验性地证明了，一旦我们考虑了除了有界范数变化之外的语义变化，准确性就不一定与鲁棒性不一致[26图2.不同数据扩充技术的比较。这些转换往往会破坏图像的语义。2. 相关工作鲁棒性的dipp-范数扰动。生成像素级对抗性扰动已经并且仍然被广泛研究[16，18大多数研究集中于分类器在有界扰动下的鲁棒性.特别地，期望鲁棒的分类器对于像素空间中的小扰动是不变的（如由NXP范数定义的）。 Goodfellow等人[16] Madry et al.[19]制定了训练鲁棒网络的基本原则，最近的工作[29，30]继续寻找新的方法来增强鲁棒性。虽然现有的工作能够训练对不可感知的像素级变化具有鲁棒性的模型，但对语义上有意义的扰动的鲁棒性的研究在很大程度上还未得到充分探索。对抗鲁棒性超越了BFP-范数。Engstrom等人[31]和Kanbak et al.[32]第32话神秘人例如图像的旋转和平移早期作品（例如，Baluja和Fischer [33]）还证明，通过使用生成模型来创建扰动，可以超越分析定义的变化。Song等人[34] Xiao et al.[35]使用预先训练的AC-GAN [36]生成扰动;并且他们证明了对于诸如M NIST、S VHN和CELEBA的任务生成语义相关的扰动是可能的。最后，Qiu et al.[37]已经尝试通过由生成模型定义的属性空间除了[38]之外，作者通过保持扰动图像接近其原始对应物来强烈限制语义变化，几乎没有工作证明对大的语义合理变化的鲁棒性。因此，对这种变化具有鲁棒性的训练模型的效果尚不清楚。据我们所知，本文是第一篇在语义有意义的变化空间中分析对抗性训练和数据增强之间的差异的数据增广可以减少泛化误差。对于图像分类任务，通常使用随机翻转，旋转和裁剪[39]。更复杂的技术，如Cutout[40]（产生随机遮挡），CutMix[41]（替换部分1213不ZZY不∈ T不D X × YX → Y一个图像与另一个图像）和mixup[12]（在两个图像之间线性插值）都展示了非常引人注目和令人惊讶的结果。事实上，虽然这些方法通常会导致图像明显损坏并且没有语义意义（即使对人眼来说），但结果模型通常在整个过程中达到最先进的精度。广泛的数据集。图2显示了这些不同技术的比较。其中一些数据增强技术已被应用于输入的潜在表示（而不是输入本身）[42]。然而，这些并不关注数据偏差的影响。使 用 额 外 数 据 进 行 因 果 推 理 。Heinze-Deml 和Meinshausen [43]使用分组观察（例如，在不同条件下的相同对象），以发现不应解释分类标签的变化 最近Arjovsky et al.[25]开发了一种名为不变风险最小化（Invariant Risk Minimization，简称RST）的方法，该方法试图在不同的环境（或数据点组）中找到一个不变的预测因子。这两种方法都能够构建对虚假相关性不太敏感的分类器然而，它们需要在不同环境条件下收集的明确注释的数据。3. 解纠缠表示的对抗混合本文考虑一个以θ为参数的模型fθ。我们希望我们的模型对一组变换是鲁棒的或不变形式上，我们的目标是找到使语义对抗风险最小化的模型参数θ给定x在某类输入变换下[44]。在我们的特定设置中，我们将假设特定于任务的解纠缠表示。形式上，我们假设我们有一个理想的生成器（或解码器），dec：Z → X，其中潜在空间Z是形式Z=Z ×Z。对于预测标签y的给定分类任务，只有对应于Z的坐标是相关的，而Z是不相关的。我们使用条件独立来形式化上述概念：给定一个例子x=dec（z<$，z<$），其中z<$∈ Z <$，z <$∈ Z <$和相应的标号y∈Y，我们有P（y|z，z）= P（y|z）。（二）因此，输出概率分布的理想不变分类器f*应该与不变性假设f（dec（z，z））=f（ dec（z，z））（3）对于所有z∈Z，并且应该输出正确的标签：argmaxf（dec（z，z））= y.（四）y′∈Y最后，返回参考等式（1），我们将引起语义上不相关的扰动的变换的集合定义为：T={t|t（x）=dec（z <$，z<$$>），其中z<$$>∈Z <$S.T. z（五）对抗训练。给定一个具有足够容量的模型fθ，最小化等式（1）中的语义对抗风险会得到参数θθΣΣEmaxL（f（t（x）），y）、（1）θ= argminEΣMaxΣL（fθ（dec（zθ，zθ）），y）（x，y）θt∈Tθ（x，y）θDx=dec（z，z）z∈Z其中是在成对的示例x和对应的标签y上的数据分布，并且L是合适的损失函数（例如分类任务中的0-1损失语义变换集合T包含形式为t：X → X的函数。每个元素t ∈ T都是不可约的，关键的是，对于最优分类器fθ：，我们希望fθ（t（x））=fθ（x）对于所有的t。 例如，MNIST分类器不应受手指颜色变化的影响。在下文中，我们通过解码器定义一组变换，该解码器利用解纠缠的潜在表示，并解释如何评估等式（1）中的所得风险。不变的潜在因素。解纠缠被认为是表征的一个理想属性。通常，人们希望获得观测数据x∈ X的表示，1214⊥−∈T∈ Z（六）满足等式（3）和（4）。换句话说，不存在当应用于x时会导致最佳分类器f θ= fθθ的错误分类的变换t。求解方程（6）中的鞍点问题需要求解相应的内部最大化问题z=argmaxL（fθ（dec（z，z）），y）.（七）z∈Z当枚举所有可能的潜在但 这往往是难以处理的，我们诉诸于一种由马德里推广的技术，等人[19]在对抗训练的背景下，其包括在可微代理损失上使用投影梯度上升。对于分类任务，0 1损失被交叉熵损失取代：L（f（x），y）=−log（[f（x）]）（8）分离条件独立因子项z∈θ θy1215⊥⊥⊥⊥⊥一∼ZZx=dec（z，z）[z，z（k）]Dec（一）fθ（b）第（1）款（c）第（1）款252015105ǁ⊥X1x 1055051015X1z（k）项目Zz<$（k）L<$（fθ（·），y）图4. mixup和AdvMix在一个玩具例子上的比较。在在这个例子中，我们给出了200个数据点。每个数据点（x1，x2）根据x1<$N（z<$，3）其中z∈Z<$=z（0）U（Z）图3.等式（9）中的最大化过程的图示。其中[a]i返回a的第i个坐标。然后，对于给定迭代次数K。对于小的y，我们找到一个估计z（K）{0. ， 10 个 。 } 和 x2<$N （ z<$ ， 1 ） ， 其 中 z<$∈ Z<$={0.，20块{\fn方正粗倩简体\fs12\b1\bord1\shad1\3cH2F2F2F} 的颜色代表标签。请注意，潜在变量z= 20y依赖于标签，而z与标签无关。面板(a)显示了200个数据点的原始集合;图（b）显示了使用AdvMix对额外数据进行采样的影响;图（c）显示了混合的影响。当然，我们应该指出，我们的方法AdvMix知道底层的潜在表示，而mixup则不知道。使用下面的递归方法来计算z的值z（k+1）=proj.Σz<$（k）+α<$（k）L<$（fθ（dec（z，z<$（k），y）针对有界扰动的对抗训练Zzǁ⊥（九）为了鲁棒性，倾向于权衡准确性[23]。图4COM-paresmixup和AdvMix在一个玩具的例子。在这个例子中，我们人为地构造了一个包含两个类和一个其中z（0）是在Z 内 随 机 选 择 的，α是恒定步长，proj A（a）是将a投影到的投影算子。图3示出了该过程。最终，解纠缠表示的对抗混合（简称AdvMix）试图找到最小化最坏情况损失的参数，这种损失可能是通过合理的转换改变输入示例而产生的它保证输入的变换是有意义的，通过使用编码独立可控因子的非纠缠潜在表示 找到这样一个解纠缠的表示是不可能的，因为它并不总是知道输入的哪些变化应该或不应该影响标签。然而，在某些情况下，有可能训练生成模型，以便我们期望某些潜伏期子集不会影响标签。第4节使用StyleGAN模型实现AdvMix。具有低密度区域的数据。AdvMix背后的动机源于多重假设[45]。它指出，现实世界中存在的高维数据，如图像，通常位于低维流形上。因此，在输入空间中存在数据分布支持之外的大区域。因此，为了最大限度地提高效率，应该仔细进行数据增强和对抗训练，以确保增强后的数据仍然在原始数据分布的支持范围内。图2中所示的数据增强技术显然违反了这一条件，尽管它们取得了成功，但我们不能期望它们在所有数据集上都表现良好（事实上，mixup在Color-MNIST上表现不佳）。同样地，潜在的无纠缠的潜在表征。我们观察到，通过利用解纠缠的潜在表示的知识，AdvMix能够生成与原始数据集一致的额外数据点，而mixup生成不太可能的额外数据点。与混淆的关系。 mixup相对于输入空间增加数据。给定两对输入（xA，yA），（xB，yB）和从β分布λβ（α，α）采样的线性插值因子，mixup生成一个新的输入对，如下所示：x=λxA+（1−λ）xBy=λyA+（1−λ）yB。（十）我们的方法在潜在空间中组合输入（xA，yA）和（ xB ，yB ） 如 果xA=dec （ zA， zA） 和 xB=dec（zB，zB），我们得到x=dec（zA，zB）y=yA.（十一）关键是，这种组合只影响独立于标签的潜在子空间，因此标签保持不变。 我们还注意到，与[42]不同，在潜在空间中没有插值发生（即，λzA <$+（1 − λ）zB <$），252015105055051015252015105055051015X2X2X2⊥1216可能会导致点在点的范围之外，而点的范围不凸的与不变风险最小化的关系。Arjovsky等人[25]考虑我们有多个数据集的情况1217i=1∈Ei=1En∈ZZZ.nZi=1i=1ND--Σ∈Z{Zn--好吧424De=xi，yin取自不同的训练环境e。正如[25]中所解释的，风险管理背后的动机是最大限度地减少最坏情况下的风险maxE[L（fθ（x），y）].（十二）e∈E（x，y）∈De本文用z轴的不同距离来定义环境。给定数据集dec（zi n，zi n），yin，我们可以通过设置环境集合将等式（1）中所示的语义对抗风险重写为等式（12）：到E={{dec（zi，z），yi}i= 1|z<$∈Z<$}。（十三）这有效地为所有示例的所有可能的z值组合创建了一个数据集集合Advertisement和AdvMix之间的关键区别在于风险的表述。虽然Advertisement通过枚举一组可数的环境并选择最坏情况来计算风险，但AdvMix试图通过找到所有示例中最大化风险的变化组合来计算最坏情况风险4.使用StyleGAN到目前为止，我们已经假设存在能够使用完美解纠缠的潜在表示的生成器（或解码器）：我们已经假设该表示被划分为两个子集，其中一个已知独立于目标标签。在实践中，方法学往往是颠倒的：生成模型被训练以期望获得某种程度的解纠缠。 如果训练的潜在空间的分区不影响标签，我们可以在AdvMix中使用相应的训练生成器。本节解释了为什么StyleGAN是一个很好的候选者，并详细介绍了如何使用StyleGAN实现AdvMix。特别是，由于我们依赖于StyleGAN需要以下元素：（i）可以从中选择标签无关变量z_i的变换集Z_i;（ii）潜在变量和标签的数据集D ={z_i，y_i}i=1;以及（iii）找到最坏情况变量z_i∈Z_i的 有效 方 法。StyleGAN. StyleGAN是Karras等人提出的用于生成对抗网络的生成器架构。[24]第10段。它从风格转换文献中借用了有趣的特性[46]。在这项工作中，我们依赖于风格混合属性。形式上，StyleGAN架构由两个阶段组成。 第一阶段取一个潜在变量z（0，1），它不一定是解纠缠的，并将其投影到解纠缠的潜在空间z=map（ z）中。第二阶段使用解码器x=dec（z）从解纠缠的潜在项z合成图像x。总的来说，使用StyleGAN网络生成图像x的过程被定义为：x= dec map（z）其中z <$N（0，1）。（十四）中间潜变量z提供了一定程度的解纠缠，其影响不同空间分辨率下的图像生成，这允许我们控制图像的合成特别是，我们可以将一个图像的在人脸生成的背景下，与粗空间分辨率相对应的样式影响高级别方面，例如姿势，并且细分辨率的样式主要影响颜色方案。在这份手稿的其余部分，我们将重点放在更好的风格的变化1具体地说，我们在第5节中的实验假设精细属性z是标签无关的，而粗糙属性z可能是标签相关的。因此，图像xB的更精细样式zB可以经由dec（zA，zB）应用于另一图像xA=dec（zA，zA）。图5b示出了标称图像和通过混合更细的组分获得的该图像的两个变型。另外两个图像的风格。转换集的定义。 为了完整性，我们现在通过定义等式（5）来定义变换集合T，。虽然StyleGAN的公式允许在无限支持内对z进行采样，但我们的公式要求z有界。此外，如Nalisnick et al.[47]由于措施的集中，生成模型通常从其典型集合中抽取样本[48]（模型完全支持的子集2因此，如果z∈Rd，我们希望定义如下：..Z=map（z）。d−δd1≤其中δ是一个小的可调正常数。然而，在实践中，我们不希望通过map操作反向传播相反，对潜在的点进行采样，通过映射操作，并且将映射限制在该集合中的点的邻域。该集合针对每个示例进行重新采样，并且期望很好地覆盖典型集合（更多细节在算法2中给出）。解缠结的潜伏期的数据集的构建构 造 标记的潜伏期D ={zi，yi}n的数据集需要找到解码到每个示例中的潜伏期zixi的原始标记数据集xi，yi。 因此，我们需要找到图像空间和潜在空间之间的映射。此映射可离线计算，用于构造数据集，并且仅需要一次对于每个新的数据集。具体地，该映射被表示为enc：X <$→ Z，并且找到zi使得xi≠dec（zi）。1其他变化是可能的，只要我们确定它们不影响感兴趣的标签。2F或d维迷向Gaussian，具有标准de uσ，一个典型的集合位于距离σD模式[49]。1218◦−−⊥⊥i=1D{}Mi=1联系我们⊥⊥(a)（b）第（1）款图5.图a示出了潜伏期如何逐渐能够匹配目标图像（在最右侧）。图b示出了所获得的图像的两种不同的变化。算法1编码器编码输入：目标图像x、训练的StyleGAN模型分解图和训练的VGG网络vgg。 αi和βi是分别设置为1和1/5的超参数。γ（k）是步长时间表。输出：解纠缠的潜在项z，使得dec（z）x算法2方程（7）输入：标称输入x和标签y，模型fθ，StyleGAN模型decmap和编码器enc。L是01损失，L是交叉熵损失。输出：可能分类错误的示例x1：z←1Mmap（z（i）），其中z（i）<$N（0，1）是n阶平均潜伏子1：x←x2：对于k 1，. - 是的- 是的 ，NdoN是迭代次数3：xn=dec（zn）第二章： [z，z]= enc（x）参见算法13：对于r ∈ {1，. . .，N r}do重复Nr次4：A=vgg（x）A是动作的列表（在第二个连接之后）4：z（0）←map（z）其中z<$N（0，1）初始潜伏期第一、二、三区块的演化）⊥（0）5：x（0）=dec（z，z）5：A=vgg（x）6：Amix=vgg（dec（z，map（z），其中zN（0，1）6：f或k∈{1，. -是的-是的、K. }doRankK是优化步骤的数量2Σ|一|ˆ27：z（k）←proj z<$（k−1）+α<$L<$（f（x<$（0）），y）（k−1）θ7：L重构=α0<$x<$−x<$2+i=1αi<$Ai−Ai<$2⊥ ⊥z˜⊥Σ|一|3.重建损失8：x（k）=dec（z，z（k））8：L混合物=βi<$A混合，i−Ai<$2混合损耗i=1 29：如果L（fθ（x∈（k）），y）>L（fθ（x∈，y），则9：z<$<$←z<$−γ（k）<$z<$（Lreconstruct+Lmix）（k）10：结束十：x~←x~11：returnn由于L是0 1的损失，可以提前算法1通过优化过程定义了这种映射。受[50]的启发，我们使用感知损失[51，52]，而不是仅仅依赖于像素值之间的距离来定义优化的损失-这有助于引导优化过程。感知损失定义在经过训练的VGG-16网络的中间激活上[53]（见第7行）。我们还发现，StyleGAN生成器dec是其disentan之间的满射映射12：如果结束13：结束14：结束将中间解z（k）返回到z（0） 的 邻 域。3它使用梯度上升细化初始潜伏期，目标是找到潜伏期z（K ），当与原始图像潜伏期z混合时，生成图像dec（z，z（K））ǁ ǁ⊥GLED潜在空间和图像空间（即，多潜伏期可以解码成相同的图像）。因此，由于我们严重依赖于StyleGAN的混合属性，并且与[50]相反，我们建议向损失添加额外的分量，该分量将潜伏期转向可以混合的潜伏期子集。特别地，我们在合成图像和同一图像的混合版本之间添加感知损失（参见第6行和第8行）。图5显示了这种演变这是错误的分类图1显示了此操作的结果图10示出了优化过程，其中原始图像（在左上方）被分类为一旦找到扰动的潜伏期z=z（K），我们就可以计算出由dec（zin，zi nn）生成的图像上的交叉中心py损失。形式上，对于分类器fθ和数据集=zi n，yin，我们想要求解优化过程的混合变量以及结果图像。argminθEzi，yiDΣ ΣL（fθ（dec（zi，zi）），yi）（十六）生成最坏情况的示例来训练鲁棒模型。如第3节所述，最小化语义对抗风险需要解决内部最大化问题。我们依赖于交叉熵的梯度上升lossL*真正的标签。算法2说明了该过程。这算法通过下式近似等式（15）中的典型集合：且z<$$>=a r gma xz<$∈Z<$L（fθ（dec（zi<$，zi <$）），yi）.随机混合与解缠结表示。 虽然本节描述了使用StyleGAN的AdvMix实例化，但可以制定等效的随机数据增强基线。 对于输入x，我们生成一个3实验部分中使用的实际实现投射回z∞（0）周围的有界邻域：{z∞|z1219⊥randomly sampling initial latents z˜(0) Nr 时间和项目-zh∞⊥ ⊥<}，其中，将设置为0.03。1220Z联系我们百分之一百图6.在我们的Color-MNIST案例研究的训练集中为每个数字提供的平均颜色。随机变量如下：x=dec（ enc（x），map（z））其中zN（0，1）（17）5. 结果在本节中，我们将AdvMix与（i）最小化经验风险的标称训练进行比较，（ii）对抗训练（AT），其最小化输入空间中大小为100的有界扰动的对抗风险[19]，以及（iii）具有解纠缠表示的随机混合（RandMix），其通过从随机混合中随机地采样潜在变量（而不是系统地发现最坏情况的变化）来最小化邻近风险我们进行了两个实验，以评估的推广能力的AdvMix。 第一个前-实验是在一个名为Color-MNIST的人工构建数据集上完成的（它与[25]中的Color-MNIST第二个实验使用CELEBA。这两个实验都表明，使用由训练的StyleGAN模型表示的语义变化的方法实现了更高的准确性。它还表明，当变化的分布偏斜时（即，在用于训练StyleGAN模型的数据集中，某些变量Z比其它变量更频繁地出现），AdvMix获得比RandMix更高的准确性。对于这两个实验，我们在Color-MNIST上使用5个epoch训练了一个截断的VGG网络，和20个时期的CELAB A。我们使用Adam [54]优化器，学习率为10−3。AdvMix在Nr设置为5的情况下进行训练。5.1. 颜色MNISTColor-MNIST由人工着色以强调偏差的MNIST [55]数据集组成。在训练集上，我们使用从具有平均值μ y和标准差σ（y的平均值μ y）的正态分布中随机抽取的颜色对原始M NIST数据集的每对（x，y）进行着色0，. . .、9如图6所示）。 在测试集上，我们随机均匀地给数字着色。换句话说，训练集中存在的颜色与标签虚假相关。我们可以使用σ来影响这种相关性：通过渐进地增加σ，数据集变得更少有偏差。对于所有技术（包括mixup），我们使用5个epoch来改变偏差水平和训练模型。StyleGAN模型仅在训练集上训练，每个σ设置一次。定义更精细样式的解开的潜伏层对应于32 ×32的最终分辨率。4432对应于28之后的下一个2的幂，28是原始MNIST数据集中图像的大小。百分之八十60.0%40.0%20.0%百分之零点零0.000.05零点一0.150.20零点二五零点半零点三五零点四Trainingdatasettebias（σ）图7.不同训练方法对来自我们的无偏Color-MNIST测试集的图像的准确性。通过增加存在的颜色的标准偏差，训练集逐渐去偏表1.在我们的Color-MNIST数据集上训练StyleGAN模型时偏差的影响。方法在干净的图像上测试精度无偏少偏多偏RandMix99.11%百分之九十八点八七97.63%AdvMix百分之九十九点一九百分之九十九点零七98.79%图7显示了结果。在所有设置中，RandMix和AdvMix优于其他方法。正如预期的那样，所有方法之间的差距随着训练集偏差的减少同样值得注意的是，AT在这个数据集上是有用的（与名义训练和混合相比）。∞范数有界扰动允许探索颜色的微小变化。RandMix和AdvMix都有望做得很好，因为所有的变化z都（对应于对于不同颜色的应用）同样可能是从StyleGAN模型中提取（因为它们在训练集中均匀分布）。为了进一步强调RandMix和AdvMix之间的差异，我们有目的地对Style- GAN模型的训练进行了偏置。我们创建两个额外的数据集（σ=0）。对于第一个数据集（名为因此，RandMix不太可能随机选择很少发生的变化（第一个数据集的数字颜色从1到9，第二个数据集的数字颜色从2到9）。表1示出了结果。我们观察到AdvMix表现更好。然而，我们注意到差距并不大，因为所有颜色变化都包含红色，绿色和蓝色分量（这允许网络隐式地学习其他颜色组合）。最后，为了产生更强的效果，我们将数字限制为标称RandMix对抗性训练（= 0。第一章AdvMixm ixup（α=0. （二）干净测试图像的准确性1221表2.在我们的RGB Color-MNIST数据集上训练StyleGAN模型时的偏差影响（仅限于红色，蓝色或绿色）。分类器是线性模型（而不是卷积网络）。方法在干净的图像上测试精度Unbiased99% red99.9% red更少的偏见RandMix88.55%83.18%53.56%AdvMix85.07%85.02%85.00%红色、绿色和蓝色（产生新的数据集），并使用线性分类器（而不是截断的VGG网络）。表2表明，当StyleGAN模型使用大量红色数字进行训练时，AdvMix表现得更好。事实上，AdvMix能够系统地找到角落情况（即，绿色和蓝色的变化），目前被错误分类，而不是依赖于随机抽样的情况下。我们注意到，对抗性训练可能会导致不稳定的学习，这可以解释为什么当StyleGAN模型是无偏的时，RandMix会5.2. CELEB ACELEB A [56]是一个大规模的公共数据集，具有40个不同的面部属性注释，包括一个人是否微笑或戴帽子。我们不对数据集进行任何修改，并使用预训练的StyleGAN模型5。对于所有技术，我们使用20个epoch来训练模型。我们评估所有的方法，他们的能力，分类的6在这个实验中，定义更精细风格的解开的潜伏期对应于分辨率从128×128到1024 ×1024。7在表3中，我们观察到AdvMix是唯一的方法系统地实现高精度。这清楚地表明，AdvMix可以导致较低的泛化错误。同样有趣的是，RandMix并不总是在名义训练上有所改善，AT也一直在提高。权衡干净的准确性和鲁棒性（见[23]）。最后，图8显示了图像的定性示例，都被名义模型正确分类，但我们可以找到被错误分类的合理变体。附录B显示了更多结果，并包括其他数据扩充方案。总体而言，这些结果证实了在Color-MNIST数据集上进行的观察。它们似乎表明，CELEB A的训练集和测试集之间存在轻微的分布变化通过系统地探测难以分类的变化，AdvMix能够克服这种转变，5https://github.com/NVlabs/stylegan表3.测试C ELEB A数据集不同分类任务的准确性。方法#1属性的测试准确度#2（微笑）#3#4标称96.49% 百分之九十点二二83.52%78.05%AT（Δ=4/255）百分之九十五点三四91.11%81.43%76.61%AT（Δ=8/255）95.22%89.29%79.46%74.39%RandMix96.70% 百分之九十点三六84.49%76.41%AdvMix97.56%92.29%85.65%79.47%图8.顶行显示了来自CELEB A的干净图像的示例，这些图像都被标称模型正确分类。下面一行显示了这些图像的语义上合理的变体，这些变体都是错误分类的。更好的分类精度（与RandMix相反其只能偶然发现困难的变体6. 结论我们已经展示了一种新的方法，通过生成对抗性实例来实现对我们已经展示了如何通过利用StyleGAN架构来实现这个框架，我们的公式依赖于良好的生成模型，这些模型可以学习一个解纠缠的表示，其中一些方向与我们试图预测的标签正交。诸如AdvMix之类的方法旨在用于减少偏差和虚假相关性对分类器的影响8我们希望本文所展示的有希望的结果能够鼓励发展更有效的非纠缠表示，以涵盖现实世界中遇到的大多数变化最后，我们希望这项工作能够在其他计算机视觉应用的背景下探索这种范式，并开发出可以在现实世界中安全使用的强大感知系统。6由于其敏感的内涵，我们有目的地匿名其他属性名称，并从较容易到较难的分类任务中挑选它们7我们总是将生成的图像重新缩放到64×64分辨率。8使用AdvMix可能会增加分类偏差。然而，其他方法可能更有效地实现这一目标.1222引用[1] 诉Vapnik，1[2] I. Goodfellow，Y. Bengio和A. Courville，深度学习。麻省理工学院出版社，2016. [联机]。可用：http：//www.deeplearningbook.org1[3] A.克里热夫斯基岛Sutskever和G. E. Hinton，1097-1105.[4] G. 欣顿湖Deng，D.Yu，G.E. Dahl，A.R. 穆罕默德N. Jaitly，A.Senior，V.Vanhoucke，P.阮氏T.N. Sainath等人，“语音识别声学建模的深度神经网络：四个研究小组的共同观点”，IEEE信号处理杂志，第29卷，第123期。第6页。82-97，2012年。1[5] K. D. Julian，J. Lopez，J. S. Brush，M. P. Owen和M. J.Kochenderfer，IEEE，2016年，第页1-10. 1[6] A. Torralba、A.A. Efros等人，见CVPR，第1卷，第110号，2. Citeseer，2011，p. 7. 1[7] A. 库尔坎普湾Becker和K.鲍耶，“虹膜性别还是睫毛膏性别？”2017年IEEE，2017年，第页1151-1159. 1[8] B. 雷 克 特 河 罗 洛 夫 斯 湖 Schmidt 和 V. Shankar ， “Doimagenet classifiers generalize to imagenet？”arXiv预印本arXiv：1902.10811，2019。1[9] D. 亨德里克斯K. 赵、S. 巴萨特，J. Steinhardt，以及D. Song，1[10] I. Vasiljevic，A. Chakrabarti，G. Shakhnarovich，1[11] R. 盖霍斯角R. Temme，J. 劳伯河，H. H. Sch ütt ，M.Bethge和F. A. Wichmann，7538-7550. 1[12] H. Zhang，M. Cisse，Y. N. Dauphin和D. Lopez-Paz，第1、3条[13] E. D. 库布克湾Zoph、D.Mane，V.Vasudevan和Q.诉Le，“自动扩增：从数据中学习增强策略，“arXiv预印本arXiv：1805.09501，2018。1[14] N. Carlini和D. Wagner，“对抗性的例子不容易被发现：在第10届ACM人工智能与安全研讨会上发表的“概述十种检测方法”。ACM，2017，pp. 3-14. 2[15] --，IEEE，2017年，第页39比57[16] I.古德费洛，J。Shlens和C. Szegedy，2[17] A.库拉金岛Goodfellow和S. Bengio，[18] C. 塞格迪，W。扎伦巴岛萨茨克弗布鲁纳D。二涵I. Goodfellow，和R。Fergus，2[19] A. Madry，A.马克洛夫湖Schmidt，D.Tsipras和A.Vladu，二、三、七[20] N. Papernot，P.McDaniel，X.Wu，S.Jha和A.Swami，2[21] H. Kannan、A.库拉金和我。Goodfellow，[22] C. Xie，Y.吴湖，加-地vanderMaaten，A.Yuille和K.他，2[23] A. Ilyas，S.桑图尔卡D.齐普拉斯湖恩斯特伦湾Tran和A.Madry，二四八[24] T. Karras，S. Laine和T. Aila，4401-4410. 二、五[25] M. 阿尔约夫斯基湖博图岛Gulrajani和D.Lopez-Paz，二三四五七[26] D. 齐普拉斯 S. 桑图尔卡 L. 恩斯特龙 A. 特纳和A. Madry，2[27] A. 库拉金岛Goodfellow和S.Bengio，2[28] S.- M. 穆萨维-代兹福利A.Fawzi，J.Uesato和P. Frossard,“Robustness via curvature regularization, and vice versa,”arXiv preprint arXiv:1811.09716, 2018. 2[29] H. Zhang， Y. Yu，Jiao，E. P.兴湖，加-地E. Ghaoui，和M。I. Jordan，2[30] C. Qin，J. Martens，S. Gowal，D. Krishnan，A. Fawzi，S.德R. Stanforth，P. Kohli等人，2[31] L. 恩斯特伦湾Tran，D.齐普拉斯湖Schmidt和A.Madry，2[32] C. Kanbak，S.- M. Moosavi-Dezfooli，和P. Frossard，“深度网络的几何鲁棒性：分析和改进，“在IEEE计算机视觉和模式识别会议论文集，2018年，第111页。4441-4449. 2[33] S. Baluja和我。Fischer，“对抗转换网络：学习生成对抗性示例，”arXiv预印本arXiv：1703.09387，2017。2[34] Y.松河，巴西-地Shu，N. Kushman和S. Ermon，8312-8323. 2[35] C. 肖 湾 ， 澳 - 地 李 ， J-Y. Zhu ， W. 他 ， M 。 Liu 和D.Song，21223[3
