普遍扰动导致深度神经网络分类器容易错误分类自然图像

1765泛对抗扰动赛义德-穆赫辛·穆萨维-德兹富利epfl.chOmar Fawzi邮箱：omar. ens-lyon.frAlhusseinFawzihussein. gmail.com帕斯卡·弗罗萨尔pascal. epfl.ch摘要给定一个最先进的深度神经网络分类器，我们展示了一个通用的（图像不可知的）和非常小的扰动向量的存在，它导致自然图像被错误分类的概率很高我们提出了一种用于计算普遍扰动的系统算法，并表明最先进的深度神经网络非常容易受到这种扰动的影响，尽管人眼几乎无法察觉我们进一步实证分析了这些普遍扰动，特别是普遍扰动的惊人存在揭示了分类器的高维决策边界之间的重要几何相关性它进一步概述了潜在的安全漏洞，在输入空间中存在单一方向，对手可能会利用它来破坏大多数自然图像上的分类器。11. 介绍我们能否找到一个小的图像扰动，在所有自然图像上欺骗最先进的深度神经网络分类器？在本文中，我们表明存在这样的准不可感知的普遍扰动向量，导致误分类自然图像的概率很高。具体地说，通过向自然图像添加这样一个准不可感知的扰动，由深度神经网络估计的标签，ral网络以高概率发生变化（见图1）。①的人。这种扰动被称为普遍的，因为它们是图像不可知论的。当分类器被部署在真实世界（并且可能是敌对的）环境中时，这些扰动的存在是有问题的，因为它们可以被对手利用的确，*前两位作者对本书的贡献相当瑞士洛桑理工学院里昂市，LIP，UMR 5668 ENS Lyon - CNRS - UCBL -INRIA，法国里昂大学1代码可从https://github.com/LTS 4/universal下载。可以在https://youtu.be/jhOu5yhe0rc上找到演示。图1：当添加到自然图像时，通用扰动图像会导致图像被深度神经网络错误分类左图：原始的自然图像。标签显示在每个箭头的顶部。中央图像：宇宙微扰。右图：扭曲的图像。扰动图像的估计标签显示在每个箭头的顶部。操纵杆吉娃娃杰伊脱粒机拉布拉多拉布拉多藏獒藏獒F灰蝶科长吻布拉班孔球囊拉布拉多边境犬rC喜花花1766∈∈∈∞.--Rǁ ǁ ≤该过程仅涉及向所有自然图像添加一个非常小的扰动，并且可以相对直接地由真实世界环境中的对手实现，同时相对难以检测，因为这种扰动非常小，因此不会显著影响数据分布。普遍扰动的惊人存在本文的主要贡献如下：我们证明了最先进的深度神经网络存在普遍的图像不可知扰动。我们提出了一个算法，找到这样的扰动。该算法为一组训练点寻找一个通用的扰动，并通过聚集原子扰动向量来进行，这些原子扰动向量将连续的数据点发送到分类器的决策边界。我们表明，通用扰动具有可备注的泛化特性，因为对于一组相当小的训练点计算的扰动以高概率欺骗新图像。我们表明，这种扰动不仅在图像中具有普遍性，而且在深度神经网络中也具有很好的推广性这样的扰动因此是双重的普遍性，无论是关于数据和网络架构。我们通过检查决策边界不同部分之间的几何相关性来解释和分析深度神经网络对普遍扰动图像分类器对结构化和非结构化的鲁棒性自然图像扰动一个新的数据点，然后只涉及仅仅添加通用扰动的图像（并不需要解决优化问题/梯度计算）。最后，我们强调，我们的普适扰动的概念不同于[20]中研究的对抗扰动的一般化，其中MNIST任务上计算的扰动被证明可以在不同的模型中很好地推广。相反，我们检查普遍扰动的存在，这是共同的大多数数据点属于数据分布。2. 泛微扰在这一节中，我们形式化了泛扰动的概念，并提出了一种估计这种扰动的方法。令μ表示Rd中图像的分布，k定义分类函数，其输出每个图像xRd是一个估计的标签k（x）。本文的主要重点是寻找扰动向量vRd，这些扰动向量在从μ采样的几乎所有数据点上欺骗分类器k。也就是说，我们寻找一个向量v，k（x+v）/=k（x）对于“most”x µ。我们创造了这样一个扰动普适性，因为它代表了一个固定的图像不可知扰动，导致从数据分布μ中采样的大多数图像的标签变化。我们在这里关注的是分布μ代表自然图像集的情况，因此包含大量的可变性。在这种情况下，我们研究了小的普遍扰动的存在性（根据p[1，）的NLP范数），这些扰动会对大多数图像进行错误分类。因此，目标是找到满足以下两个约束的v1. v结构化扰动最近吸引了大量的注意力[2，20，17，21，4，5，13，14，15]。尽管印象深刻-2.Pxµk（x+v）k（x）≥1 − δ。深度神经网络架构在具有挑战性的视觉分类基准上的性能[7，10，22，11]，这些分类器被证明非常容易受到扰动的影响。在[20]中，这种网络被证明对非常小且通常不可感知的附加对抗扰动不稳定。这种精心制作的扰动要么通过解决优化问题[20，12，1]来估计，要么通过梯度上升的一步[6]来估计，并导致欺骗特定数据点的扰动。这些对抗性扰动的一个基本性质是它们对数据点的内在依赖性：对于每个数据点独立地专门制作扰动。因此，针对新数据点的对抗性扰动的计算需要从头开始解决依赖于数据的这不同于参数λ控制扰动向量v和δ量化从分布μ采样的所有图像的期望欺骗率。算法设X=x1，. . .，Xm是从分布μ采样的图像的集合。我们提出的算法寻求一个通用的扰动v，使得vp

，同时欺骗X中的大多数图像。该算法在X中的数据上进行迭代，并逐渐建立通用扰动（见图1）。2）的情况。在每次迭代时，计算将当前扰动点xi+v发送到分类器的决策边界的最小扰动αvi，并将其聚合到通用扰动的当前实例更详细地说，假设当前的通用扰动v不欺骗数据点xi，我们通过解决以下优化问题来寻求具有最小范数的额外扰动vi，其允许欺骗数据点xi本文考虑的普遍扰动，因为我们寻求一个单一的扰动向量，愚弄网络上的大多数vi←argmin k（xi+v+r）k（xi）.（一）·····1767P∈Rv← PM∞vB2R∆v31x1、2、3R2R1图2：用于计算普遍扰动的拟议算法的示意图在该图示中，数据点 x1、 x2和 x3被叠加，并且分类区域 Ri（即，恒定估计标签的区域）以不同的颜色示出 我们的算法通过依次聚集最小扰动来进行，将当前扰动点xi+ v发送到相应分类区域Ri之外。为了确保满足约束条件vp≤，将更新的普适扰动进一步投影到半径为且以0为中心的p球上。也就是说，设p，p是如下定义的投影算子：算法1计算普遍扰动。1：输入：数据点X，分类器k，期望的扰动范数，扰动样本上的期望精度δ。2：输出：通用扰动向量v。第三章： 初始化v←0。第四章： 当Err（Xv）≤1−δdo第五章：对于每个数据点x i，X做6：如果k（xi+v）=k（xi），则7：计算 的 最小 扰动，将xi+v发送到决策边界：vi←argmin k<$（xi+v+r）/=k<$（xi）.8：更新扰动：v ← P p，n（v+ nv i）.9：如果结束10：结束11：结束while集合X的随机重排自然导致满足所需约束的不同的通用扰动集合v因此，可以利用所提出的算法来为深度神经网络生成多个通用扰动（参见下一节的可视化示例）。′ ′Pp，n（v）= arg mi′nv − v n2，且nv np≤ n。然后，我们的更新规则由vp，（v+vi）给出。对数据集X执行若干遍以提高通用扰动的质量当扰动数据集Xv：= {x1 + v，. . .，x m+v}超过了tar得到threshol d1−δ。也就是说，我们停止算法，当-3. 深网的泛扰动我们现在使用算法1分析最先进的深度神经网络分类器对普遍扰动的鲁棒性。在第一个实验中，我们评估了ILSVRC 2012 [16]验证集（50，000张图像）上不同最近深度神经网络的估计通用扰动，ever Err（Xv）：=1Mi=1 1k（xi+v）k（xi）≥1 −δ。德-报告愚弄比率，即图像的比例，在算法1中提供了加尾算法。有趣的是，在实践中，X中的数据点m的数量不需要很大，就可以计算对整个分布μ有效的普适扰动。特别地，我们可以将m设置为比训练点的数量小得多（参见第3节）。所提出的算法涉及求解最多min-在Eq中的优化问题的立场（1）每一次通过。虽然该优化问题不是通用的，但k是标准分类器（例如，深度神经网络），已经设计了几种有效的近似方法来解决这个问题[20，12，8]。为了提高其效率，我们在下文中采用了[12]中的方法.还应当注意，算法1的目标不是找到欺骗从分布采样的大多数数据点的最小通用扰动，而是找到具有足够小范数的一个这样的扰动。尤其是不同在受到我们的普遍扰动时改变标签报告了p= 2和p=的结果，其中我们分别设置p= 2000和p= 10。选择这些数值是为了获得其范数显著小于图像范数的扰动，使得扰动在添加到自然图像2时是准不可感知的。结果列于表1中。每个结果在用于计算扰动的集合X上以及在验证集合（在计算通用扰动的过程中不使用）上报告。观察到，对于所有网络，通用扰动在验证集上实现了非常高的欺骗率。具体来说，为CaffeNet和VGG-F计算的通用扰动欺骗了90%以上的验证2作为比较，验证集上图像的平均范数分别为1.5×104和1.250。1768∞→→CaffeNet [9]VGG-F [3]VGG-16 [18]VGG-19 [18][19]第十九话ResNet-152 [7]ℓ2XVal.85.4%百分之八十五点六百分之八十五点九87.0%百分之九十点七90.3%86.9%84.5%百分之八十二点九82.0%百分之八十九点七百分之八十八点五ℓ∞XVal.93.1%百分之九十三点三百分之九十三点八百分之九十三点七78.5%百分之七十八点三77.8%77.8%百分之八十点八78.9%85.4%84.0%表1：集合X和验证集合上的愚弄比率。set（forp=）. 换句话说，对于验证集中的任何自然图像，仅仅添加我们的通用扰动就可以欺骗分类器超过10次。此外，这个结果并不特定于这种架构，因为我们也可以发现导致VGG，GoogLeNet和ResNet分类器在自然图像上被愚弄的普遍扰动，边缘概率为80%。这些结果具有令人惊讶的元素，因为它们示出了单个通用扰动向量的存在，该单个通用扰动向量导致自然图像以高概率被错误分类，尽管对人类来说是准不可感知的。为了验证后一种说法，我们在图中展示了扰动图像的视觉示例。3，其中使用GoogLeNet架构。这些图像来自ILSVRC 2012验证集，或使用手机摄像头拍摄。观察到，在大多数情况下，通用扰动是准不可感知的，然而这种强大的图像不可知扰动能够以最先进的分类器的高概率对任何图像进行我指的是supp。原始（未受干扰）图像的材料。 我们在图中可视化了对应于不同网络的普适扰动。4.第一章 应该注意的是，这样的普遍扰动不是唯一的，因为对于相同的网络可以生成许多不同的普遍扰动（都满足两个所需的约束）在图5中，我们可视化了通过在X中使用不同的随机洗牌获得的五种不同的普适扰动。注意到这样的普适扰动是不同的，尽管它们表现出类似的模式。这还通过计算两对扰动图像之间的归一化内积来证实，因为归一化内积不超过0。1，这表明人们可以找到不同的普遍扰动。虽然上述通用扰动是针对来自训练集的10，000个图像的集合X计算的（即，平均每类10个图像），我们现在检查X的大小对通用扰动质量的影响我们在图中显示。图6是GoogLeNet的不同大小的X的验证集上获得的欺骗率。例如，如果集合X只包含500个图像，我们可以欺骗验证集上超过30%与ImageNet中的类数量（1000）相比，这个结果是非常重要的，因为它表明我们可以欺骗大量的不可见图像，即使使用一个集合X，每个类包含的图像少于一个！因此，使用算法1计算的通用扰动具有在看不见的数据点上具有显着的泛化能力，并且可以在非常小的训练图像集上计算跨模型通用性。虽然计算的扰动在看不见的数据点上是通用的，但我们现在检查它们的跨模型通用性。也就是说，我们研究在何种程度上为特定架构计算的通用扰动（例如，VGG-19）也适用于另一种体系结构（例如，GoogLeNet）。表2显示了一个矩阵，总结了这种扰动在六种不同架构中的普遍性。对于每种体系结构，我们计算了一个通用的扰动，并报告了所有其他体系结构上的欺骗率;我们在表的行中报告这些2. 可以看到，对于某些架构，通用扰动在其他架构中推广得非常好。例如，VGG-19网络计算的通用扰动对于所有其他测试架构的愚弄率超过53%这一结果表明，我们的通用扰动，在某种程度上，双重通用，因为它们一般化以及跨数据点和非常不同的架构。应该注意的是，在[20]中，对抗性扰动在一定程度上可以很好地推广到MNIST问题的不同神经网络。然而，我们的结果是不同的，因为我们在ImageNet数据集上显示了不同架构的通用扰动这一结果表明，这种扰动具有实际意义，因为它们在数据点和架构上具有很好的泛化能力。特别是，为了在未知神经网络上欺骗新图像，在VGG-19架构上计算的通用扰动的简单添加很可能会对数据点进行错误分类。宇宙微扰效应的可视化。为了深入了解普遍扰动对自然图像的影响，我们现在将ImageNet验证集上的标签分布可视化。具体地说，我们构造了一个有向图G =（V，E），它的顶点表示标号，有向边e=（i，j）表示当应用泛扰动时，类i的大多数图像被愚弄到标号j中.因此，边i j的存在表明，对于类别i的图像，优选的 欺 骗 标 签 是 j 。 我 们 为GoogLeNet构建了这个图，并在supp中可视化了完整的图空间限制的材料该图的可视化显示了非常特殊的拓扑结构。特别地，图是不相交的组件的联合，其中一个组件中的所有边大多是连接的。1769∞羊毛印度象印度象非洲灰虎斑非洲灰普通蝾螈旋转木马灰狐狸金刚鹦鹉三趾树懒金刚鹦鹉图3：扰动图像及其相应标签的示例。前8张图像属于ILSVRC 2012验证集，最后4张是手机摄像头拍摄的图像。参见附录。原始图像的素材。(a) CaffeNet（b）VGG-F（c）VGG-16(d)（e）GoogLeNet（f）ResNet-152图4：针对不同深度神经网络架构计算的通用扰动。使用p=生成的图像，= 10。像素值将按比例缩放以实现可见性。复制到一个目标标签。参见图7中两个连接组件的图示这种可视化清楚地显示了几个主要标签的存在，并且普遍扰动主要使自然图像用这种标签分类。我们假设，这些占主导地位的标签占据了图像空间中的大部分区域，因此代表了欺骗大多数自然图像的良好候选标签注意胺的影响，微调网络与扰动图像。我们使用VGG-F架构，并基于修改后的训练集对网络进行微调，其中将通用扰动添加到一部分（干净）训练样本中：对于每个训练点，以概率0添加通用扰动。5，并且原始样本以概率0保存。五、第三章解释多样性这些主要的标签是自动发现的，而不是在计算扰动的先验。用普遍扰动进行微调我们现在前-[3]在这个微调实验中，我们使用了一个稍微修改过的普适扰动概念，其中普适向量v的方向对于所有数据点都是固定的，而它的大小是自适应的。也就是说，对于每个1770∞图5：GoogLeNet架构的通用扰动多样性。这五个扰动是使用集合X的不同随机洗牌产生的。 注意，任何一对泛微扰的归一化内积都不超过0。1，这突出了这种扰动的多样性。VGG-FCaffeNetGoogLeNetVGG-16VGG-19ResNet-152VGG-F百分之九十三点七百分之七十一点八48.4%42.1%42.1%47.4%CaffeNet百分之七十四百分之九十三点三47.7%百分之三十九点九百分之三十九点九48.0%GoogLeNet百分之四十六点二百分之四十三点八78.9%39.2%39.8%45.5%VGG-16百分之六十三点四55.8%百分之五十六点五百分之七十八点三73.1%百分之六十三点四VGG-1964.0%百分之五十七点二53.6%百分之七十三点五77.8%58.0%ResNet-15246.3%46.3%百分之五十点五47.0%45.5%84.0%表2：不同网络中普遍扰动的可推广性百分比表示愚弄率。行表示计算通用扰动的架构，列表示报告愚弄率的9080706050403020100图6：500 1000 2000 4000X中的图像数量验证集上的愚弄比率与大小设置。为了评估微调对网络鲁棒性的影响，我们计算了一个新的通用扰动微调网络（p=和λ= 10），并报告了网络的愚弄率。在5个额外的时期之后，验证集上的愚弄率是76。2%，这表明相对于原始网络（93。7%，见表1）。[4]尽管有了这种改进，微调后的网络在很大程度上仍然容易受到小的普遍扰动的影响。因此，我们重复了上述程序（即，计算微调网络的10个通用扰动的池，基于5个时期的修改的训练集微调新网络），并且我们获得了80的新愚弄比率。0%。一般来说，重复这一程序固定的次数并没有产生任何改善超过76。2%的比例，在一个步骤后获得，养木请注意，即使通用扰动是在非常小的集合X上计算的（与训练集和验证集相比），验证集上的愚弄率也很大。我们预先计算了一个10个不同的通用扰动池，并从这个池中随机添加扰动到训练样本中。通过在修改后的火车上训练5个额外的时期来微调网络微调因此，虽然微调网络会导致鲁棒性的轻微改善，但这种简单的解决方案并不能完全免受普遍扰动的影响。4. 解释宇宙扰动的脆弱性本节的目的是分析和解释深度神经网络分类器对普遍扰动的高度脆弱性。为了了解它们的独特之处数据点x，我们考虑扰动点x+αv，其中α是小-愚弄率（%）1771估计欺骗分类器的系数。我们观察到，这种反馈策略比简单地将通用扰动添加到所有训练点的策略更不容易过拟合。4此外，这种微调程序导致验证集的错误率略有增加，这可能是由于扰动数据的轻微过度拟合。1772ǁ ǁ√√ǁ ǁ ≈×联系我们豹子线虫计算尺多威彻大灰鸮号航天飞机鸭嘴兽喷泉数字时钟北极狐遮光帘微波餐桌自动提款机电视冰箱蚊帐枕头托计算机键盘被子铅笔盒衣柜板机架药箱包络图7： 图G=（V，E）的两个连通分支，其中顶点是标号集，有向边i→j表示类别i的大多数图像被愚弄到类别j中。我们首先将这种扰动与其他类型的扰动进行比较，即i）随机扰动，ii）针对随机选取的样本计算的对抗扰动（分别使用[12]和[6]中的DF和FGS方法计算），iii）X上的对抗扰动之和，以及iv）图像的平均值（或ImageNet偏差）。对于每个扰动，我们在图中描绘了相变图。图8显示了验证集上相对于扰动范数的愚弄率。不同的扰动范数通过相应地用乘法因子缩放每个扰动以具有目标范数来实现。请注意，通用摄动是针对k= 2000计算的，并且也相应地缩放。观察到所提出的通用扰动很快达到非常高的愚弄率，即使扰动被约束为小范数。例如，使用算法1计算的uni-1扰动实现了85%的愚弄率，当约束 2范数时to=2000，而其他扰动（例如，对抗扰动）对于可比较的范数实现小得多的比率。特别是，从半径为2000的球体均匀采样的随机向量仅欺骗了10%的验证集。普遍扰动和随机扰动之间的巨大差异表明，普遍扰动利用了分类器的决策边界的不同部分之间的一些几何相关性事实上，如果决策边界在不同数据点的邻域中的方向完全不相关（并且与到决策边界的距离无关），则最佳通用扰动的范数将与随机扰动的范数相当。注意，后一个量是很好理解的（见[5]），作为标准的欺骗特 定数据点 所需的随 机扰动精确 地表现为 Θ（d<$r<$2），其中d是尺寸10.90.80.70.60.50.40.30.20.100 2000 4000 6000 8000 10000扰动范数图8：不同扰动的欺骗率比较。在CaffeNet架构上进行的实验。而r2是数据点和决策边界之间的距离（或者等价地，最小对抗扰动的范数）。 对于consider e d ImageNet分类任务，此数量等于d r22104，对于大多数数据点，这至少比普适扰动（ε = 2000）大一个数量级。随机扰动和普遍扰动之间的这种实质性差异，由此暗示了我们现在探讨的决策边界几何学的冗余。对于验证集中的每个图像x，我们计算对抗扰动向量r（x）=argminrr2s. t。 k∈（x+r）=k∈（x）.很容易看出，r（x）与分类器的判定边界（在x+r（x）处）是正交的。因此，向量r（x）捕获数据点x周围区域中决策边界的局部几何形状。来量化相关性在决策边界的不同区域之间，普遍随机Adv. 活泼（DF）Adv. 活泼（FGS）总和ImageNet偏差愚弄率1773SSi=1SSS10i=1i=1分类器，我们定义矩阵Σ Σ54.5N=r（x1）. . . r（xn）4r（x1）3.5在验证集中的n个数据点附近的决策边界的法向量对于二元线性分类器，决策边界是超平面，并且N的秩为1，因为所有法向量都是共线的。为了更一般地捕捉复杂分类器的决策边界中的相关性，我们计算矩阵N的奇异值。为CaffeNet架构计算的矩阵N的奇异值如图所示9 .第九条。我们还在同一图中显示了当N的列从单位球面均匀随机采样时获得的奇异值观察到，虽然后者的奇异值衰减缓慢，但N的奇异值衰减很快，这证实了深层网络决策边界中存在大的相关性和冗余更确切地说，这表明存在低维d′（具有d′d）的子空间，其包含自然图像周围区域中的决策边界的大多数法向量。 我们假设普遍扰动的存在欺骗了大多数自然图像，部分原因是存在这样一个低维子空间，它捕获了决策边界不同区域之间的相关性。事实上，这个子空间“收集”了不同区域中决策边界的法线，因此属于这个子空间的扰动很可能欺骗数据点。为了验证这一假设，我们选择一个随机向量的范数为2000属于子空间S由前100个奇异向量所跨越，并计算其32.521.510.5000.5十一点五22.5三点五四个四点五5索引4图9：包含决策边界法向量的矩阵N图10：包含自然图像周围区域中决策边界的法向量的低维子空间的图示。为了说明的目的，我们叠加了三个数据点{x i}3、和对抗性扰动{ri}3，发送重新-到决策边界{Bi}3的各个数据点是不同图像集上的欺骗率（即，尚未用于计算SVD的图像集合这种扰动可以欺骗近38%的图像，从而显示-示出了注意{ri}3都存在于子空间S中。i=1假设在这个寻找的子空间显著优于随机扰动（我们记得这种扰动只能欺骗10%的数据）。图10示出了捕获决策边界中的相关性的子空间。还应该指出的是，这个低维子空间的存在解释了图1中所得到的普遍扰动的令人惊讶的推广性质。6，在那里，人们可以建立相对一般化的普遍扰动与非常少的图像。与上述实验不同的是，所提出的算法在该子空间中不选择随机向量，而是选择特定方向以最大化总体欺骗率。这解释了在和Al-出租m1中用随机向量策略获得的愚弄率之间的差距。5. 结论我们证明了存在小的普遍扰动，可以欺骗最先进的分类器对自然免疫，年龄我们提出了一个迭代算法来产生uniform扰动，并强调了这种扰动的几个性质。特别是，我们证明了通用扰动在不同的分类模型中具有很好的泛化能力，从而导致双重通用扰动（图像不可知，网络不可知）。我们进一步解释了这种扰动的存在与决策边界的不同区域之间的相关性。这提供了对深度神经网络决策边界几何形状的见解，并有助于更好地对决策界不同部分之间的几何相关性进行理论分析将是未来研究的主题。致谢我们衷心感谢NVIDIA公司的支持，并捐赠了用于此次研究的Tesla K40 GPU。奇异值随机正常向量1774引用[1] O. Bastani，Y.约安努湖Lampropoulos，D.维提尼奥提斯，A. Nori和A.天啊带约束的神经网络鲁棒性度量。在神经信息处理系统（NIPS），2016年。2[2] B. 比吉奥岛科罗纳D.马略卡湾Nelson，N.斯恩迪奇，P. Laskov，G. Giacinto和F.罗莉在测试时对机器学习的规 避 攻 击 。 在 Joint European Conference on MachineLearning and Knowledge Discovery in Databases，第387-402页，2013年。2[3] K. Chatfield，K. Simonyan、A. Vedaldi和A.齐瑟曼。魔鬼的回归细节：深入研究卷积网。在2014年英国机器视觉会议上。4[4] A.法齐湖，澳-地Fawzi和P.弗罗萨德分类器对对抗扰动的鲁棒性分析。CoRR，abs/1502.02590，2015年。2[5] A. Fawzi，S.Moosavi-Dezfooli，和P.弗罗萨德分类器的稳健性：从对抗性到随机噪声。在神经信息处理系统（NIPS），2016年。二、七[6] I.古德费洛，J。Shlens和C.赛格迪解释和利用对抗性的例子。国际学习表征会议（ICLR），2015年。二、七[7] K.他，X。Zhang，S. Ren和J. Sun.用于图像识别的深度残 差 学 习 。 在 IEEE 计 算 机 视 觉 和 模 式 识 别 会 议（CVPR），2016年。二、四[8] R. 黄湾，澳-地Xu，L. Schuurmans和C. Szepesv a'ri. 与强大的对手学习。CoRR，abs/1511.03034，2015。3[9] Y. Jia、E.Shelhamer，J.多纳休S.Karayev，J.隆河，西-地Gir- shick，S. Guadarrama和T.达雷尔。Caffe：用于快 速特 征嵌 入 的卷 积 架构 在ACM 国 际多 媒体 会 议（MM）中，第675-678页4[10] A.克里热夫斯基岛Sutskever和G. E.辛顿Imagenet分类与深度卷积神经网络。神经信息处理系统（NIPS）进展，第1097-1105页，2012年。2[11] Q. V. Le，W. Y. Zou，S. Y. Yeung，和A. Y. Ng.学习分层不变时空特征，用于独立子空间分析的动作识别。在计算机视觉和模式识别（CVPR）中，2011 IEEE会议，第3361-3368页。IEEE，2011年。2[12] S.- M.穆萨维-代兹福利A. Fawzi和P.弗罗萨德Deep-fool：一种简单而准确的欺骗深度神经网络的方法。在IEEE计算机视觉和模式识别会议，2016年。二、三、七[13] A. Nguyen、J. Yosinski和J. Clune深度神经网络很容易被愚弄：对不可识别图像的高置信度预测。在IEEE计算机视觉和模式识别会议（CVPR），第427-436页，2015年。2[14] E. Rodner，M.西蒙河Fisher和J.登茨勒在嘈杂环境中进行细粒度识别：卷积神经网络方法的灵敏度分析。英国机器视觉会议（BMVC），2016年。2[15] A. Rozsa，E. M. Rudd和T. E.博尔特对抗性的多样性和艰难的积极生成。在IEEE会议计算机视觉和模式识别（CVPR）工作坊，2016年。2[16]O. 鲁萨科夫斯基Deng，H.Su，J.Krause，S.萨蒂希S.妈Z。Huang，黄背天蛾A. 卡帕西A.科斯拉，M。伯恩斯坦A. Berg 和 L. 飞 飞 Imagenet 大 规 模 视 觉 识 别 挑 战 。International Journal of Computer Vision，115（3）：211-252，2015. 3[17] S. Sabour，Y. Cao，F. Faghri和D. J·弗利特对抗性操纵深 层 表 征 。 国 际 学 习 表 征 会 议 （ InternationalConference on Learning Representations ， ICLR ） ，2016。2[18] K. Simonyan和A.齐瑟曼。用于大规模图像识别的深度卷积网络。2014年国际学习表征会议（ICLR）。4[19] C.塞格迪W.刘先生，Y.贾，P.SermanetS.里德D.安格洛夫，D。Erhan，V. Vanhoucke，和A.拉比诺维奇。更深的回旋。在IEEE计算机视觉和模式识别会议（CVPR），2015年。4[20] C. 塞格迪，W。扎伦巴岛萨茨克弗布鲁纳D。二涵I. Goodfellow，和R。费格斯。神经网络的有趣特性2014年，国际学习代表会议（ICLR）。二、三、四[21] P. Tabacof 和 E. 瓦 勒 探 索 敌 对 形 象 的 空 间 。 IEEEInternational Joint Conference on Neural Networks ，2016。2[22] Y.泰格曼，M。杨，M. Ranzato和L.狼Deepface：缩小与人脸验证中人类水平性能的差距在IEEE计算机视觉和模式识别会议（CVPR），第1701-1708页，2014年。2