稀疏扰动的有效计算方法和稀疏攻击的研究

9087pSparseFool：几个像素就能产生很大的差异Apostolos Modas，Seyed-Mohsen Moosavi-Dezfooli，PascalFrossardE'colePolytechniqueFe'de' raledeLausanne{apostolos.modas，seyed.moosavi，pascal.frossard}@ epfl.ch摘要深度神经网络在图像分类任务上取得了非凡的成果，但已被证明容易受到精心设计的输入数据扰动的攻击。虽然大多数攻击通常会改变许多图像像素的值，但已经表明，深度网络也容易受到输入稀疏变化的影响。然而，没有计算上有效的方法已被提出来计算稀疏扰动。在本文中，我们利用低平均曲率的决策边界，并提出SparseFool，一个几何启发稀疏攻击，控制扰动的稀疏性。广泛的评估表明，我们的方法计算稀疏扰动非常快，并有效地扩展到高维数据。我们进一步分析了扰动的可转移性和视觉效果，并显示了跨图像和网络的共享语义信息的存在。最后，我们证明了对抗性训练只能稍微提高对使用SparseFool计算的稀疏加性扰动的鲁棒性。1蟑螂宫殿浴缸凉鞋酒瓶泡图1：ImageNet的对抗性示例，由SparseFool在ResNet-101架构上计算。每列对应于不同水平的扰动像素。傻瓜标签显示在图片下方。分类器1. 介绍明克公司k（x+ r）Rk（x），（1）深度神经网络（DNN）是功能强大的学习模型，在许多不同的分类任务中实现了最先进的性能[27，49，1，22，9]，但已被证明容易受到对其输入数据的非常小且通常不可察觉的对抗性操作的影响[46]。有趣的是，这种对抗性扰动的存在不仅限于加法扰动[21，12，48]或分类任务[8]，而且可以在许多其他应用中找到[47，7，28，31，39，41，42]。对于图像分类任务，最常见的对抗性扰动类型是p最小化扰动，因为它们更容易分析和优化。形式上，对于给定的分类器和图像x2Rn，我们将改变的最小扰动r定义为对抗扰动1SparseFool 的 代 码 可 在 https://github.com/LTS4/SparseFool上找到。已经提出了几种计算`2和`∞对抗扰动的方法（攻击）[46，15，24，33，6，32]。然而，理解深度神经网络在其他扰动机制中的脆弱性仍然是不可能的。重要的。特别是，已经证明[38，44，35，2，18] DNN可以错误分类图像，当只有一小部分输入被改变时（稀疏扰动）。在实践中，稀疏扰动可以对应于一些雨滴，这些雨滴在“停止”标志上反射太阳，但足以欺骗自动驾驶车辆;或者是一片有着稀疏的彩色花朵的农田，无人机被迫向未受影响的地区喷洒农药。理解深度网络对这种简单扰动机制的适应性可以进一步帮助设计方法来提高深度分类器的鲁棒性。稀疏扰动的一些先前的工作最近已经被取消。作者在[38]中提出了JSMA9088方法，该方法基于像素的显着性得分来扰动像素。此外，[44]中的作者利用进化算法（EA）来实现极其稀疏的扰动，而[35]中的作者最终提出了一种黑盒攻击，该攻击使用贪婪局部搜索算法计算稀疏对抗扰动。然而，解决Eq. (1)在0意义下由此产生的扰动通常包括高幅度的噪声，集中在少数像素。这使得它们非常明显，在许多情况下，扰动的像素甚至可能超过图像的动态范围。因此，我们在本文中提出了一个有效的和cipled的方法来计算稀疏扰动，而在同一时间内，确保扰动像素的有效性。我们的主要贡献如下：• 我们提出了SparseFool，这是一种几何启发的稀疏攻击，它利用边界• 我们通过广泛的评估表明，（a）我们的方法计算稀疏扰动快得多与现有方法相比，以及（b）它可以有效地扩展到高维数据。• 我们进一步提出了一种方法来控制所产生的扰动的感知，同时保持稀疏性和复杂性的水平。• 我们分析了受攻击影响的视觉特征，并显示了不同图像和网络之间存在一些共享的语义信息。• 最后，我们证明了对抗性训练稍微降低了对稀疏扰动的脆弱性，但还不足以产生更强大的分类器。本文其余部分的组织结构如下：在第2节中，我们描述了计算稀疏对抗扰动的挑战和问题。在第3节中，我们通过线性化和求解初始优化问题，提供了一种计算稀疏对抗扰动的有效方法。最后，在第4节中提供了计算稀疏扰动的评估和分析。2. 问题描述2.1. 寻找稀疏扰动现有的对抗性攻击算法大多解决Eq.(1)对于p= 2或1，导致密集但不可察觉的扰动。的情况稀疏扰动的目标是最小化欺骗网络所需的扰动像素对应于最小化等式中的krk0（一）.不幸的是，这会导致NP难问题，一般无法保证达到全局最小值[3，37，40]。那里存在不同的方法[34，40]来避免这个问题的计算负担，其中`1松弛是最常见的;在线性约束下krk 0的最小化可以通过求解相应的凸“1”问题[5，10，36] 2来近似。 因此，我们正在寻找一个有效的方式来利用这样的松弛来解决优化问题的方程。（一）.DeepFool[33]是一种利用这种关系的算法，通过采用迭代过程，该迭代过程包括在每次迭代时对分类器进行线性化，以便估计最小对抗扰动r。具体地，假设f是分类器，在每次迭代i，f围绕当前点x（i）线性化，最小扰动r（i）（在‘2’意义上）被计算为x（i）在线性化超平面上的投影，并且下一个Δ x（i+1）被更新。可以使用这样的线性化过程来求解方程（Eq.（1）对于p=1，以便获得对“0”的近似溶液因此，通过将投影推广到`p范数，（p2[1，1））并设置p=1，`1-DeepFool提供了一种使用`1投影计算稀疏对抗扰动的有效方法2.2. 扰动有效性虽然`1-DeepFool有效地计算稀疏扰动，但它并没有明确尊重对抗图像值有效性的约束。当计算对抗扰动时，非常重要的是确保对抗图像x+r的像素值位于彩色图像的有效范围内（例如，[0，255]）。为在“2”和“∞”扰动下，图像的几乎每个像素都被小幅度的噪声扭曲，使得大多数com-focused图像都被小幅度的噪声扭曲mon算法通常忽略这样的约束[33，15]。在这种情况下，不太可能有许多像素超出其有效范围;并且即使这样，在这种对抗图像的计算之后裁剪无效值也具有较小的影响。然而，不幸的是，对于稀疏扰动，情况并非如此;解决“1”优化问题会导致一些高幅度噪声的失真像素，并且在计算对抗图像之后对值进行限幅（clipping）会对攻击的成功具有显著影响。换句话说，随着扰动变得稀疏，每个像素的一致性通常比2或∞扰动。我们证明了这种裁剪操作对由`1- DeepFool产生的对抗性扰动的质量。 例如，对于在ImageNet [9]上训练的VGG-16 [43]网络计算的扰动，我们发现，2在某些条件下，这种近似的解确实是最优的[4，11，16]。9089D算法1：LinearSolver输入：图像x，法线w，边界点xB，投影算子Q。输出：扰动点x（i）B1初始化：x（0）→x，i→0，S={}6= 0 do属于类别1的数据点x的附近。B可以被看作是针对类别1的一个对所有的线性分类器。5rd→|wT(x(i)-xB)||·符号（w d） |·sign(w d)1-DeepFool通过仅扰动0来实现几乎100%的愚弄率。037%的像素。然而，将对抗图像的像素值裁剪为[0，255]导致欺骗率仅为13%。此外，在算法的迭代过程中加入裁剪算子并不能改善结果.换句话说，`1-DeepFool无法正确计算稀疏扰动。这说明需要6x（i+1）→Q（x（i）+r）7S→S[{d}8i→i+19端部10返回x（i）约束优化问题：一种改进的攻击算法，它本机考虑到生成的对抗图像的有效性，如在尽量减少Rkrk1下一节。服从wT（x+r）-wTxB= 0l 4 x+r 4u。（三）2.3. 问题公式化基于上述讨论，通过求解以下一般形式的优化问题来获得稀疏对抗扰动：在下面的部分中，我们提供了一种解决优化问题（3）的方法，并介绍了SparseFool，这是一种用于计算稀疏对抗扰动的快速而有效的算法，它通过将决策边界近似为仿射超平面来线性化约束。尽量减少R受krk1k（x+r）6=k（x）l4x+r4u，（二）3. 稀疏对抗扰动3.1. 线性化问题解在解决优化问题（3）时，计算其中l，u，2R，n表示x+r的值的下限和上限，使得l ixi+ r iu i，i = 1. . n.为了找到一个有效的松弛问题（2），我们专注于决策边界的几何特征，特别是它的曲率。 已经证明[13，14，20]，最先进的深度网络的决策边界在数据样本的邻域中具有相当低的平均曲率。换句话说，对于一个数据点x和它对应的最小的`2对抗扰动v，x附近的决策边界可以通过一个穿过数据点x的超平面B=x+v和一个法向量w来局部地很好地近似（见图2）。2）的情况。因此，我们利用这一特性并将优化问题（2）线性化，以便可以通过求解以下框来计算稀疏对抗扰动：x在近似超平面上的‘1’投影并不能保证解。对于扰动图像，考虑其某些值超过由l和u定义的界限的情况。因此，通过重新调整无效值以匹配约束，所得到的对抗图像最终可能不位于近似超平面上出于这个原因，我们提出了一个迭代过程，其中在每次迭代中，我们一次只向法向量w的一个单一坐标投影如果向特定方向投影x不能提供解，则在该坐标处的扰动图像已经达到其极值。因此，在下一次迭代中，这个方向应该被忽略，因为它不能进一步帮助找到更好的解决方案。形式上，设S是一个包含所有方向的集合，W，其不能对最小扰动做出贡献。然后，k（x）=1k（x）=1B2当wT（x（i）-xB）3r→04图2： 近似的决策边界B在d→ argmax|WJ|j∈/S9090x（2x（1Bx（1x（0BBB算法2：SparseFool输入：图像x，投影算子Q，分类器f。输出：扰动r（0）1初始化：x→x，i→02whilek<$（x（i））=k<$（x（0））do3radv=DeepFool（x（i））4x（i）=x（i）+radv（0）5w（i）=rf（i）（x（i））-rfk（x（i）（x（i）xk（xB）B ）B6x（i+1）=LinearSolver（x（i），w（i），x（i），Q）图3：SparseFool算法的说明。绿色表示每次迭代计算的`2-DeepFool对抗扰动。在这个例子中，算法7i→i+1端8返回r=x（i）-x（0）在2次迭代后收敛，总扰动为r=x（2）-x（0）.最小扰动r通过当前数据点x（i）在估计超平面上的“1”投影被更新为：|wT（x（i）-x）|3.2. 求点xB和法线w为了完成我们对优化问题（3）的解决方案，我们现在关注决策边界的线性近似。回想一下2.3节，我们需要找到边界点xB，以及相应r→B·sign（w），（4）D|w d|D其中d是w的最大绝对值的索引还没有被使用过d→argmax|WJ|.（五）j∈/S在进行下一次迭代之前，我们必须确保下一个x（i+1）的值的有效性。出于这个原因，我们使用投影算子Q（·），其通过将x（i）+r投影到由l和u定义的框约束上来读取超出边界的更新点的值。因此，新的矩阵x（i+1）被更新为x（i+1）→Q（x（i）+r）。这里注意，边界l、u不限于仅表示图像的动态范围，但是可以被推广以满足任何类似的限制。例如，正如我们稍后在4.2节中所描述的，它们可以用于控制计算的对抗图像的可感知性。下一步是检查新的x（i+1 ）是否已经到达近似超平面。否则，这意味着坐标d处的扰动图像已经达到其极值，因此我们无法进一步改变它;朝着相应的方向扰动将没有效果。因此，我们减少搜索空间，通过添加到禁止集S的方向d，并重复该过程，直到我们到达近似超平面。在算法1中总结了用于解决线性化问题的法向量w找到xB类似于计算（在`2意义上）x的对抗示例，因此可以通过应用现有的`2攻击算法之一来近似。然而，并非所有这些攻击都适合我们的任务;我们需要找到尽可能接近原始图像x的对抗性示例的快速方法。回想一下，DeepFool [33]迭代地将x移向决策边界，并在扰动数据点到达边界的另一侧时停止。因此，结果扰动样本通常非常接近决策边界，因此，xB可 以 很 好 地 近 似 为 x+radv ， 其 中 radv 是 x 的 相 应 `2-DeepFool扰动。然后，如果我们将网络w：=rfk（xB）（xB）-rfk（x）（xB）。（六）因此，该决定的边界r。y不能被仿射超平面B 逼近，x：wT（x-xB）= 0，且稀疏对抗扰动通过应用算法1来计算。3.3. SparseFool然而，虽然我们期望有一个一步的解决方案，在许多情况下，该算法并不收敛。这种行为背后的原因在于网络的决策边界仅是局部平坦的[13，14，20]。因此，如果"1“扰动将数据点x移开9091平均迭代次数BBB10095908512014121001080880606751.02.03.0λ4.05.06.0401.02.03.0λ4.05.06.041.02.03.0λ4.05.06.0图4：对于不同的值，欺骗率，扰动的稀疏性和SparseFool的平均迭代次数λ，来自ImageNet数据集的4000张图像，使用Inception-v3 [45]模型。从平坦区域开始，则扰动点将不会到达决策边界的另一侧。我 们 减 轻 了 收 敛 问 题 的 迭 代 方 法 ， 即SparseFool，其中每个迭代包括决策边界的线性近似。具体地，在迭代i处，基于当前pixel x（i）使用`2 -DeepFool来估计边界点x（i）和正规向量w（i）。然后，通过算法1的解来更新下一个pixix（i+1），x（i）作为初始点，并且当x（i）改变网络的标签的图示4. 实验结果4.1. 设置我们使用MNIST [26]测试集的10000张图像，CIFAR-10 [23]测试集的10000张图像以及从ILSVRC 2012验证集中随机选择的4000张图像在深度卷积神经网络架构上测试SparseFool。为了评估我们的算法，并与相关的工作进行比较，我们计算了愚弄率，中位扰动百分比和平均执行时间。给定一个数据集D，愚弄率度量算法的效率，使用公式：SparseFool在图中给出3，算法是summa-.. . .. x2D：f（x + rx） f（x）. /. D. ，其中rx是每-在算法2中进行了Rized。然而，我们注意到，不是使用约束-在SparseFool的第6步中，通过进一步进入边界的另一侧，可以实现更好的收敛，并找到通过数据点x（i）+λ（x（i）-x（i））的超平面的解，其中λ ≥ 1。具体地说，如图4、此参数用于控制欺骗率、稀疏性和复杂性之间的权衡。值接近1，导致扰动稀疏，但也导致欺骗率降低和复杂性增加。相反，较高的λ值导致快速收敛-甚至是一步解-，但所产生的扰动不那么稀疏。由于λ是该算法的唯一参数，因此可以方便地调整它以满足相应的欺骗率、稀疏性和复杂度要求。最后，注意B对应于对抗类和估计的真实类之间的边界，因此它可以被视为仿射二元分类器。由于在每次迭代中，对抗类都被计算为最接近真实类的类（在`2的意义上），因此我们可以说SparseFool作为无目标攻击进行操作。即使如此，它也可以很容易地转换为目标，只需在每次迭代时计算特定类别的对抗性示例对应于图像x的扰动。中值扰动百分比对应于每个欺骗样本被扰动的像素的中值百分比，而平均执行时间测量每个样本3的算法的平均执行时间。我们将SparseFool与JSMA攻击的实现进行比较[38]。由于JSMA是一种有针对性的攻击，因此我们对其“非目标”版本进行评估在成功的条件下，我们还做了一个修改;不是检查预测类是否等于目标类，而是简单地检查它是否不同于源类。让我们注意到，JSMA没有在ImageNet数据集上进行评估，因为它在搜索所有候选对时的计算成本巨大[6]。我们还将SparseFool与[44]中提出的“一像素攻击”进行了比较。由于直到“一像素攻击”找到一个对抗性的例子。 我再次重申，我们不评估ImageNet数据集上的“单像素攻击”，因为它对于高维图像的计算成本很高。4.2. 结果整体性能。我 们 首先评估SparseFool，JSMA和“ 一个像素攻击”在不同情况下的性能，3所有实验均在GTX TITAN X GPU上进行愚弄率%扰动像素的中值数9092ent数据集和架构。对于MNIST和CIFAR- 10数据集，SparseFool中的控制参数λ分别设置为1和3。我们在表1中观察到，稀疏傻瓜计算2。9 x稀疏扰动，并且是4。与JSMA相比，MNIST数据集的速度快7倍。对于CIFAR-10数据集，这种行为仍然类似，其中Sparse- Fool平均计算2的扰动。4倍更高的稀疏性，并且是15。速度快5倍。请注意这里的执行时间的差异：随着输入数据维度的增加，JSMA变得更慢，而SparseFool的时间复杂度保持在非常低的水平。796282(a) MNIST狗猫狗车卡车车鸟卡车鹿(b) CIFAR-10然后，与“一像素攻击”相比，我们观察到对于MNIST数据集，我们的方法计算5。5倍稀疏扰动，并且快3个量级以上。对于CIFAR-10数据集，SparseFool仍然能够找到非常稀疏的扰动，但比这种情况下的“一像素攻击”要少。原因是我们的方法没有解决原始的“0”优化问题，而是通过#21014;解的线性化。所得的解通常是次优的，并且当数据点非常接近边界时可能是最优的，其中线性近似更准确。然而，解决我们的线性化问题是快速的，并且使我们的方法能够有效地扩展到高维数据，这不是“一像素攻击”的情况考虑到解决方案的稀疏性和所需的复杂性之间的权衡，我们选择牺牲前者，而不是遵循像[44]这样的复杂穷举方法。事实上，我们的方法能够比“一像素攻击”算法快270倍地计算稀疏扰动，并且需要对网络的查询少2个最后，由于JSMA和“单像素攻击”的巨大计算成本，我们不将其用于大型ImageNet数据集。在这种情况下，我们将Sparse-Fool与从每个颜色通道（RGB）中随机选择元素子集并替换其元素的算法进行比较。从集合V={0，255}中随机选取一个值。每个通道子集的基数被约束为匹配SparseFool的每通道扰动元素的中值数;对于每个通道，我们选择尽可能多的元素作为中位数，在所有图像中，SparseFool的扰动el -图5：（a）MNIST和（b）CIFAR-10数据集的对抗性示例，分别由 LeNet 和ResNet-18架构上的SparseFool 计算。每列对应于不同水平的扰动像素。有效地实现这样的欺骗率和稀疏性并且同时缩放到高维数 据 的 适 当 稀 疏 攻 击 。 “One-pixel attack” does notnecessarily find good solutions for all the studied datasets,however, SparseFool – as it relies on the high dimensionalgeome- try of the classifiers – successfully computes sparseenough perturbations for all three感知能力。在本节中，我们将展示一些由SparseFool生成的对抗性示例，针对三种不同的稀疏性水平;高度稀疏的扰动，稀疏的扰动，以及中间的某个地方。对于MNIST和CIFAR-10数据集（分别为图5a和图5 b），我们观察到，对于高度稀疏的情况，扰动是不可感知的或如此稀疏（即，1像素），它可以很容易地被忽略。然而，随着扰动像素的数量增加，失真变得更加可察觉，并且在某些情况下，噪声是可检测的并且远非不可察觉的。对于ImageNet数据集也观察到了相同的行为（图1）。①的人。对于高度稀疏的扰动，噪声再次是不可感知的或可忽略的，但随着密度的增加，它变得越来越明显。为了消除这种可感知性效应，我们专注于对抗性图像x的值的下限和上限。回想一下2.3节，边界l，u是这个频道的内容。 SparseFool的表演以这样的方式定义，i = 1，i = 1 . n. 如果这些ImageNet数据集的数据在表2中报告，而随机算法的相应欺骗率为18。2%，13. 2%，14. 5%，9。6%。观察到随机算法获得的愚弄率远远不能与SparseFool的相比，这表明所提出的算法巧妙地找到了非常稀疏的解决方案。实际上，我们的方法在不同的体系结构之间是一致的，平均扰动为0。21%的像素，每个样本的平均执行时间为7秒。据我们所知，我们是第一个提供bounds表示图像的动态范围，则x∈i可以从该范围中取每一个可能的值，并且在元件i处的噪声的幅度可以达到某些可见的水平。然而，如果每个元素的扰动值接近原始值xi，那么我们可能会阻止幅度达到非常高的水平。因此，假设动态范围为[0，255]，我们显式地con-i-使x的值在±6的小范围内，xi，使得0xi-6xixi+6255。描绘了不同值69093数据集网络Acc.（%）愚弄率（%）扰动（%）时间（秒）SFJSMA1-PASFJSMA1-PASFJSMA1-PAMNISTLeNet [25]九十九。14九十九。93九十五731001 .一、664.第一章859 .第九条。430的情况。140的情况。66三百一十2CIFAR-10VGG-1992.71100九十八121001 .一、07二、250的情况。150的情况。34六、28一百零二7ResNet18 [17]92.741001001001 .一、273 .第三章。910的情况。20的情况。698. 73167.4表1：SparseFool（SF），JSMA [38]和“一像素攻击”（1 -PA）[44]在MNIST和CIFAR- 10数据集上的性能3请注意，由于其高复杂性，xi±255xi±30xi±10表2：SparseFool在ImageNet数据集上的性能，使用PyTorch提供的预训练模型。31200080004000两栖动物（0.（227%）阿拉伯骆驼（0. 169%）两栖动物（1.（058%）阿拉伯骆驼（0.（839%）两栖动物（4.（296%）阿拉伯骆驼（3.（202%）00 50100150 200 250δ图7：6对SparseFool扰动的可感知性和稀疏性的影响。值6显示在每列的顶部，而欺骗标签和扰动像素的百分比写在每个图像的下面。图6：SparseFool扰动对 于 x 值 周 围 的 ±6 ， 对 于 来 自 ResNet-101 架 构 上 的ImageNet的100个在图6中。值越高，我们给予扰动的自由度越大，并且对于6=255，我们利用整个动态范围。但观察到2025年6月之后，稀疏度水平似乎几乎保持不变，这表明我们不需要使用整个动态范围。此外，我们观察到，从这个值开始，每个SparseFool样本的平均执行时间似乎也保持不变，而愚弄率总是100%，不管6。因此，通过选择适当的值为6，我们可以控制所产生的扰动的可感知性，保持足够的水平附近的稀疏性。图6显示了δ对扰动的可感知性和稀疏性的影响。7.第一次会议。可转移性和语义信息。我们现在研究SparseFool对抗性扰动是否可以在不同的架构中通用化对于VGG-16，ResNet-扰动像素的中值数网络Acc.（%）愚弄发生率（%）很好（%）时间（秒）VGG-16七十一591000的情况。18五、099094101和DenseNet-161 [19]架构，我们在表3中报告了每个模型在输入另一个模型生成的对抗性示例时的欺骗率。我们观察到稀疏对抗扰动只能在一定程度上推广，并且正如预期的那样[29]，它们更容易从较大的架构转移到较小的架构。这表明在SparseFool利用的不同架构之间应该有一些共享的语义信息，但扰动主要依赖于网络。关注ImageNet数据集的一些动物类别，我们观察到扰动确实集中在“重要”区域（即，头部），但是没有一致的模式来指示对于网络最重要的特定特征（即，眼睛、耳朵、鼻子等）;在许多情况下，噪声还在图像的不同部分周围扩散。现在检查语义信息是否在不同的架构中共享（图1）。8），我们观察到，在所有的网络中，噪声始终存在于周围9095VGG16ResNet101DenseNet161VGG16百分百10个。百分之八8. 百分之二ResNet101二十五百分之三百分百12个。百分之一猫平面表3：ImageNet中4000个样本的模型对之间SparseFool扰动的愚弄率。行和列分别表示源模型和目标模型。(a) （c）DenseNet-161猫鹿(a) 通用特征鹿鹿(b) 愚弄类功能图9：ResNet-18架构上CIFAR-10数据集的SparseFool扰动的语义信息。注意，扰动集中在（a）面部区域周围的一些特征上，以及（b）对愚弄类重要的区域上。年龄增长到2。百分之四十四。换句话说，逆向训练的网络只会导致稀疏性的轻微变化，因此在“∞”扰动下训练它并不能显著提高其对稀疏扰动的鲁棒性。图8：ImageNet的SparseFool扰动的共享信息，在三种不同的架构上计算。对于所有网络，第一行图像被分类为图像的重要区域，但它集中或传播的方式对于每个网络都是不同的。对于CIFAR-10数据集，我们观察到在许多动物类的情况下，SparseFool倾向于扰乱头部区域周围的一些单一特征（即，眼、耳、鼻、口等），如图9a.此外，我们试图了解扰动像素和愚弄类之间是否存在相关性。有趣的是，我们观察到，在许多情况下，该算法扰动了图像中与愚弄类的重要特征相对应的区域，即，当将“鸟”标记改变为“平面”时，其中扰动似乎表示平面的某些部分（即，机翼、尾翼、机头、涡轮）。这种行为变得更加明显，当愚弄拉贝尔是一个对抗训练网络的鲁棒性 最后，我们在CIFAR- 10数据集上研究了一个反向训练的ResNet-18网络对稀疏扰动的鲁棒性，使用`∞扰动。 的准确性网络更强大82. 17%，而培训过程中，其整体性能与[30]中提供的相似。与表1的结果相比，平均时间下降到0。3秒，但扰动百分比-5. 结论计算简单p范数以外的对抗扰动是一个具有挑战性的问题。对于稀疏扰动，除了“0”最小化的NP-困难之外，还需要确保对抗示例值的有效性。在这项工作中，我们提供了一种新的几何启发稀疏攻击算法，该算法速度快，可以扩展到高维数据，其中也可以利用所产生的扰动的稀疏性。最后，我们提供了一个简单的方法来改善的perceptibility的扰动，同时保持稀疏性和复杂性的水平。我们还注意到，对于某些数据集，所提出的稀疏攻击会改变不同图像之间共享的特征。最后，我们证明了对抗性训练并没有显著提高对稀疏扰动的鲁棒性。我们相信，所提出的方法可以用于进一步理解深度图像分类器的行为和几何结构，并为构建更鲁棒的网络提供见解。确认我们感谢Mireille El Gheche和Stefano D'Aronco进行了富有成果的讨论。 这项工作得到了谷歌学院研究奖，和瑞士哈斯勒基金会，在罗伯特项目的框架内。我们也非常感谢NVIDIA公司的支持，为这项研究捐赠了GTX Titan X GPU。狗狗猫平面鹿鹿9096引用[1] S. Abu-El-Haija，N.Kothari，J.Lee，P.纳采夫湾托代里奇，B. Varadarajan和S. Vijayanarasimhan。Youtube-8 m：2016年 大 规 模 视 频 分 类 基 准 。 arXiv 预 印 本 arXiv ：1609.08675。[2] A.比比湾Alfadly和B.加尼姆高斯输入下pl-dnn概率矩的解析表达式。在IEEE计算机视觉和模式识别会议论文集，2018。[3] T. Blumensath和M. E.戴维斯稀疏近似的迭代阈值傅立叶分析与应用杂志，14（5）：629[4] E. 坎德斯，M。Rudelson，T.Tao和E.VersHynin. 用线性规划进行误差校正. 第46届IEEE计算机科学基础年会（FOCS[5] E.J. C 和 E 和 T。 陶。 通 过 线 性 规 划 解 码 。IEEETransactions on Information Theory，51（12）：4203 -4215，2005.[6] N. 题名其余部分：D.评估神经网络的鲁棒性。IEEE安全与保密研讨会（SP），第39-57页[7] N. Carlini和D.瓦格纳。音频对抗示例：对语音到文本的焦油攻击。IEEE安全和隐私研讨会（SPW），2018年。[8] M. M. Cisse，Y. Adi，N. Neverova和J.凯舍胡迪尼：愚弄 深 层 结 构 预 测 模 型 . 神 经 信 息 处 理 系 统 进 展（NIPS），第6977[9] J. Deng，W.东河，巴西-地索赫尔湖J.李湖，加-地Kai和F.- F.李Imagenet：一个大规模的分层图像数据库。IEEE计算机视觉和模式识别会议（CVPR），第248-255页[10] D. L. Donoho 压 缩 感 知 。 IEEE Transactions onInformation Theory，52（4）：1289[11] D. L. Donoho 和M.埃拉德最佳稀疏表示一般（非正交）字典通过`1最小化。国家科学院，100（5）：2197[12] A. Fawzi和P.弗罗萨德分类器真的是不变的吗？英国机器视觉会议（BMVC），2015年。[13] A. Fawzi，S.M. Moosavi-Dezfooli，和P.弗罗萨德深度网络的鲁棒性：几何学视角。IEEE Signal ProcessingMagazine，34（6）：50[14] A.法齐S.- M.穆萨维-德兹富利P.弗罗萨德，以及S.索阿托深度网络的拓扑结构和几何结构的实证研究IEEE计算机视觉和模式识别会议（CVPR），第3762[15] I. J. Goodfellow，J.Shlens和C.赛格迪解释和利用对抗性的例子。2015年国际学习表征会议（InternationalConference on Learning Representations，ICLR）[16] R. Gribonval和M.尼尔森基的并集中的稀疏表示IEEETransactions on Information Theory，49（12）：3320[17] K. 他，X。Zhang，S.Ren和J.太阳用于图像识别的深度残差IEEE计算机视觉和模式识别会议（CVPR），第770[18] M. Hein和M.安德里先科对分类器对抗性操作的鲁棒性的形式化保证。在神经信息处理系统的进展，2017年。[19] G. Huang，Z.柳湖，加-地Maaten和K.Q. 温伯格密集连接的卷积网络。IEEE计算机视觉和模式识别会议（CVPR），第2261-2269页[20] S. Jetley，N. A.主，P。H. S.乇 有这样的朋友，谁还需要对手？、2018. arXiv预印本arXiv：1807.04200。[21] C. Kanbak，S.-M. Moosavi-Dezfooli，和P.弗罗萨德深度网络的地理度量鲁棒性：分析和改进。IEEE计算机视觉和模式识别会议（CVPR），第4441-4449页[22] I. Krasin，T. Duerig，N. Alldrin，A. Veit，S.阿布·艾尔·哈伊贾S. Belongie，D.蔡氏Z.Feng，V.费拉里Gomes，A.古普塔D.纳拉亚南角孙，G. Chaihik和K.墨菲打开-图像：用于大规模多标签和多类别图像分类的公共数据集。数据集可从https://github.com/openimages获得，2016年。[23] A.克里热夫斯基从微小的图像中学习多层特征。技术报告，多伦多大学，2009年。[24] A.库拉金岛 Goodfellow和S. 本吉奥。 物理世界中的对 抗 性 例 子 ， 2016 年 。 arXiv 预 印 本 arXiv ：1607.02533。[25] Y.莱肯湖Bottou，Y. Bengio和P.哈夫纳基于梯度的学习应 用 于 文 档 识 别 。 Proceedings of the IEEE ， 86（11）：2278[26] Y. LeCun和C.科尔特斯Mnist手写数字数据库。数据集见http://yann.lecun.com/exdb/mnist/，2010年。[27] T.- Y. 林，M。迈尔，S。贝隆吉，J.Hays，P.Perona，D.Ra- manan ， P.Dollr ， 和 C.L. 齐 特 尼 克 Microsoftcoco：上下文中的公共对象欧洲计算机视觉会议，第740-755页[28] Y.-- C. 林志-W. Hong，Y.H. Liao，M.-L. 施，M.Y. Liu和M.太阳深度强化学习智能体的对抗攻击策略国际人工智能联合会议，第3756-3762页[29] Y. Liu，X.Chen C.，马缨丹属Liu和D.X. 歌深入研究可转移的对抗性示例和黑盒攻击，2016年。arXiv预印本arXiv：1611.02770。[30] A. 马德里A. 马克洛夫L. 施密特D. 齐普拉斯，以及A. 弗拉多面向抵抗对抗性攻击的深度学习模型2018年国际学习表征会议[31] J. H. Metzen，M.C. Kumar，T.Brox和V.费舍尔普遍对抗性扰动对语义图像分割。IEEE计算机视觉国际会议（ICCV），第2774-2783页[32] S.- M. 穆萨维-德兹富利A.法齐O.Fawzi，以及弗罗萨德。普遍对抗性扰动。IEEE计算机视觉和模式识别会议（CVPR），第86-94页[33] S.- M.穆萨维-代兹福利A. Fawzi和P. 弗罗萨德Deep-fool：欺骗深度神经网络的一种简单而准确的方法IEEE计算机视觉和模式识别会议（CVPR），第2574-2582页9097[34] M. Nagahara，D. E. Quevedo和J.奥斯特加德稀疏分组预 测 控 制 在 确 定 性 信 道 网 络 控 制 中 的 应 用 IEEETransactions on Automatic Control，59（7）：1899[35] N. Narodytska和S.卡西维斯瓦纳森对深度神经网络的简单黑盒对抗攻击。IEEE计算机视觉和模式识别研讨会（CVPRW），第1310-1318页[36] B. K. 纳塔拉扬。线性系统的稀疏近似解SIAM Journalon Computing，24（2）：227[37] M. 尼科洛娃用0范数正则化的最小二乘极小元的描述。全球 微 型 化 的 唯 一 性 。 SIAM Journal on ImagingSciences，6（2）：904-937，2013。[38] N. Papernot，P. McDaniel，S.贾，M。Fredrikson，Z.B. Ce-lik和A.大师深度学习在对抗环境中的局限性IEEE欧洲安全与隐私研讨会（EuroS P），第372-387页[39] N. Papernot，P.McDaniel，A.Swami和R.哈朗为递归神经网络制作对抗性输入序列。IEEE军事通信会议（MIL-COM），第49-54页[40] A.帕特拉斯库和我。尼科拉0正则凸优化的随机坐标下降方法 。 IEEETransactions on Automatic Control， 60（7）：1811 -1824，2015。[41] A.罗兹萨Gunther，E. M. Rudd和T. E.博尔特面部特征是否具有对抗性？International Conference on PatternRecognition（ICPR），第3121-3127页，2016年。[42] A. 罗兹萨 Gunther，E. M. Rudd和T. E. 博尔特 特征：准确性和对抗性鲁棒性。模式识别快报，2017年。[43] K. Simonyan和A.齐瑟曼。用于大规模图像识别的深度卷积网络。2015年国际学习表征会议（InternationalCon