7748Meta梯度对抗攻击郑元1，2，张杰1，2，贾云培1，2，谭传启3，薛涛3，石光山1，21中国科学2中国科学院大学3腾讯{zheng.yuan，yunpei.jia}@ vipl.ict.ac.cn;{zhangjie，sgshan}@ict.ac.cn;{jamestan，emmaxue} @ tencent.com摘要近年来，对抗性攻击的研究已成为一个热点.虽然目前关于基于转移的对抗性攻击的文献已经在提高对看不见的黑盒模型的可转移性方面取得了可喜的成果，但它仍然有很长的路要走。受Meta学习思想的启发，本文提出了一种新的元梯度对抗攻击（MGAA）体系结构，该体系结构是即插即用的，可以与现有的基于梯度的攻击方法集成，以提高跨模型的可移植性。具体来说，我们从一个模型动物园随机抽样多个模型，组成不同的任务和迭代模拟白盒攻击和黑盒攻击在每个任务。通过缩小白盒和黑盒攻击中的梯度方向之间的差距，可以提高对抗性示例在黑盒设置上的传输能力在CIFAR10和ImageNet数据集上进行的大量实验表明，我们的架构在黑盒和白盒攻击设置方面都优于最先进的方法。1. 介绍近年来，随着神经网络的迅速发展，神经网络的可靠性问题逐渐引起人们的重视。神经网络对对抗性的例子非常敏感，对输入的不可察觉的扰动可以容易地欺骗模型，导致意外的错误。例如，当采用面部识别技术进行支付时，面部图像上的轻微扰动可以欺骗面部识别模型识别为其他人。由于攻击和防御是两个相辅相成的方面，对抗性攻击的研究最终可以提高模型的鲁棒性，从而使模型更加可靠。近年来，人们提出了许多方法来提高对白盒mod-2000[15]、[16]、[17]、[18]、[19]DeepFool [32]等。这些方法基于对模型参数的获取，只需要在模型中加入人类无法察觉的扰动，就可以使模型对输入图像产生误分类，称为白盒攻击。然而，在现实中，更实际的情况是攻击者无法获得目标模型的任何信息，即黑盒攻击。因此，一些方法转向利用对抗性示例的可转移性来进行黑盒攻击，例如MIM[8]、DIM [50]、TIM [9]、NI-SI [27]等。虽然这些方法中的大多数在黑盒攻击的情况下取得了有希望的结果，但由于白盒模型和看不见的黑盒模型之间的差异，对抗性示例的可移植性仍然有限。受元学习哲学的启发，我们提出了一种新的架构命名为元梯度对抗攻击（MGAA），这是即插即用，可以与任何基于梯度的对抗攻击方法。MGAA的主要思想是通过迭代模拟白盒和黑盒攻击来生成对抗性示例，以提高可移植性。具体地说，如图1，在每次迭代中，从模型动物园中随机抽取多个模型组成一个任务，该任务可以分为元训练和元测试步骤。元训练步骤首先使用多个模型的集合来模拟白盒攻击以获得临时对抗示例，然后元测试步骤将其用作基础以通过模拟黑盒攻击场景来获得扰动。最后，在元测试步骤期间获得的扰动被添加到在先前迭代中生成的对抗示例。在第3.3节中，更多的理论分析表明，我们提出的架构可以逐渐缩小白盒攻击和黑盒攻击设置之间的梯度方向差距，从而提高生成的对抗性示例的可移植性。不同于通过模型训练增强泛化能力的普通元学习方法，我们提出的MGAA直接利用梯度信息。7749−任务采样……Model ZooMeta列车…Meta测试…攻击方法扰动攻击方法扰动攻击方法扰动抽样抽样火车模型测试模型Meta列车Meta测试任务编号T任务#iMetaTrainMeta任务#2MetaTrainMeta任务#1MetaTrainMeta图1：Meta梯度对抗攻击（MGAA）概述。MGAA由多个（图中的T）迭代组成。在每次迭代中，从模型动物园随机采样n+1个模型以组成元任务。 每个任务分为两个步骤：元训练步骤和元测试步骤。在元训练步骤中，利用η个采样模型的集合来进行基于梯度的攻击以生成扰动，其可以重复K次。元测试步骤使用从元训练步骤获得的对抗性示例xi，K作为基础，并利用最后采样的模型来生成对抗性攻击的扰动。最后，在元测试步骤xi，mt xi，K中生成的扰动被添加到xi，第i个任务之后的最终对抗示例这是为了在不需要训练额外模型的情况下提高对抗性示例的可转移性。在CIFAR 10 [20]和Ima-geNet [38]数据集上进行的大量实验表明，我们提出的架构显著提高了白盒和黑盒攻击的成功率。特别是，通过将TI-DIM [9]方法集成到我们提出的架构中，在ImageNet上，针对10个白盒模型 的 目 标 攻 击 设 置 下 的 平 均 攻 击 成 功 率 增 加 了27.67% ， 针 对 6 个 黑 盒 模 型 的 攻 击 成 功 率 增 加 了28.52%，这清楚地表明了我们方法的优越性。本文的主要贡献如下：1. 我们提出的Meta梯度对抗攻击架构的启发，元学习的哲学，迭代模拟白盒和黑盒攻击，以缩小梯度方向的差距时，生成对抗性的例子，从而进一步提高对抗性的例子的可移植性。2. 所提出的架构可以与任何现有的基于梯度的攻击方法在即插即用模式。3. 大量的实验表明，该架构可以显着提高攻击成功率下的白盒和黑盒设置。2. 相关工作在本节中，我们将简要介绍相关的工作，即对抗性攻击、对抗性防御和元学习。2.1. 对抗性攻击对抗性攻击的任务通常根据我们可以访问的目标模型信息量分为四类：白盒攻击、基于得分的黑盒攻击、基于决策的黑盒攻击和基于转移的黑盒攻击。白盒攻击白盒攻击可以获取目标模型的所有信息，包括模型参数、模型结构、梯度等。FGSM [15]利用梯度信息沿着最大分类损失的方向一步更新对抗BIM [21]扩展了这种方法，提出了一种迭代方法，通过多步更新生成对抗性示例。PGD [31]类似于BIM，除了它随机选择良性示例邻域中的初始点作为迭代攻击的起点。一些方法从优化的角度考虑任务。在DeepFool [32]中，采用优化方法来生成最小的扰动，同时满足7750NX → Yxadv成功攻击的目标。C W [2]将任务转化为约束优化问题，并比较多个目标函数的效果。基于分数的黑盒攻击。这类攻击方法假设它们可以从目标模型获得给定输入图像的分类概率。ZOO [3]提出了一种基于零阶优化的方法，该方法直接估计目标模型的梯度以生成对抗性示例。然而，它遭受低攻击成功率和差的查询效率，因为它是不平凡的估计梯度与有限的信息。为了解决这些问题，P-RGR [5]利用基于传输的先验信息和查询信息来提高查询效率。ATTACK [25]进一步使用以输入为中心的小区域上的概率密度分布来生成对抗性示例，这既击败了普通DNN，也击败了各种防御技术生成的示例。基于决策的黑盒攻击在基于决策的黑盒攻击设置下，只有来自目标模型的给定输入图像的预测类是可用的，这似乎比基于分数的黑盒攻击更困难边界攻击[1]首先针对该问题提出，它通过随机游走的方法，在保持对抗样本的侵略性的前提下，逐渐减小对抗样本的扰动。Cheng等人[4]将问题转化为一个连续的实值优化问题，可以用任何零阶优化算法求解。不同于以往的方法，Dong等。[10]提出了一种进化攻击算法，降低了搜索空间的维数，提高了查询效率。基于转移的黑盒攻击。基于传输的黑盒攻击无法获得目标模型的任何信息，这是最具挑战性的设置。现有的方法[8，50，9，54，27]主要致力于通过从替代模型生成的对抗示例的可转移性来提高攻击成功率。我们将在第二节中回顾这些方法。3.1细节虽然这些方法已经被提出来逐步提高对抗性示例的可移植性，但在黑盒攻击中的结果仍然有很大的改进空间。我们的工作从元学习的角度解决了这个问题，它减少了白盒和黑盒攻击之间的差距，从而取得了更好的效果。2.2. 对抗性辩护对抗性防御的任务是提高模型的鲁棒性，使模型能够正确地对受干扰的对抗性样本进行分类。防御方法可分为五类：对抗训练、输入变换、随机化、模型集成和认证防御。对抗训练[45，31，41]进行模型训练基于所生成的对抗样本。输入变换在将图像馈送到模型之前利用JPEG压缩[12]，去噪[26]和额外的GAN模型[39]。随机化是指在输入示例[49]或模型[7]中添加随机噪声，以使模型对对抗性示例更具鲁棒性。模型集成是指输出层中多个模型的集成。与单个模型相比，它可以减少对抗示例中分布的影响[22，29]。此外，一些工作[37，46]证明，在特定的目标模型下，经过认证的防御模型可以确保对抗性示例的鲁棒性。2.3. 元学习元学习是学习如何学习的概念。它主要关注如何使用大量的数据来学习一种学习模式。当以后遇到新任务时，只需要少量的额外数据就可以通过微调模型来快速完成新任务[13，34]。元学习作为近年来提出的一种新的学习方法，已被广泛应用于各种任务中。元攻击[11]使用元学习框架来训练梯度估计器。在基于分数的黑盒攻击的情况下，仅需要少量的查询来微调梯度估计器以完成对抗性攻击。与元攻击不同，我们提出的MGAA实际上不是一个元学习框架，而只是受到其哲学的启发。具体来说，我们不需要显式地训练额外的模型，而是在迭代过程中直接生成对抗性示例。3. 方法由于我们提出的架构是即插即用，可以集成到任何现有的基于梯度的攻击方法，我们首先介绍了一些典型的基于梯度的攻击方法在第二节。第3.1条然后，在第二章中详细介绍了我们提出的Meta梯度对抗攻击体系结构.3.2.此外，我们给出了一个详细的分析，我们提出的架构的有效性理论在第二节。三点三最后，讨论我们提出的MGAA和一些相关的作品之间的差异三点四分。令X表示良性示例，并且y表示对应于良性示例的真实标签 f（x）：表示目标分类器，J表示损失函数用于训练分类器，这通常意味着交叉熵损失。xadv表示需要优化的对抗示例。优化目标可以描述为：arg maxJ（f（x adv），y），s. t. xadv−x7751̸不不0不···电话+1不Mi=0时我t+1t添加良性的例子。对抗性示例的目标是误导分类器进入错误分类（f（x adv= y）），与良性示例相比，添加了更少的扰动。即，NI-FGSM和SIM。NI-FGSM将Nesterov加速梯度[33]集成到基于梯度的迭代方法中，例如MIM，进行强大的对抗性攻击：xnes=xadv+α·μ·gt，（8）3.1. 基于梯度的攻击方法ttgt+1=µ·gt+xJ（f（xnes），y）、（9）在本节中，我们简要介绍了几种基于梯度的攻击方法，重点解决白盒或基于传输的黑盒攻击问题。快速梯度符号法FGSM [15]是白盒攻击的一步方法，它更新了对抗性攻击。在最大化损失函数的方向上的示例∥∇xJ(f(xnes), y)∥1x adv=x adv+α·sign（g t+1）。（十）SIM优化了对抗性示例，而不是良性示例的规模副本：argmax1Σm J（f（S（xad v）），y），xadvx adv= x + f·sign（f（x），y））.（二）基本迭代法 BIM [21]在FGSM的基础上提出了一种迭代方法来提高白盒攻击的成功率，可以描述为：xadv=xadv+α·sign（xJ（f（xadv），y）），（3）S. t. xadv−x其中Si（x）=x/2i表示缩放的图像，并且m表示缩放副本的数量。3.2. Meta梯度对抗攻击现有的基于转移的黑盒攻击方法大多采用基于梯度的方法生成对抗性t+1t不例子对白盒模型，然后直接其中x adv= x，α = ε/T，T是迭代次数。迭代快速梯度符号法动量。在MIM [8]中进一步提出了动量项，以说明迭代过程中先前步骤的更新方向：xJ（f（xadv），y）利用对抗性样本的可转移性对黑盒模型进行攻击。然而，由于不同模型之间的结构和参数的差异，仅仅依靠对抗性样本的可移植性进行黑盒攻击并不能达到理想的效果，这就留下了很大的空间gt+1= µ· gt+不∥∇xJ(f(xadv),y)∥1、（四）以供改进。在本文中，我们解决了黑盒问题-xadv=xadv+α·sign（gt+1），（5）其中gt表示第t次迭代中梯度的动量项，μ是衰减因子。与BIM相比，MIM在黑盒攻击方面取得了显著的进步。多样的输入方法。DIM [50]建议在良性示例中应用随机大小调整和填充变换，以提高对抗性示例的可移植性这种方法虽然简单易行，但也带来了很大的改进。平移不变攻击方法。与以前的方法不同，TIM [9]提出将梯度与高斯核进行卷积，这可以与MIM相结合：W*xJ（f（xadv），y）从另一个角度来看受哲学家的启发在元学习的基础上，我们提出了一种称为元梯度对抗攻击（MGAA）的架构，该架构是即插即用的，并且可以与任何现有的基于梯度的攻击方法集成。如图1，T个任务从模型动物园迭代地采样。在每个任务中，我们在元训练步骤中模拟白盒攻击，在元测试步骤中模拟黑盒攻击，缩小白盒和黑盒设置之间的梯度方向的差距，以提高可移植性。具体地，假设总共有N个模型M1，M2，，M，N在模型动物园中，我们在每次迭代中随机选择n+1个模型组成一个任务，它由两个步骤组成，即元训练和元测试。在每次迭代开始时（以第i次迭代为例），我们将在前gt+1= µ· gt+不W*、（6）前一次迭代xi作为输入，表示为xi，0。（十一）不7752∗Σ电话+1不电话+1元列车 M k，M k，···，M k的共n个模型xadv=xadv+α·sign（g），（7）1 2N其中W是高斯核，并且表示卷积的算子。SI-NI 此外，SI-NI [27]提出了两种方法当通过多个模型的集合进行对抗攻击时，与[8]相同的方法。具体来说，为了攻击n个模型的集合，我们将logits融合为：进一步提高对抗性示例的可转移性，l（xi，0）=ns=1w s lk s（xi，0），（十二）用于模拟白盒攻击。我们采用7753s=1−·L1i=1iΣ−≥Σ其中Iks（xi，0）是模型Mks的logit，ws是en-算法1Meta梯度对抗攻击每个模型的总体权重，ws0和nws=1.一、然后使用交叉熵损失来计算误分类损失：输入：输入示例x1分类器模型M1，M2，……，MNLMk1 ，···，Mkn（x i，0）=−1y·log（softmax（l（x i，0）， （十三）输出：对抗示例xT+11：对于i∈{1，···T}，do其中1y是y的独热编码。与基于梯度的攻击的常见方法相同，对抗性示例沿着损失函数最大化的方向进行更新2：随机采样n+1个模型Mk1，Mk2，· · ·，Mkn+1从M1，M2，···，MN作为一个任务3：xi，0=xi4：对于j∈{0，1，···K−1}，做xi，j+1=xi，j+α·sign（xi，j，L，M，k，i，j，L，M，k，n（xi，j）），（14）5：在下式中计算输入xi，j的交叉熵损失n个模型Mk，Mk，· · ·，Mk的集合：其中α是元训练步长中的步长。元训练步骤可以迭代K次，并且下标j表示元训练步骤中的迭代次数。值得注意的是，我们提出的架构可以与任何基于梯度的攻击方法集成，为了方便起见，我们仅以BIM [21元测试。在使用多个模型的集成来模拟白盒攻击之后，我们使用最后采样的模型Mkn+1在元训练中生成的对抗示例xi，K的基础上其中K是元训练步骤中的迭代次数。具体来说，我们首先通过模型Mkn+1计算交叉熵损失：1 2NLMk1，···，Mkn（xi，j）作为等式（十三）6：xi，j+1=xi，j+αsign（xi，jMk，···，Mkn（xi，j））7：结束8：在模型M kn+1下计算输入xi，K的交叉熵损失：（十五）9：xi，mt=xi，K+β·sign（xi，KLMkn+1（xi，K））10：xi+1=xi+（xi，mtxi，K）11：结束3.3. 分析在这一部分中，我们给出了详细的原因，为什么我们提出的架构是有效的理论分析。具体地说，我们考虑MetaLMkn+1个（xi，K）=−1y·log（ softmax（lkn+1（xi，K），（15）测试步骤：其中lkn+1个 （xi，K）是模型Mkn+1个 . 然后我们10 - 12 -2016刘晓波（ Σn f（x）/n，y）），y），在元测试步骤中，沿着使损失函数最大化的方向基于xi，KX其中J表示交叉熵损失，fi（十八）表示第i个其中β是元测试步骤中的步长。为了提高对抗性考试的可转移性如图1所示。1，我们将元测试步骤中获得的扰动添加到先前迭代x i中生成的对抗示例，以更新对抗示例：x i+1=x i+（x i，mt− x i，K）。（十七）表示在元训练步骤中使用的模型的数量，表示在元测试步骤中使用的采样模型，X和y分别表示敌对示例和良性示例的真实类标签与[23]类似，具有Equ的一阶Tayler扩展。在点X处，目标函数可以重写为：arg maxJ（fn+1（x），y）+（19）X元训练和元测试的迭代总共可以进行T次，以生成最终的对抗性αx J（ni=1fi（x）/n，y）xJ（fn+1个（x），y）。例如，其中每次迭代i随机挑选不同的模型以建立各种任务，并将先前迭代i1的输出作为输入。 MGAA的程序总结在算法1中。值得一提的是，第（n+1）个模型不是真实测试场景中的黑盒模型。实际上，它只是一个模拟的黑盒模型，通过迭代模拟白盒和黑盒攻击，自适应地缩小元训练和7754元测试步骤之间的梯度方向的差距。在Equ的第一项。式（19）中的第一项可以被视为元测试步骤的优化，而第二项可以被视为两个梯度的余弦相似度的计算，即约束元训练和元测试步骤中的梯度方向尽可能相似，这与我们缩小它们之间的梯度方向的差距以改善传递的动机一致。生成对抗性示例的能力。我们还进行了实验，以验证我们提出的MGAA所产生的对抗性扰动的方向更多7755×××类似于黑盒模型的梯度，而不是在补充材料中提供的现有方法现有的基于梯度的方法只关注白盒攻击过程中梯度的更新，而不能获得关于黑盒攻击的任何信息。相比之下，我们提出的架构迭代地模拟白盒攻击和黑盒攻击，并约束两者的梯度方向是相似的，在每次迭代。在迭代过程中，对模型动物园中的不同模型组合进行采样以组成不同的任务，这有助于对抗性示例在生成时访问各种模型分布。在多次迭代之后获得的对抗性示例可能不是任务特定的最优，即，偏向于任何现有的白盒模型，但是它通常包含对于任何看不见的黑盒模型的更好的可转移性。这就解释了为什么我们提出的架构可以提高白盒黑盒攻击。3.4. 讨论与元攻击的区别[11]。 尽管名称相似，但我们提出的Meta梯度对抗攻击（MGAA）与元攻击[ 11 ]完全不同。首先，这两种方法解决的任务是不同的。元攻击解决了基于分数的黑盒攻击的任务，而我们提出的MGAA解决了基于传输的黑盒攻击的任务，这是更具挑战性的。更重要的是，Meta-Attack训练了一个额外的梯度估计器，就像普通的元学习方法一样，来估计不同输入示例的梯度信息。由于梯度估计器是一个生成模型，它可以是相当困难的学习。相比之下，在我们提出的MGAA架构中不需要额外的模型来训练，它只是借用了元学习的思想，并在迭代过程中通过梯度直接更新通过以即插即用模式轻松地与主导当前黑盒攻击领域的基于梯度的方法集成，我们的MGAA架构具有更大的潜力来生成更具攻击性的对抗性示例。与现有整体策略的差异。已经有几种基于集合的对抗性攻击方法。本文简要讨论了我国MGAA与国外MGAA的区别。Liu等[30]提出了一种基于优化的方法来通过模型的集合生成对抗性示例，这与我们的框架与基于梯度的攻击方法集成完全不同。MIM [8]为基于梯度的攻击方法提出了一种有效的集成通过分析模型的三种集成策略，MIM发现通过logits层集成模型的结果是生成对抗性示例的最有效方法。不同于简单的方法来总结所有模型的logits层，我们提出了一个更先进的架构，真正的，它逐渐缩小白盒攻击和黑盒攻击设置之间的更新方向的差距，以进一步提高对抗性的例子的可移植性。4. 实验在本节中，我们进行了大量的实验来验证所提出的Meta梯度对抗攻击架构的有效性。我们首先介绍了实验中的设置，包括数据集，模型和实验细节。4.1.然后通过实验研究了不同超参数对Meta梯度对抗攻击体系结构的影响。四点二。此外，我们提出的架构是比较与国家的最先进的方法，展示了我们Meta梯度对抗攻击方法的优势下，有针对性的和非有针对性的设置在秒。四点三。我们的MGAA的消融研究在补充材料中提供，其分别证明了元训练和元测试步骤的效果。补充资料中还提供了在各种扰动情况下的攻击实验和攻击所用的最小对抗噪声。4.1. 设置数据集。我们使用ImageNet [38]和CIFAR10 [20]数据集进行实验。对于ImageNet，使用NIPS 2017对抗赛中的ImageNet兼容数据集1[38]，其中包含1000张分辨率为299 299 3的图像。Incep-tionv 3 [44]的基线模型可以 在 这 些 图 像 上 实 现 100% 的 分 类 准 确 度 对 于CIFAR10，在我们的实验中评估了具有10000个图像的测试集模型 我们的架构总共使用了10个白盒模型来生成对抗性示例。在每次迭代中，随机选择多个模型来组成Meta任务。在黑盒攻击场景下，我们分别在ImageNet和CIFAR10上评估了6个和7个模型。在白盒和黑盒设置中使用的所有模型都显示在选项卡中。1.一、补充材料中提供了这些模型的详细情况。实验细节。每个图像中的像素值范围为0-255，我们的最大扰动ε在ImageNet上设置为16，在CIFAR 10上设置 为8 。 我们 将 我们 提 出 的架 构 与MIM [8]， DIM[50]， TIM [9] 和 SI-NI [27] 方 法 进 行 了 比 较 。 对 于MIM，我们采用衰减因子μ=1。 对于DIM，变换概率设置为0。7 .第一次会议。对于TIM，高斯核的大小设置为7 7。对于SI-NI，缩放副本的数量被设置为m=5。对于所有的迭代方法，包括我们的方法，迭代次数T1https://github.com/tensorflow/cleverhans/tree/master/examples/nips17_adversarial_competition/dataset7756表1：CIFAR10和ImageNet上的模型。在我们的实验设置中，前10个模型被视为白盒模型，其余号ImageNetCIFAR10白盒模型1[44]第四十四话ResNet-18 [17]2[42]第四十二话ResNetv2-18 [18]3[42]第四十二话[43]第四十三话4ResNetv2-152 [18]ResNeXt-29 [51]5[45]第四十五话SENet-18 [19]6[45]第四十五话RegNetX-200mf [36]7[45]第四十五话DLA [52]8ResNetv2-101 [1]Shake-ResNet-26 2x64d [14]9[40]第四十话Adv ResNet-1810PNasNet [28]Adv DenseNet-121黑箱模型11[45]第四十五话PyramidNet-16412[53]第五十三话[47]第四十七话13[40]第四十话Adv GoogLeNet14R P [49]Adv ResNet-18 ll15NIPS-r3K-WTA [48]16认证[6]GBZ [24]17ADP [35]设置为40。除非提及，否则本节中的所有实验均基于TI-DIM [9]方法与我们提出的架构的集成元训练步长α和元测试步长β中的步长分别为1和ε/T。本文中基线方法[50，9，27]的所有实验都采用MIM [8]中的集成策略，因为它是最有效的策略。4.2. 超参数的影响在我们提出的Meta梯度对抗攻击（MGAA）架构中，三个超参数可能会影响攻击成功率：在元训练步骤期间为基于集合的攻击选择的模型的数量n、在元训练步骤期间迭代的数量K、以及在整个生成期间采样的任务的数量T。我们详细分析了每个超参数如何影响我们提出的架构的最终性能。由于篇幅所限，这里只对K进行详细的分析。n和T的结果和详细分析见补充材料。元训练步骤中的迭代次数K。在元训练步骤中，用于迭代地更新对抗性示例的迭代步骤的数量K在通过多个模型的集合来提高成功率方面起着我们比较了生成的对抗性示例对白盒和黑盒模型的攻击成功率，其中不同的迭代步骤K在Tab中。二、随着更多的迭代步骤，生成的对抗性示例更具攻击性。当这些积极的对抗性示例被用作元测试步骤的基础时，通过元测试步骤获得的扰动的可转移性也可以更强。但与此同时，迭代步骤越多意味着生成对抗性示例所需的时间越长。在下面的实验中，我们推荐K采样任务的数量T.山姆越Pled任务，可以实现更高的攻击成功率，特别是对于黑盒设置。然而，另一方面，增加采样任务的数量也会增加生成对抗性示例所需的时间考虑到效率和有效性两者的折衷，推荐T详细结果见补充资料。元训练步骤中的集成模型数n。 随着组合模型数量的增加，对白盒和黑盒攻击的成功率越来越高。但当n大于5时，攻击成功率的提高并不明显。考虑到每次迭代中集成的模型越多，需要的计算复杂度越详细结果见补充材料。4.3. 与现有方法的4.3.1有针对性的攻击针对性攻击设置下在Ima-geNet上生成的对抗性示例的实验如表1所示3 .第三章。每个图像的目标标签由数据集提供。与基线方法相比，当将基线方法与我们提出的MGAA相结合时，攻击成功率显着增加。对于DIM方法[50]，与MGAA的集成在白盒和黑盒设置中分别带来了27.67%和28.52%的平均增长，分别达到95.10%和47.90%。4.3.2无目标攻击我们比较了我们提出的MGAA与一些典型的基于梯度的攻击方法对ImageNet和CIFAR10在Tab。4和Tab。5分别在无针对性攻击设置下。这两个结果都显示了我们提出的MGAA的优越性。从Tab可以看出。4，虽然SI-NI方法[27]在从基于转移的黑盒攻击的单个模型生成对抗性示例方面是有效的，但是当使用多个模型的集合进行黑盒攻击时，结果不够令人满意。此外，该方法由于需要模型的多个尺度副本而耗时且消耗内存因此，我们不会将其与我们的MGAA集成。集成其他现有方法（例如MIM、DIM和TI-DIM），针对白盒和黑盒模型的攻击成功率得到了持续提高。选 项卡 . 4还 给出 了我 们的 MGAA 在GTX 1080TiGPU上的时间成本。虽然MGAA执行相对较慢时，与现有的基于梯度的在粘性的方法，我们的MGAA实现更高的攻击成功率时，T是40。我们还进行了实验7757表2：在Meta训练步骤中在不同迭代次数K下生成的对抗性示例对ImageNet上的白盒和黑盒模型的攻击成功率。采样任务的数量T是40。元训练步骤中的集成模型的数量η是5。表中型号索引与页签相同。1.一、K白盒模型黑箱模型12345678910111213141516199.199.297.798.198.798.897.298.198.698.596.397.797.595.996.368.2299.599.598.998.599.299.098.298.699.098.997.498.298.397.797.670.2599.910099.799.599.899.798.999.599.599.798.699.399.198.798.671.3810010099.999.899.999.899.499.899.610099.199.499.599.499.371.6表3：ImageNet上目标攻击设置下的成功率。元训练步骤中的集合模型的数量η是5。元训练步骤中的迭代次数K是5。n白盒模型黑箱模型12345678910avg.1112131415avg.MIM [8]带MIM的96.799.780.899.268.396.959.793.596.299.297.099.778.096.965.594.977.198.638.584.775.7896.330.00.06.919.96.819.10.31.80.22.02.848.56DIM [50]带DIM的84.799.474.898.370.196.359.792.574.296.476.297.547.987.960.894.473.497.352.591.067.4395.100.83.532.465.530.462.716.754.216.853.619.4247.90TI-DIM [9]带TI-DIM的54.896.046.290.339.082.847.288.639.582.240.183.032.171.720.391.549.688.740.480.442.8585.5239.637.323.740.714.524.534.244.426.644.023.8638.18表4：ImageNet上无目标攻击设置下的成功率。元训练步骤中的集合模型的数量η元训练步骤中的迭代次数K是8。黑盒模型表5：在CIFAR10上的非目标攻击设置下的成功率。元训练步骤中的集合模型的数量η元训练步骤中的迭代次数K是5。黑盒模型在补充材料中T为10，可以得到类似的结论。此外，当比较T为10的结果和T为40的TI-DIM的结果时，我们可以看到消耗的时间几乎相等，但我们的方法在白盒和黑盒设置上都实现了更高的攻击成功率5. 结论受元学习思想的启发，我们提出了一种新的名为Meta Gradient Adversarial At- tack的架构，以提高对抗性示例的可移植性。在生成对抗性样本的过程中，通过迭代模拟白盒和黑盒攻击场景，可以减小黑盒和白盒模型之间梯度方向的差距我们的架构可以以即插即用的方式与任何现有的基于梯度的攻击方法相结合。大量的实验表明，我们的架构生成的对抗性的例子在未来的工作中，我们将探索如何进一步提高生成对抗性示例的时间效率，并分析我们的方法在目标攻击设置下显示出显着改进的原因。6. 确认本工作得到了国家重点研发计划（2005年）的部分支 持 & 。 2017YFA0700800 ） 、 国 家 自 然 科 学 基 金（Nos. 61806188、61976219）和上海市科技重大专项（No.2017SHZDZX01）。方法时间（s/img）12345678910111213141516SI-NI [27]99.797.597.496.398.898.690.895.699.798.248.290.892.950.658.538.968.29MIM [8]带MIM的99.610099.710099.410098.799.999.810099.810099.510099.099.999.199.998.299.944.452.092.696.094.196.965.467.172.274.934.437.017.5171.24DIM [50]带DIM的99.410099.810099.510098.699.999.410099.510098.599.998.699.998.910098.899.979.488.098.099.998.399.895.098.995.398.944.849.322.2269.26TI-DIM [9]带TI-DIM的98.910099.110098.299.998.399.898.999.998.699.897.399.498.099.898.199.698.310096.399.197.599.497.599.596.799.496.899.067.871.619.1367.28方法1234567891011121314151617MIM [8]带MIM的99.8499.9999.9610099.9910099.9899.9999.9499.9999.7699.9199.8999.8799.7299.8780.3985.8696.6899.1998.4999.3599.5699.9790.5597.4939.2055.9496.3497.0982.9287.2096.6697.69DIM [50]带DIM的99.8699.9899.9810099.9810099.9910099.9899.9999.7599.8799.9099.9999.8199.9380.7185.0796.4598.8899.0399.4899.6899.8993.3498.7145.6268.2296.3897.2685.6590.0796.9598.84TI-DIM [9]带TI-DIM的99.8699.9599.9610099.9810099.9910099.9710099.7699.9399.9499.9899.8599.9081.1785.6396.6699.1999.2799.5199.7499.9993.6198.7646.6968.7796.5097.3585.7690.0496.9298.627758引用[1] 威兰·布伦德尔乔纳斯·劳伯和马蒂亚斯·贝斯格。基于决策的对抗性攻击：对黑盒机器学习模型的可靠攻击。arXiv预印本arXiv：1712.04248，2017。3[2] 尼古拉斯·卡利尼和大卫·瓦格纳。评估神经网络的鲁棒性在IEEE Symposium on Security and Privacy（SP），第39-57页第1、3条[3] Pin-Yu Chen，Huan Zhang，Yash Sharma，Jinfeng Yi，and Cho-Jui Hsieh. Zoo：基于零阶优化的黑盒攻击，无需训练替代模型即可对深度神经网络进行攻击。在ACM人工智能和安全研讨会，第15-26页3[4] Minhao Cheng，Thong Le，Pin-Yu Chen，Jinfeng Yi，Huan Zhang，and Cho-Jui Hsieh.查询高效的硬标签黑盒攻 击 ： 基 于 优 化 的 方 法 。 arXiv 预 印 本 arXiv ：1807.04457，2018。3[5] Shuyu Cheng，Yinpeng Dong，Tanyu Pang，Hang Su，and Jun Zhu.用基于转移的先验改进黑盒对抗攻击。在高级神经信息。过程系统，第10934-10944页，2019年。3[6] Jeremy Cohen，Elan Rosenfeld，and Zico Kolter.通过随机平滑验证对抗鲁棒性。第1310-1320页。PMLR，2019年。7[7] Guneet S Dhillon，Kamyar Azizzadenesheli，Zachary CLipton ， Jeremy Bernstein ， Jean Kossaifi ， AranKhanna，and Anima Anandkumar.用于鲁棒对抗防御的随 机 激 活 修 剪 。 arXiv 预 印 本 arXiv ： 1803.01442 ，2018。3[8] Yinpeng Dong ， Fangzhou Liao ， Tanyu Pang ， HangSu，Jun Zhu，Xiaolin Hu，and Jianguo Li.给敌对的进攻增加动力。在IEEE Conf. Comput.目视模式识别，第9185-9193页，2018。一、三、四、六、七、八[9] 董银鹏，庞天宇，苏航，朱军。通过平移不变攻击规避对可转移对抗样本的防御。在IEEE Conf. Comput.目视模式识别，第4312-4321页，2019年。一二三四六七8[10] Yinpeng Dong，Hang Su，Baoyuan Wu，Zhifeng Li，Wei Liu，Tong Zhang，and Jun Zhu.基于决策的黑盒对抗性攻击在人脸识别中的应用。 在IEEE会议Comput. 目视模式识别，第77143[11] Jiawei Du，Hu Zhang，Joey Tianyi Zhou，Yi Yang，andJiashi Feng.对深度神经网络的查询高效Meta攻击。arXiv预印本arXiv：1906.02398，2019。三、六[12] Gintare Karolina Dziugaite ， Zoubin Ghahramani ， andDaniel M Roy. jpg压缩对对抗影像效果之研究。arXiv预印本arXiv：1608.00853，2016。3[13] Chelsea Fi
我的内容管理
展开
