无梯度优化下的黑盒对抗样本设计方法

121--利用无约束优化和算子分裂方法设计黑盒对抗样本赵璞1，刘思佳2，陈品玉2，张义黄2，徐凯迪1，巴维亚·凯尔库拉3，林雪1东北大学2麻省理工学院-IBM沃森人工智能实验室，IBM研究院3雪城大学Zhao. husky.neu.edu，Sijia.Liu，pin-yu.Chen，ibm.com，xu. husky.neu.edu，bkailkhu@syr.edu，xue. northeastern.edu摘要强大的机器学习是目前最突出的主题之一，可能有助于塑造先进人工智能平台的未来，这些平台不仅在一般情况下表现良好，而且在最坏的情况或不利的情况下也能表现良好。然而，尽管有长期的愿景，现有的关于黑盒对抗性攻击的研究仍然局限于非常特定的威胁模型设置（例如，单一失真度量和关于目标模型对查询反馈的限制性假设为了推动这一领域的进一步发展由于黑盒性质的威胁模型，建议ADMM解决方案框架集成了零阶（ZO）优化和贝叶斯优化（BO），因此适用于无梯度制度。这导致了两种新的黑盒对抗攻击生成方法，ZO-ADMM和BO-ADMM。我们对图像分类数据集的实证评估表明，我们提出的方法具有更低的功能查询复杂度相比，国家的最先进的攻击方法，但 实 现 非 常 有 竞 争 力 的 攻 击 成 功 率 。 代 码 可 在https：//github.com/LinLabNEU/Blackbox_ADMM网站。1. 介绍近年来，深度神经网络（DNN）在许多机器学习（ML）任务中取得了重大突破。然而，尽管取得了这些成功，但最近的许多研究表明，即使是最先进的DNN也可能仍然容易受到对手的攻击。错误分类攻击[15，38，44]。对抗性攻击发现并向原始正确分类的输入添加视觉上无法感知的噪声，并基本上导致DNN错误分类这引发了对DNN在具有高可靠性和可靠性要求的极端情况下的鲁棒性的安全担忧，例如人脸识别，自动驾驶汽车和恶意软件检测[34，13，17]。调查对抗性示例已经成为一个越来越流行的话题，以在可信赖的ML中开发潜在的防御措施[24，40，42，41]。它为构建新一代高度健壮和可靠的机器学习模型奠定了基础，这些模型将成为未来人工智能技术的核心引擎。然而，关于该主题的大多数初步研究都局限于白盒设置，其中对手具有完全的访问和目标系统的知识（例如，DNN）[15，21，6，7，43]。尽管理论上的兴趣，白盒攻击方法不适合实际的黑盒威胁模型。通常情 况 下 ， 公 共 ML 系 统 的 内 部 Google Cloud VisionAPI）。因此，与系统交互的唯一模式是通过提交输入和接收相应的预测输出。为了提高这种方法的实用性，一些最近的工作已经引入了一类新的威胁模型，这些模型利用目标模型的代理[31]或无梯度攻击方法[8，1]。然而，利用目标模型的代理的对抗攻击倾向于在代理不准确的情况下产生低成功率。另一方面，虽然使用零阶梯度估计的攻击[8]通常更有效，但它们需要大量的查询来获得准确的估计。因此，它们通常不具有经济效益，特别是在由于预算限制而导致查询受限的环境中。为了减轻现有文献的上述局限性122···本文介绍了黑盒对抗性攻击设计的一个新视角：我们提出了一个通用的攻击框架的基础上的操作分裂方法，交替方向的乘法器（ADMM），它集成了零阶（ZO）优化和贝叶斯优化（BO）。此外，不像以前的工作，为了便于优化，通常假设一个输入和它的扰动版本之间的特定失真度量，我们提出的框架是服从于一个广泛的家庭失真度量，包括以前在文献中使用的。我们的贡献：我们提出了一个通用的黑盒对抗攻击框架-通过ADMM工作，包括零阶ADMM（ZO-ADMM）和ADMM与贝叶斯优化（BO-ADMM）。我们利用具有随机梯度估计（RGE）的有前途的ZO-ADMM [26]来设计有效的黑盒攻击，该黑盒攻击概括了先前的基于ZO坐标下降的黑盒攻击[8]，并避开了基于坐标方向随机梯度估计的攻击的众所周知的密集查询复杂性。此外，我们将ADMM与BO集成，以提高黑盒设置中的查询效率（第4节）。• 我们进一步推广了我们的公式，以适应各种有界的P-norm-ball失真度量及其度量空间中的线性跨度（见4.1节）。等扩展对于被并入到其它黑盒攻击的现有公式中是非常重要的，所述其它黑盒攻击的现有公式通常是针对特定的标准球（norm-ball）而被大量定制的（例如，对于失真度量，我们的框架也是灵活的，以稳健地适应-对黑盒攻击的各种威胁模型进行modate（第5节），其中包括基于分数和基于决策的设置。前者允许攻击者访问所有输出候选项（软标签）的评估分数向量。后者只提供系统最后，我们在各种真实世界的图像分类数据集（如MNIST，CIFAR-10和ImageNet）上证明了我们提出的框架的有效性。实验结果一致表明，我们的框架在攻击成功率方面与现有工作具有竞争力，同时显著降低了查询复杂度（第6节）。2. 相关作品DNN的脆弱性首先在开创性的作品中进行了研究[2，38]，随后是一系列白盒威胁模型[15，6，28，45，46]，假设完全访问目标模型然而，目标模型的这种内部知识通常不会被揭示，并且对手只能通过提交输入查询和接收关于潜在输出的反馈来因此，在本节的剩余部分，我们将总结了黑盒对抗攻击的最新进展，并讨论了它们与我们提出的框架相比的局限性。2.1. 基于代理模型的黑盒攻击使用代理模型的黑盒攻击本质上是一种转移攻击[31]，其中对手使用目标模型标记的数据训练DNN然后，将得到的DNN用作目标模型的代理，我们可以对其然而，这种攻击在很大程度上取决于训练与真实目标模型非常相似的代理模型的质量[27]。因此，传输攻击倾向于在数据密集型领域（例如，”（《易经》）“以物易物，以物易物”。2.2. 基于梯度估计的黑盒攻击探 索 黑 盒 攻 击 的 另 一 种 方 法 是 通 过 零 阶 优 化（ZOO）使用梯度估计[8]。他们对模型进行查询，并估计相对于相应输入的输出梯度，然后应用最先进的CW攻击方法[6]来生成对抗性示例。然而，该方法是非常计算密集的，因为它需要每次迭代大量的查询来生成准确的梯度估计。或者，工作[29]旨在通过贪婪局部搜索估计输出梯度。在每次迭代中，所提出的技术仅扰动输入分量的一小部分这种局部搜索技术在计算上非常有效，但它并没有显式地最小化原始输入与其扰动版本之间的失真，制作的噪声通常看起来更明显。这项工作[18]通过定义查询限制设置，部分信息设置和仅标签设置来研究更现实的威胁模型。提出了三种攻击方法自然进化策略和蒙特卡罗近似。但它只是限制了∞范数，而不是最小化某个∞范数。在[18]的基础上，工作[19]进一步研究利用先验信息，包括时间相关先验（即，连续梯度是在事实高度相关）和数据相关先验（即，图像往往表现出空间局部相似性）以获得更高的查询效率。2.3. 其他黑盒攻击除了上述工作，还有其他黑盒攻击[5，39，9，16]在不同的实际设置，这是最近探索其中，显着边界方法[5]实现了基于决策的攻击，它从非常大的对抗扰动开始（从而导致立即的错误分类），123/{{}2试图减小扰动（即，最小化失真），同时通过停留在错误分类的类和真实类之间的边界上来保持对抗性。然而，由于需要大量的查询来减少失真，它具有高计算复杂度，并且它也不能保证收敛。与文献[5]不同的是，文献[9]将硬标签黑箱攻击描述为一个实值优化问题，该问题通常是连续的，可以用零阶优化算法求解。类似地，[16]解决了在硬标签黑盒设置中找到普遍（图像不可知）扰动的问题。在本文中，我们将介绍一种有趣的基于ADMM的对抗性黑盒攻击的重新表述，包括ZO-ADMM [26]，它具有ADMM和BO-ADMM的算子分裂优势，可以借助高斯过程降低查询复杂度。3. 问题公式化在这项工作中，我们专注于DNN图像分类应用中的对抗攻击在下文中，我们首先提供了一个对抗性攻击的一般问题公式，它适用于白盒或黑盒设置。然后，我们将为更有趣的黑箱设置开发一个有效的解决方案，其中对手只能访问DNN模型的某些类型的输出（其内部结构和配置是未知的）。对手）。具体地说，给定一个合法图像x0∈Rd，其正确的类标签为t0，我们的目标是设计一个最优的对抗性扰动δ∈Rd，使得扰动后的检查-在获得对抗性扰动之后，从而保持扰动不可感知。更具体地说，如果k太小，我们可能无法获得成功的对抗示例。因此，我们需要增加攻击力来实现成功的对抗性攻击。但是，由于扰动只限制了扰动的最大元素，因此在大扰动的情况下，图像上的整个扰动可能相对较大并且容易被识别。因此，问题（1）中的D（δ）项有助于最小化整个扰动的Dupp在本节的剩余部分，我们将讨论损失函数f（x，t）的可能选择。请注意，不失一般性，我们只关注指定目标类t的有针对性的攻击，以误导DNN，因为目标攻击版本可以很容易地实现类似于目标攻击[6]。我们还强调，在黑盒设置中，f（x，t）的梯度不能像在白盒设置中那样直接获得。 损失函数f（x，t）的形式取决于不同黑盒反馈设置中的约束信息。特别是，基于分数（第3.1节）和基于决策（第3.2节）的攻击的定义以及它们的损失函数将在下面的小节中讨论。3.1. 分数攻击在基于分数的攻击设置中，对手能够对DNN进行查询以获得软标签（即，属于不同类别的图像的分数或概率），而关于梯度的信息不可用。在基于得分的攻击中，问题（1）的损失函数为：ple（x0+δ）被误分类为目标类t=t0，DNN模型在合法图像上训练诉讼辩护f（x0+δ，t）= max maxlogP（x0j/=t+δ）j}扰动δ可以通过求解一般形式的问题来获得-logP（x0+δ）t，−κ}，（2）尽量减少δf（x0+δ，t）+γD（δ）（一）这是由[6]激发的，并且在白盒攻击中产生最知名的性能。P（x）j表示目标受 （x0+δ）∈[0，1]d，<$δ<$∞≤<$，其中f（x，t）表示将（x0+δ）错误分类为目标类t所导致的攻击损失，D（δ）是控制合法图像和对抗示例之间的感知相似性的失真函数，并且λ·λ∞表示λ∞范数。在问题（1）中，直到预定义的失真容忍阈值都是不可感知的，并且非负参数γ强调失真。此外，在上述问题中，我们主要设置D（δ）=<$δ<$2，这是由优秀的C& W <$2对抗攻击的优越性能所激发的。我们强调D（δ）可以采用4.1节中讨论的其他形式的DNP问题（1）是文[18，19]中不考虑D（δ）项的问题的一般形式。其优点是我们能够最大限度地减少非线性失真模型基本上，这意味着f（x0+ δ，t）= 0，如果P（x0+ δ）t是在所有类别中最大，这意味着扰动δ成功地将目标模型x0+δ错误分类为目标类t。否则，它将大于零。注意，在Eqn.（2）使用对数概率logP（x）而不是直接使用实际概率P（x）。这是基于这样的观察：输出概率分布倾向于具有一个主导类，使得对概率/分数的查询不太有效。对数算子的使用可以帮助减少支配类的影响，同时保持所有类的概率顺序。3.2. 决策攻击与基于得分的攻击不同，基于决策的攻击更具挑战性，因为对手只能124−−联系我们2-2γ+ρ222ρLI进行查询以获得硬标签而不是软标签。令H（x）i表示硬标签决策。H（x）i=1，如果对于x的判定是标号i，否则为0。我们也有一个其中k表示迭代索引。在问题（8）中，我们在给定参数δk和uk的情况下，使L（z，δ，u）在z上最小化。在问题（9）中，我们在给定zk+1的情况下，Ki=1 H（x）i= 1对于所有K类。那么损失函数前一步骤和UK.然后，拉格朗日乘数u在基于决策的攻击中，问题（1）的具体形式如下：f（x0+δ，t）=maxH（x0+δ）jH（x0+δ）t，（3）j/=t因此，f（x0+δ，t）1，1，如果f（x0+ δ，t）=1，攻击者成功。 损失函数（3）是非光滑的，具有离散输出。因此，基于决策的攻击更具有挑战性，因为现有的组合优化方法变得几乎无效或不适用。在Eqn中更新（十）、这款ADMM的主要优点这类算法的一个优点是，它允许我们将原始的复杂问题分解下面，我们分别解决问题（8）和（9）。4.1. z步问题（8）可以改写为minimizeD（z）+ρz−a24. 一种通用的黑盒对抗攻击z2γ2（十一）框架本节通过利用ADMM和无梯度优化，为基于分数和基于决策的攻击开发了一个通用的黑盒对抗攻击框架受（x0+z）∈[0，1]d，<$zn∞≤ <$，其中a =δk（1/ρ）uk。我们设D（z）=z2[6]。 问题(11)可以按元素分解如下，第我们将证明所提出的攻击框架产生以下好处：（一）有效的分割;尽量减少zi.Σ2zi−ρai（十二）黑盒损失函数和对抗性失真函数，b）对涉及硬/软约束的各种BLP范数的推广通过引入辅助变量z，问题受 （[x0]i+zi）∈[0，1]，|zi| ≤，其中[x]i（或xi）表示x的第i个元素。问题（12）的解由下式给出：(1)可以重写为ADMM类型的方法最小{1−[x]，}ρa>min{1−[x]，n}[4，47]，100i2γ +ρi0i[zk+1]i=max{−[x0]，−<$}ρaimax{−[x0]，−<$}<尽量减少f （x+δ，t）+γD（z）+I（z）⎩ρi2γ +ρiδ，z0受 z=δ，其中I（z）是由下式给出的指示函数（四）2 γ + ρa，否则。（十三）推广到各种各样的规范。在问题（11）中，. 0（x0I（z）=+z）∈[0，1]d，<$z <$∞≤，（五）除了最坏情况的扰动约束<$z<$∞≤<$，通常的做法是设置D（z）=z2来测量∞否则。重构问题(4)由下式给出L（z，δ，u）=γD（z）+I（z）+f（x0+δ，t）（6）+uT（z−δ）+z− δ其中u是拉格朗日乘子，ρ >0是给定的惩罚参数。它可以进一步转换如下，（z，δ，u）=γD（z）+（z）+f（x0+δ，t）（7）¨ ¨ρ¨1¨12125L2222ǁ ǁ ǁ ǁ≥ǁ ǁ ǁ ǁ ǁ ǁ ǁ ǁL2合法图像和对抗图像example. 如果D（z）取其他的范数，如β 0的z 1+ β z 2，甚至是β 0的z 1+βz2，我们仍然能够得到具有小修改的解。在Z-步骤中这种能力对其他人来说是非常重要的黑盒攻击，这往往是严重定制，最小化用于失真度量的特定 的范数 由于篇幅的限制，我们在补充材料[32]中明确给出了用邻近算子导出的D（z）=z0，D（z）=z1和D（z）=z1+βz2的z阶解.+2 <$z − δ + ρu<$− 2ρu 2.4.2. δ阶跃ADMM算法[4]拆分优化变量分成两个块并采用以下迭代方案，问题（9）可以写成：k+1k k尽量减少f（x0+δ，t）+ρδ−b2，（14）z = arg min（z，δz，u），（8）δ22δk+1= arg min（zk+1，δ，uk），（9）δuk+1= uk+ρ（zk+1−δk+1），（10）其中b = zk+1+（1/ρ）uk. 在白盒设置中，由于f（x0+ δ，t）的梯度是可直接访问的，因此梯度下降方法，如随机梯度下降（SGD）或126nnnN···nD{} N--··我关于我们i=00--i=0n亚当可以直接应用然而，在黑盒设置中，f（x0+ δ，t）的梯度是不可用的.其产生具有以下封闭形式解的二次规划问题：因此，为了克服这个困难，我们采用了两个衍生物-自由方法：随机梯度估计（RGE）方法[12]和贝叶斯优化[3]对应于δk+1=（1/（ηk+ρ））.Σηkδk+ρb−εf（δk+x0，t）. （十七）分别为ZO-ADMM和BO-ADMM4.2.1随机梯度估计在黑箱条件下，通过随机梯度估计（RGE）来估计f（x0+δ，t）的梯度注意，Eqn. (17)可以仅用一步梯度估计来计算，这与使用具有数千个随机估计的梯度下降方法来解决问题（14）相比，在查询效率上有显著的提高。在[25]中证明了线性化ADMM对非凸问题的收敛性。f（δ）=（d/（νQ））QQj=1Σ Σf（δ+νuj）−f（δ）uj，（15）4.2.2贝叶斯优化其中d是优化变量的数量，ν>0除了RGE之外，BO是解决问题（14）.我们对l（δ）进行建模：=f（x0+δ，t）+ρδ−b2是平滑参数，{uj}表示独立，22同分布从单位球面上的均匀分布中提取的随机方向向量，并且Q是随机方向向量的数量中已经显示[26]较大的Q减小了梯度估计误差，提高了ZO-ADMM的收敛性我们认为，一个好的交易量，就是一个好的交易量。估计误差和查询复杂度之间的偏离，例如，在我们的实验中，Q=20我们还强调，(15)时间复杂度为O（Q），而不是O（dQ）由[8]中使用的坐标方向梯度估计引起请注意，自然进化策略（NES）[18]使用基于中心差分的梯度估计器，需要2个Q查询。相比之下，RGE使用基于前向差分的作为具有先验分布l（·）的高斯过程（μ0，κ（，）），其中μ0= 0，κ（，）是正定义核 [33] 。 考 虑 一 个 有 限 的 噪 声 观 测 集 合K=y1，...，y k，其中y i（1（δ1），σ2），并且σ2是噪声方差。给定Dk的新函数l（δ）估计的后验概率是具有均值μ和方差σ的高斯分布，即l（δ）|Dk<$N（μ，σ2），其中µ=κT[K +σ2I]−1y，（18）σ2=κ（δ，δ）−κT[K+σ2I]−1κ，（19）Kij=κ（δi，δj），κ是k与k之间的协方差项的向量随机梯度估计器，产生Q+ 1个查询计数，i=1和δ，即κ i= κ（δi，δ）。从而提高查询效率。借助于RGE，问题（14）的解现在可以通过类似随机梯度下降的方法获得。然而，它遭受了极高的迭代，我们选择核函数κ（，）作为ARD矩阵5/2内核[35，33]，κ（x，y）=θ2exp（−θ5r）（1 +θ52（20）由于f的非线性而导致的函数查询复杂度以及ADMM的迭代性质。为了避开这个计算瓶颈，我们提出在具有RGE的ZO-ADMM中使用线性ADMM算法[36]，R2=0Σdi=15r+r），3（xi−yi）2/θ2，（21）因此它具有无梯度操作和损失函数线性化的双重优点 。 通 过 线 性 化 ， 问 题 （ 14 ） 中 的 损 失 函 数f（x0+δ，t）被替换为一阶泰勒展开加上正则化项（称为Bregman散度），即，<$$>f（δk+x0，t））T（δ−δk）+1<$δ−δk<$2，其中G是一个预-其中θ id是超参数。注意，κ（δ，δ）= θ2。为了确定超参数θ =θ id，σ2，我们最小化负对数边际似然logp（Dk|θ）[33]，2G2T最小化L（θ）1log|K+ σ2I|（二十二）定义的正定矩阵，且x ∈G= xGx 我们θ2n其中1/ηk>0是衰减参数r，1分。2Σ−1例如，在一个实施例中，对于给定常数α>0，ηk=α k。布雷格曼+2 y K +σnI y，发散项用来稳定δ的收敛性。结合线性化和RGE，问题（14）现在采取以下形式：尽量减少 （δk+x0，t））T（δ−δk）1272222← −其中y=[y1y2. y k]m。这可以通过标准梯度下降例程θθηL/θ θη来实现，足够小的学习率η。δ+ηk<$δ−δk<$2+ρεδ−bε2，（十六）在BO的设置中，问题（14）的解决方案通常是通过最大化预期改善（EI）获得的128−≤I≤--−EI采集函数定义为[33]δk+1= arg max EI（δ）6. 绩效评价在本节中，基于分数的实验结果= argmaxEΣ。l（δ）|DklΣ-l（δ） I（l（δ）≤l+），和基于决策的黑盒攻击。我们=arg max（l+µ）Φδ. l+− µmσ+σφ . l+µm、σ将建议的基于ADMM的框架与var-在三个图像分类数据集上的各种攻击方法，MNIST [23]，CIFAR-10 [20]和ImageNet [10]。结果（二十三）其中l+表示最佳观测值，并且如果l（δ）l+，则（l（δ）l+）= 1，否则为0。Φ和φ分别表示标准正态分布的CDF和PDF，活泼地我们建议读者参考补充材料，以详细推导方程。（二十三）.我们通过投影梯度下降法得到δk+1最先进的白盒攻击（即，C-W攻击）的研究。我们分别为MNIST和CIFAR-10数据集训练了两个网络，它们在MNIST上可以达到99.5%的准确率，在CIFAR-10上可以达到80%的准确率。该模型架构有四个卷积层，两个最大池化层，两个全连接层和一个softmax层。为δ（k+1）=δ（k）+ηδ=δ（k）EI（δ），（24）ImageNet，我们利用预先训练的Inception v3网络[37]而不是训练我们自己的模型，它可以实现96%的δ（k+1）=Proj（x+δ）∈ [0，1]d，<$δ<$∞≤ǫ.Σδ（k+1） . （二十五）前5名的准确性。所有的实验都在配备NVIDIA GTX1080 TI GPU的机器上进行引入投影以确保BO中下一个查询点的可行性。5. 定制的基于分数和基于决策的黑盒攻击对于基于分数的黑盒攻击，问题（1）与损失函数（2）可以通过一般的ADMM框架自然解决在基于决策的黑盒攻击中，损失函数（3）的形式是非光滑的，具有离散输出。为了克服方程中的不连续性（3），考虑（3）的平滑版本，由fμ表示，其中平滑参数μ >0fμ（x0+δ，t）=Eu∈Ub[f（x0+δ+μu，t）]，（26）其中Ub是单位欧氏球内的均匀分布，或者u可以遵循标准高斯分布[18]。平滑技术背后的理性在（26）中的技巧是两个函数的卷积，即， u f（x0+δ + μu，t）p（u）du至少与两个原始函数中最光滑的一样光滑[11]。因此，我们认为，当p是随机变量的密度，对于勒贝格测度，损失函数（26）则是平滑的。在实践中，我们考虑（26）1ΣN6.1. MNIST和CIFAR-10的评价在对MNIST和CIFAR-10的评估中，分别从MNIST和CIFAR-10测试数据集中选择了200幅对于每个图像，目标标签被设置为其他9个类别，并且针对每个攻击方法执行总共1800次攻击。C W（白盒）攻击[6]和ZOO（黑盒）攻击[8]的实现基于作者发布的GitHub代码1。对于ZOO攻击，我们使用带有默认Adam参数的ZOO- Adam。对于转移攻击[31]，我们将C W攻击应用于代理模型，20次提高攻击可转移性和2，000次迭代在每个二进制搜索步骤中。在拟议的ZO-ADMM攻击1，随机梯度估计中的采样数，如等式1中所定义。将基于判定的平滑损失函数（15）的采样数Q设置为20，将基于判定的平滑损失函数（27）的采样数N设置为10。我们为MNIST设置ρ=10和γ=1，为CIFAR-10 设 置 ρ=2000 和 γ=10 ， 为 ImageNet 设 置ρ=1000和γ = 1。对于MNIST和CIFAR-10，设置为1ImageNet为2和0.05。由方程式(15)，我们设v=0。五是三个数据集。公式中的参数µ(27)对于MNIST，设置为1，0。CIFAR-10为1，CIFAR-10为0。01ImageNet实验结果示于表1中。除了攻击成功率（ASR）和攻击成功率范数，我们报告了实现第一次成功攻击所需的查询数量，它表征了生成的对抗性概率有多快。fµ（x0+δ，t）Ni=1f（x0+δ+μui，t），（27）扰动可能会误导DNN。我们观察到，传输攻击遭受低ASR和大的T2失真。两者哪里 ui是N i. i. d。从Ub中抽取的样本。与平滑的损失函数，如等式2所示。(27)，问题(1) 可以通过所提出的通用ADMM框架来解决。为了初始化ADMM，我们初始化扰动δ，使得初始扰动图像属于目标类，与使用任意图像的初始化相比，可以降低查询复杂度[5]。+0129ZOO攻击和提出的ZO-ADMM攻击与RGE可以实现高ASR和竞争性的C-W白盒攻击接近。与动物园袭击相比1代码可从https://github.com/LinLabNEU/Blackbox_ADMM获得。[2]这个设置是为了与纯粹的102-norm做一个公平的比较攻击框架ZOO。130表1.MNIST和CIFAR-10对抗性攻击的性能评估数据集攻击方法ASRℓ1失真ℓ2失真ℓ∞失真初始成功时的查询计数查询计数减少率MNIST白色- 盒子C W白盒攻击[6]转移攻击（通过C W）[31]百分百百分之三十点六22.1465.21.9624.5450.51940.803----评分- 基于动物园袭击[8]基于分数的ZO-ADMM攻击百分之九十八点八百分之九十八点三百分之八十七26.7826.2393.61.9771.9757.70.5220.5130.7112,161493.652.10.0%95.9%99.6%决定- 基于边界攻击[5]基于决策的ZO-ADMM攻击百分之九十九百分百32.930.482.212.1660.5630.54825 328a7 603a0%的百分比百分之六十二CIFAR-10白色- 盒子C W白盒攻击[6]转移攻击（通过C W）[31]百分百百分之八点五11.7103.60.3323.8450.03490.421----评分- 基于动物园袭击[8]基于分数的ZO-ADMM攻击百分之九十七点六98.7%84.1%15.213.11480.3610.4175.290.04050.03920.62998242146.30.0%95.7%99.6%决定- 基于边界攻击[5]基于决策的ZO-ADMM攻击百分百百分百19.417.250.4210.4150.0450.041316 720a6，213a0%的百分比百分之六十三a由于基于决策的攻击从目标类中的图像开始，因此它立即获得初步成功。因此，基于决策的攻击的初始成功的查询计数实际上意味着当它达到所报告的1002失真时的查询数量。查询=0，失真=10.2查询=12100，失真=2.59查询=3025，失真=7.1查询=18150，失真=1.7查询=6050，失真=4.6查询=36300，失真=1.27原始BO-ADMM可能有其局限性，我们发现，结合BO-和ZO-ADMM的优势可以导致更多的查询效率攻击。请参阅附录中的BO-ZO-ADMM部分。我们注意到，基于决策的ZO-ADMM攻击实现了比基于分数的攻击稍大的102失真，查询更多，如表1所示这并不奇怪，因为只有硬标签输出在(a) MNIST的对抗性示例进化从目标类中的图像开始。基于决策的攻击比基于得分的攻击更难虽然102失真有点查询=0，失真=15.2查询=12100，失真=1.32查询=3025，失真=5.8查询=18150，失真=0.79查询=6050，失真=3.17查询=36300，失真=0.64原始尽管扰动更大，但在视觉上仍然无法区分。我们比较了基于决策的ZO-ADMM攻击和边界攻击[5]。如表1所示，基于决策的ZO-ADMM攻击的查询比边界攻击的查询少约60%，以实现相同级别的ZO2失真。我们展示了几种对抗性前-图中基于决策的攻击中的样本与查询数量的关系。1.基于决策的攻击从目标类中的图像开始。然后，它试图减少102范数，(b) CIFAR-10的对抗性示例进化从目标类中的图像开始图1.对抗性的例子产生的建议基于决策的ZO-ADMM攻击MNIST和CIFAR-10。基于分数的ZO-ADMM攻击需要更少的查询来获得第一个成功的对抗示例。在MNIST和CIFAR-10上，使用RGE的ZO-ADMM攻击的查询数量的减少是通过Eq. (17)在ZO-ADMM中，只需要一步梯度估计来解决近似问题，而不是数千步来解决原始问题。我们还观察到，基于分数的BO-ADMM攻击可以实现更小的查询数相比，RGE方法，但它会导致更大的BLOG失真。原因是BO-ADMM对扰动没有非常精确的控制因此，它需要更大的扰动来误131导DNN模型。虽然保持分类标签不变。在大约20，000查询，该示例接近原始图像，具有令人满意的0.02失真。6.2. ImageNet评估我们在ImageNet上基于分数和基于决策的设置中执行有针对性和无针对性的攻击随机选择100个正确分类的图像。对于目标攻击中的每个图像，从1000个类别中随机选择9个标签我们不执行转移攻击，因为由于代理模型的训练，它不能很好地扩展到ImageNet。相反，我们提供了ImageNet上新基线的结果，包括[18]中提出的查询限制攻击和仅标签攻击，以及基于时间和数据相关先验的Bandits优化攻击（称为BanditsTD）[19]。查询限制攻击和BanditsTD攻击是基于分数的攻击。标签攻击是一种基于决策的攻击。1322ǁ ǁ表2.ImageNet上对抗性攻击的性能评估无目标攻击针对性的攻击攻击方法ASR查询计数初步成功减速比ASR查询计数初步成功减速比白盒攻击[6]百分百--百分之九十九--score-based动物园袭击[8]查询限制攻击[18]百分之九十百分百156314785百分之零点零69.4%百分之七十八百分之九十八二、11×10634128百分之零点零百分之九十八点四土匪TD 攻击[19]百分之九十四1259百分之九十二-一个--基于分数的ZO-ADMM攻击百分之九十八89194.3%百分之九十七1605899.2%基于判定标签[18]基于决策的ZO-ADMM攻击-b百分百-11742c-24.9%92%百分之九十四1 .一、89×106c1 .一、52×106c百分之十点四百分之二十八a主要探讨无目标攻击。b标签攻击主要探讨针对性攻击。c基于决策的攻击的初始成功的查询计数是指当它在其初始成功时实现与ZOO攻击相同的102失真时的查询数量实验结果总结于表2中。对于基于分数的攻击，我们可以观察到基于分数的Z 0- ADMM攻击可以比其他攻击用更少的查询实现高ASR。与ZOO攻击相比，它将初 始 成 功 的 查 询 数 量 对 于 基 于 决 策 的 攻 击 ， ZO-ADMM攻击可以获得更高的ASR与更少的查询相比，只有标签的攻击，甚至使用基于分数的信息的ZOO攻击补充材料中展示了由ZO-ADMM攻击生成的一些对抗性示例更多的实验结果，包括与自动缩放[39]和边界法[5]方法的比较，在附录中给出。6.3. ZO-ADMM攻击图2，我们证明了所提出的ZO-ADMM针对性黑盒攻击的收敛性，其中给出了9个针对性对抗性示例的平均正如我们所看到的，由于我们从零开始初始化对抗性失真，因此基于分数的ZO-ADMM攻击会增加102失真，直到找到成功的对抗性示例。之后，它会尝试减少102失真，但保持目标标签不变。为基于决策的攻击，图2显示，最初很大，因为ZO-ADMM从目标类中的图像而不是原始图像开始。然后，随着查询数量的增加，所产生的失真减小我们强调，ZO-ADMM攻击能够在MNIST上进行数百次查询，CIFAR-10和ImageNet上的数万次查询，这明显优于ZOO攻击。除了Fig.2演示了ADM2失真与查询次数的关系，我们在补充材料中给出了ADM2失真与ADMM迭代次数的关系，可以得出类似的结果6.4. 对各种BROMP范数的评价在前面的实验中，我们主要考虑了D（z）=z2的情况，以便与其他白盒和黑盒算法进行公平的比较。然而，我们强调，ZO-ADMM方法是能够优化各种各样的NLP范数，而不仅仅是NLP2范数。在表3中，我们给出了实验结果。151050电话：+86-0512 - 8888888传真：+86-0512 - 88888888查询计数104图2. ZO-ADMM攻击的收敛性。表3.针对不同lp范数的MNIST上的ZO-ADMM攻击的性能评估。攻击方法ASRℓ0ℓ1ℓ2ZO-ADMM0百分百18.512.69.72ZO-ADMM1百分百46510.52.71ZO-ADMM2百分百48322.091.93当解决问题（11）时，得到不同的BMPs范数。在这里，我们专注于三个分数为基础的黑盒攻击与ZO-ADMM通过最小化的100，101和102失真，re-speed。正如我们所看到的，我们提出的方法是很好的在黑盒对抗性例子的设计中适应不同的BMPs7. 结论在本文中，我们提出了一个通用的框架来设计范数球有界的黑盒对抗的例子，利用算子分裂方法（即，ADMM），连同无梯度操作，包括随机梯度估计和贝叶斯优化。所提出的框架可以应用于基于分数和基于决策的设置。与最先进的黑盒攻击相比，我们的方法实现了更好的查询效率，而不会在攻击成功率和PARP-范数失真方面损失攻击性能。基于分数，MNIST基于分数， CIFAR-10基于分数的ImageNet基于决策，MNIST基于决策，CIFAR二语失真133确认这项工作得到了国家科学基金会CNS-1932351的部分支持。134引用[1] Arjun Nitin Bhagoji，Warren He，Bo Li和Dawn Song。探 索 对 深 度 神 经 网 络 的 黑 盒 攻 击 空 间 。 CoRR ，abs/1712.09491，2017年。[2] 巴蒂斯塔·比吉奥、伊吉诺·科罗纳、达维德·马约卡、布莱恩·尼尔森、内迪姆·S· 伦迪、帕维尔·拉斯·科沃、吉奥·吉奥·贾钦托和法比奥·罗利。在测试时对机器学习的规避攻击。在2013年关于数据库中的机器学习和知识发现的联合欧洲会议上，第387-402页[3] 伊利亚·博古诺维奇，乔纳森·斯嘉丽，安德烈亚斯·克劳斯和沃尔坎·塞夫尔。截断方差减少：一个统一的方法来进行最佳化和水平集估计。在D. D. 李 ， M 。 Sugiyama ， U. 卢 克 斯 堡岛 Guyon 和R.Garnett ， 编 辑 ， 神 经 信 息 处 理 系 统 进 展 29 ， 第1507Curran Associates，Inc.2016年。[4] StephenBoyd，Neal Parikh，Eric Chu，Borja Peleato，Jonathan Eckstein，et al.通过乘子交替方向法的分布式优化和统计学习。机器学习中的基础和趋势，3（1）：12011.[5] 威兰·布伦德尔乔纳斯·劳伯和马蒂亚斯·贝斯格。基于决策的对抗性攻击：对黑盒机器学习模型的可靠攻击。arXiv预印本arXiv：1712.04248，2017。[6] 尼古拉斯·卡利尼和大卫·瓦格纳。评估神经网络的鲁棒性。在安全和隐私（SP），2017年IEEE研讨会上，第39-57页。IEEE，2017年。[7] Pin-Yu Chen，Yash Sharma，Huan Zhang，Jinfeng Yi，and Cho- Jui Hsieh.Ead：通过对抗性示例对深度神经网络 进 行 弹 性 网 络 攻 击 。 arXiv 预 印 本 arXiv ：1709.04114，2017。[8] Pin-Yu Chen，Huan Zhang，Yash Sharma，Jinfeng Yi，and Cho-Jui Hsieh. Zoo：基于零阶优化的黑盒攻击，在没有训练替代模型的情况下对深度神经网络进行攻击.第10届ACM人工情报与安全研讨会论文集，第15-26页ACM，2017。[9] Minhao Cheng，Thong Le，Pin-Yu Chen，Huan Zhang，Jin-Feng Yi，and Cho-Jui Hsieh.查询效率硬标签黑盒攻击：基于优化的方法。在2019年国际学习代表会议上[10] Jia Deng，Wei Dong，Richard Socher，Li-Jia Li，KaiLi，and Li Fei-Fei.Imagenet：一个大规模的分层图像数据 库 。 在 计 算 机 视 觉 和 模 式 识 别 ， 2009 年 。CVPR2009 。 IEEE 会 议 ， 第 248-255 页 。 IEEE ， 2009年。[11] John C Duchi，Peter L Bartlett，and Martin J Wainwright.随机优化的随机平滑。SIAMJournal on Optimization，22（2）：674[12] John C Duchi，Michael I Jordan，Martin J Wainwright，and Andre Wibisono. 零阶凸优化的最优速率：两个函数求值的幂。IEEE