基于几何启发的决策攻击及其在图像识别中的应用

4890一种基于几何启发的决策攻击刘宇佳*yjcaihon@mail.ustc.edu.cn赛义德-莫森·穆萨维-德兹富利†epfl.ch帕斯卡·弗罗萨尔pascal. epfl.ch摘要深度神经网络最近在图像分类方面取得了巨大的成功。然而，最近的研究表明，他们很容易被敌对的例子误导到不正确的分类决策。入侵者甚至可以通过在黑盒设置中查询模型来制造攻击这种基于决策的攻击通常需要大量的查询，而现实世界的图像识别系统实际上可能会限制查询的数量。在本文中，我们提出了qFool，一种新的基于决策的攻击算法，可以使用少量的查询生成对抗性的例子与以前的基于决策的攻击相比，qFool方法可以大大减少查询的数量，同时达到相同的对抗性示例质量。我们还通过在低频子空间中约束对抗扰动来总之，我们设法欺骗商业图像识别系统与少量的查询，这证明了我们的新算法在实践中的实际有效性。1. 介绍深度神经网络近年来取得了重大突破，并在各种应用中发展为强大的工具，包括计算机视觉[15，14]，语音[19，11]，医疗保健[13，17]等。尽管它们取得了巨大的成功，但事实表明，这些网络容易受到蓄意攻击。攻击者可以生成与原始图像非常相似的攻击性示例[26]，但这可能会误导深度神经网络给出错误的输出。许多现有的攻击集中在白盒设置[8，4]，其中对手可以完全访问模型的所有信息。 它们可以通过计算损失函数的梯度来攻击模型。白盒攻击很有趣，可以衍生出对深度神经网络的更好理解，但*中国科学技术大学瑞士洛桑理工学院但在更实际的环境中，它们是不现实的，在这种环境中，广告商不知道模型参数。在这种情况下，称为黑盒设置，一些最近的工作集中在基于得分的攻击[21，5]，其中他们对目标模型进行大量查询，并利用输出概率来生成对抗性示例。然而，大多数现有的黑盒攻击没有考虑到查询通常在时间和金钱方面都是昂贵的，尤其是对于商业模型。事实上，一些商业模型只为用户提供最终决策（top- 1标签），甚至没有任何输出概率。此sce- nario对应于基于决策的设置，其中攻击[3] 对对手来说是最具挑战性的。在本文中，我们提出了一种新的基于决策的攻击方法，称为qFool，计算敌对的例子，只有几个查询。我们考虑了非目标攻击和目标攻击，有利地利用了决策边界在对抗性示例周围局部平坦的事实在非目标攻击中，我们仅依靠每个查询结果的前1个标签来估计决策边界的梯度方向。然后，我们直接从估计方向的原始图像中搜索一个ad-versarial示例在有针对性的攻击中，我们在边界上的多个点上进行迭代梯度估计，并在目标图像的帮助下寻找对抗性示例。我们的非定向攻击和定向攻击都可以误导网络，只有很少的查询。此外，我们的实验表明，在低维子空间中搜索扰动因此，我们建议将qFool扩展到子空间，以进一步减少查询的数量。最后，我们使用qFool欺骗一个著名的商业图像识别服务，只有少量的查询模型。我们的主要贡献如下：• 我们提出了一种新的方法qFool，用于在只能访问训练的深度网络模型的前1个标签决策时生成对抗性示例• 我们证明，qFool需要更少的查询比以前的基于决策的攻击在非有针对性的和有针对性的设置。• 我们用适当选择的4891子空间约束，从而在保持高欺骗率的同时进一步减少查询的• 我们将qFool应用于Google Cloud Vision，这是商业部署的黑盒机器学习系统的一个例子。我们证明，这样的商业classi- fiers可以愚弄少量的查询。2. 相关工作Szegedy等人[26]是第一个展示深度网络对对抗性例子的可扩展性的人。根据对手对网络的了解程度，对抗性攻击分为白盒攻击和黑盒攻击。在白盒设置中，对手拥有关于网络本身的所有这是一个更有利于敌人攻击的情况。基于梯度的攻击大多数白盒攻击需要网络损失函数的梯度。Goodfellow等人[8]提出了一种快速梯度符号法（FGSM），它探索梯度方向。雅可比显着图攻击（JSMA）由Papernot等人。[25]使用显着图来计算对抗扰动。 DeepFool作者：Moosavi-Dezfooli et al.[20]通过探索最近的决策边界并越过它来欺骗网络来生成对抗性示例。Carlini和Wanger [4]的CW攻击使用Adam优化器解决了三个距离测量下的更有效的优化问题。Cisse的Houdini [6]是一种生成专门针对任务丢失的对抗性示例的方法，它可以应用于一系列应用程序。Baluja和Fischer [1]训练了对抗性转换网络，以生成针对目标网络或一组网络具有非常大多样性的对抗性示例。所有这些白盒攻击都需要计算模型的梯度，但有时攻击者可能无法访问模型，或者它可能包含不可微的操作。因此，黑匣子攻击最近受到了更多的关注。在黑盒攻击中，对手不知道网络。他们只能通过查询预测来访问预测。黑盒攻击大致可分为三类：基于转移、基于分数和基于决策的攻击。基于传输的攻击。Szegedy等人[26]发现对抗性示例可以在模型之间转移，从而对部署的模型进行黑盒攻击。基于转移的攻击旨在通过利用来自底层目标模型的预测来训练代理模型。Papernot等人[22]表明，基于替代模型制作的对抗性示例可能会Liu等 人 [18]开 发 了 一 种 基 于 整 体 传 输 的 攻 击 ， 并 在Clarifai.com（一种商业图像分类服务）上取得了很大成功基于分数的攻击在基于分数的攻击中，对手仅依赖于模型的预测分数来生成对抗性示例。Narodytska等人[21]提出了局部搜索攻击，该攻击测量模型对单个像素的敏感性。Chen等人[5]提出了零阶优化（ZOO），它通过对称差商来近似梯度信息以生成对抗示例。Hayes等人[9]使用预测的分数来训练黑盒攻击的攻击者模型。基于决策的攻击。基于决策的攻击仅依赖于模型的类决策（top-1标签）。一种简单的方法是加性高斯噪声攻击[23]，它探测模型对i.i.d.的鲁棒性正常的噪音对手还可以使用均匀噪声、椒盐噪声、对比度降低或高斯模糊。但是用这些简单方法计算的扰动通常是很容易察觉的。Brendel等人[3]提出了边界攻击，可以有效地产生更小的对抗性扰动。它从一个大的对抗扰动开始，通过使扰动的数据点沿着决策边界行走，同时确保它停留在对抗区域中，迭代地降低扰动的范数。大多数黑盒攻击通常需要对网络模型进行大量查询，而这在实践中是一个重要的约束。Li等人。[16]引入了一种主动学习策略，以显着减少基于传输的攻击的查询数量。对于基于分数的攻击，Ilyas et al.[12]应用了自然进化策略，只使用了比以前方法少两到三个数量级的查询。Bhagoji等人[2]提出了随机特征分组和主成分分析方法，该方法可以同时实现高查询效率和高成功率。最后，在基于决策的攻击中，由于对手从每个查询中获得的信息较少，因此所需的查询数量肯定很大。减少基于决策的查询的数量肯定是具有挑战性的，并且符合实际设置。 本文提出一种新的基于决策的攻击，这大大提高了查询效率，甚至与商业黑盒系统。3. 基于决策的非定向攻击我们现在描述我们的新的基于决策的攻击算法。我们考虑具有参数θ的训练模型，其可以表示为f θ：x→y，其中x∈Rd是输入归一化图像，y是模型的最终决策，即，top-1分类标签。我们首先考虑非目标攻击问题，其中对手计算对抗扰动v以改变图像x 0的估计标签，即，f θ（x0+v）/=f θ（x0）.此外，扰动图像和原始图像之间不应存在可感知的差异，即：欧氏范数||v||2≤ τ对于一些小的τ。广告词-4892nnR我X（三）Advx0的（一）ξ（二）PBη1，…ηn向系统查询，直到图像P=x0+r j被误分类。 为了使起始点更接近决策边界，我们然后在rj的方向上进行二分搜索，以找到使扰动图像位于边界上的小高斯噪声r。（2）梯度估计。仅使用分类器的前1个标签来估计边界的梯度f（P）我们随机生成n个小向量η1，.，η n同图1：通过qFool计算对抗示例（1）用随机扰动r计算起始点P。(2)通过n个扰动向量η1，.，ηn. (3)在估计的梯度方向ξ上搜索具有扰动v的对抗样本xadv。范数来扰动P并查询分类器以获得预指定标号f（P+ηi）.我们定义：.z=−1f（P + ηi）= f（x0），i = 1，2，...， n（2）+1f（P+ηi）f（x0）理论上，向量（η1，.，ηn）很可能是对称分布在决策的Σsarial示例是通过对联合国进行查询来构建的，边界 对于足够大的n，1ni=1 ziηi收敛于深度网络。从理论上讲，查询越多，可以获得关于目标模型的更多信息，并且对抗性扰动越小。我们的目标是利用决策边界的法线作为沿决策边界的ηi因此，可以估计尽可能少的查询，使得扰动的范数小于某个阈值τ。配对为nzη=.（三）3.1. 查询高效设计||i=1 z iη i||2我们的基于决策的攻击算法的基本思想如下。Fawzi等人[7]已经表明，决策边界在对抗性示例附近具有相当小的曲率。这表明，决策边界的一些几何性质可以以类似的方式近似因此，我们利用这一观察来计算对抗扰动v。输入样本x0的最小对抗扰动v的方向理论上是xadv处的决策边界的梯度方向。由于我们在黑盒场景中不能完全访问类的结构，因此不可能直接计算方向。但是，由于边界相当平坦，所以分类器在点xadv处的梯度几乎与边界上的其他相邻点处的梯度相同。因此，v的方向可以很好地近似于在相邻点P处估计的梯度。然后，我们可以沿着近似方向ξ从x0寻找对抗xadv。基本逻辑如图所示。1.下面给出了关于每个步骤的更多细节（1）起点。首先，我们找到一个小的随机噪声r来扰动原始图像x0，并确定边界上的起始点P从形式上讲，P=x0+min||R||2s. t. fθ（P）/=fθ（x0），r N（0，σ）（3）定向搜索。 由于边界的平坦性，点x adv处的梯度方向可以由点P处的梯度方向近似，即，，f（P），其可以通过等式（1）计算（三）、因此，我们可以通过在ξ的方向上扰动原始图像x0直到我们到达决策边界来找到对抗样本xadv它只通过使用二分搜索算法，对分类器花费一些查询上面描述的qFool设计是高度并行的，这可以带来重要的加速。在梯度估计的步骤中，其中绝大多数查询被消耗，我们可以进行并行查询，因为它们彼此独立。相反，在所有以前的基于决策的攻击，算法通常是在一个迭代的方式执行，结果是高度依赖于以前的迭代。因此，我们的算法不仅可以减少查询的数量，但也节省了大量的计算时间，由于并行化。3.2. qFool算法起始点P和原始点x0之间的距离直接影响在第3.1节中计算如果我们找到一个更接近边界的更好的起始点P，那么最终的扰动通常会更小，并且更有可能是不可感知的。因此，我们将qFool攻击设计为迭代al-（一）为了做到这一点，我们添加一些随机高斯噪声riN（0，σ i）（i=1，2，...，k）到原始图像，并使其中迭代地更新起始点P查询的总数η被划分为s次迭代，即，n=n（0）+n（1）+. +n（s−1）。s和n（i）（i =4893AdvAdvAdvAdv¨Adv¨算法一：非目标qFool输入：原始图像x0，初始估计数nu，阈值。inti=0;在Eq. （四）、ω（k+1）=ω（k）·（1+φ（k）·ρ（k））φ（k）=−sign（ρ（k））·φ（k−1）（四）2 搜索起点P0;其中ω（0）= ω，φ（0）= −1。φ（k）控制增加或3同时 Σij=0（j）

下载后可阅读完整内容，剩余1页未读，立即下载