偏置采样的黑盒对抗攻击方法及其在图像分类中的应用

4958智能猜测：用于有效黑盒对抗攻击的偏置采样Thomas Brunner1，2 Frederik Diehl1，2 Michael Truong Le1，2 Alois Knoll21 fortissGmbH2慕尼黑工业大学{brunner，diehl，truongle}@ fortiss.orgknoll@in.tum.de摘要我们认为对抗性的例子，图像分类的黑箱决策为基础的设置。这里，攻击者不能访问置信度分数，而只能访问最终标签。大多数针对这种情况的攻击要么不可靠要么效率低下。专注于后者，我们表明，一类特定的攻击，边界攻击，可以被重新解释为一个有偏见的抽样框架，提高效率，从做主要的知识。我们确定了三个这样的偏见，图像频率，区域掩模和替代梯度，并评估其性能对ImageNet分类。我们表明，这些偏见的组合优于最先进的一个很大的保证金。我们还展 示了 一种 有效 的方 法来 攻击 Google Cloud VisionAPI，在那里我们只需要几百个查询就可以制作令人信服的扰动。最后，我们提出的方法也被发现在对抗强防御时非常有效：我们的目标攻击在NeurIPS 2018对抗视觉挑战赛中获得第二名。1. 介绍自从这个术语首次被创造出来以来，对抗性示例就受到了机器学习研究人员的广泛关注。微小的扰动可能导致其他看起来健壮的模型对输入进行错误分类的事实可能对安全性和保障性造成重大问题但在讨论对抗性示例时，通常不清楚拟议攻击的场景真实性如何在这项工作中，我们考虑具有以下参数的威胁设置：黑盒子黑盒设置假定攻击者仅能访问模型的输入和输出。与白盒设置相比，攻击者可以完全访问模型的架构和参数，这种设置中的攻击明显更难实施：大多数最先进的白盒攻击[7，4，13]依赖于直接从模型参数计算的梯度，这在黑盒设置中不可用。(a)（b）第（1）款(c)（d）其他事项图1.（a）和（b）：通过随机抽样获得的黑盒对抗示例(c)和（d）：孤立的扰动模式。(c)从正态分布中采样，并且（d）从Perlin噪声模式的分布中采样，这是我们提出的偏差之一。（a）和（b）都欺骗了分类器，但（b）可以用更少的样本获得。基于决策的分类（仅标签）。 根据模型的输出格式，可以避免丢失梯度的问题。在基于分数的场景中，模型提供实值输出（例如，软最大激活）。通过对输入进行微小的修改，攻击者可以通过观察输出的变化来估计梯度[5]，然后根据这个估计来生成对抗性示例。相反，基于决策的设置仅提供单个离散结果（前1标签），在该结果上梯度估计非常低效[9]。这种形式的黑盒攻击要困难得多，但也扩大了现实世界中可能目标的范围[3]。有限的查询。如果黑盒攻击需要对模型进行数百万次查询，并且可能需要几个小时的时间才能成功，那4959么它们可能是不可行的。因此，我们考虑攻击者必须找到一个convinc的场景4960在少于15000个查询中使用对抗性示例。针对性地当分类结果是原始标签以外的任何标签时，非目标攻击被认为是成功的。根据类的数量和语义，可以很容易地找到一个只需要很小改变的标签，但是被认为是对抗性的（例如埃及猫vs波斯猫）。相比之下，有针对性的攻击需要精确地产生指定的标签。这个任务严格来说比无目标攻击更难，进一步降低了成功的概率。在这种情况下，当前最先进的攻击要么不可靠，要么效率低下。我们的贡献如下：• 我们展示了如何最近提出的方法，绑定攻击，可以重新构建为一个有偏见的抽样框架，从先前的信念关于目标域。• 我们讨论三个这样的偏见：低频模式、区域掩模和来自代理模型的梯度。• 我们评估了每个偏见的有效性，并表明它们的组合大大超过了以前的国家的艺术在标签的黑盒攻击。我们的源代码是公开的。12. 相关工作在我们考虑的威胁环境中，目前存在两种主要的攻击类型：2.1. 基于传输众所周知，对抗性示例显示出高度的可移植性，即使在不同的模型架构之间也是如此[19]。转移攻击试图通过训练与受到攻击的模型相当相似的替代模型来利用这一点，然后对它们应用常规的白盒攻击。通常，这是通过迭代应用快速梯度法来执行的，例如快速梯度符号法（FGSM）[7]，更一般地，投影梯度下降法（PGD）[13]。黑盒模型用于前向传递，而后向传递使用代理模型[1]执行。为了最大限度地提高成功转移的机会，较新的方法使用大量的替代模型，并且已经发现将对抗性训练应用于替代模型可以进一步增加找到强对抗性示例的概率[18]。虽然这些方法目前形成了标签黑盒攻击的最新技术[11]，但它们有一个主要弱点：一旦防御者设法降低可传输性，直接传输攻击通常会冒着完全失败的风险，即使在数千次攻击之后也不会产生任何结果。1https://github.com/ttbrunner/biased_boundary_攻击迭代因此，进行转移攻击是攻击者和防御者之间的猫捉老鼠游戏，攻击者必须竭尽全力训练与防御者一样强大的模型因此，基于传输的攻击可能非常有效，但也有些不可靠。2.2. 基于采样为了避免这个问题，基于采样的攻击不依赖于直接传输，而是试图通过从输入空间随机采样扰动来找到不利的示例。也许最简单的攻击包括对原始图像周围的超球体进行采样，并绘制越来越多的样本，直到找到对抗性的示例由于输入空间的高维性，该方法非常低效，并且已被视为完全不可行[17]。虽然这不是我们的主要关注点，但我们在附录C中表明，即使是这种粗糙的攻击也可以在某些情况下加速并具有竞争力。最 近 ， 提 出 了 一 种 更 有 效 的 攻 击 ： 边 界 攻 击（Boundary Attack，BA）[3]该攻击使用所需类别的输入进行初始化，然后沿着决策边界采取小步骤以减少到原始输入的距离。以前的工作已经确定，包含对抗性示例的区域通常具有“圆锥”的形状在每一步中，BA采用随机采样来找到更深地通向该圆锥体的侧向方向。从那里，它可以朝着目标迈出下一步。BA已经被证明是非常强大的，产生的对抗性示例甚至可以与最先进的白盒攻击的结果竞争[3]。但是，它的缺点是查询效率：为了实现这些结果，攻击通常需要对模型查询数十万次。应当注意的是，最近关于黑盒攻击的研究主要集中在提供置信度分数的分类器上，这是一种更容易的设置。然而，这些方法中的许多方法也使用随机抽样[5，20，9]，我们提出的偏差也可以使他们的方法受益。作为旁白，Ilyas et al.[9]提出了他们的一个变体，该变体设法将梯度估计应用于离散标签。虽然这确实适合我们的设置，但我们发现它比BA变体效率低得多（见第4节）。显然，基于采样的攻击非常灵活，但对于实际使用来说效率太低。除了纯粹的随机猜测，BA是我们设置中最简单的攻击。因此，我们选择专注于这种方法，并展示它如何从我们提出的偏差中受益。4961(a)（b）（c）图2.正交步长的采样方向（a）边界攻击：沿超球体的表面均匀分布（b）具有柏林偏差的BA：在低频扰动的方向上具有更高的样本密度。(c)具有替代梯度偏倚的BA：样本进一步向投影梯度的方向集中。3. 有偏见的边界攻击边界攻击，像大多数基于采样的攻击，从多维正态分布的扰动候选人这意味着它执行无偏采样，扰动每个输入功能独立于其他。虽然这是非常灵活的，但当用于鲁棒模型时，它也是极其低效的。考虑自然图像的分布：相邻的像素通常不是彼此独立的，但通常具有相似的颜色。这本身就是一个强有力的指标，表明从i.i.d随机变量中提取扰动将导致明显超出自然图像数据集分布的对抗性示例。当然，这使得它们容易被检测和过滤-鲁棒模型对此类模式的弹性越来越大[11]。因此，将搜索空间限制在我们认为有更高成功机会的扰动上，或者对分布进行偏置，以便增加对它们进行采样的概率，这似乎是唯一合乎逻辑的。我们概述了三个这样的偏见的域的图像分类，讨论他们的动机，并展示了如何整合到采样过程中的边界攻击。3.1. 低频扰动当人们查看典型的对抗性示例时，很明显，大多数现有方法都会产生高图像频率的扰动。但是高频图案具有显著的问题：它们容易被识别并从原始图像信号中分离，并且经常被空间变换抑制事实上，NeurIPS2017对抗性攻击和防御竞赛中的大多数获胜防御都是基于去噪[12]，简单中值滤波器[11]和随机变换[21]。换句话说：现有技术的防御被设计成过滤高频噪声。与此同时，我们知道，它是可能的合成大小“鲁棒”的对抗性的例子，这是不容易过滤，以这种方式。比较Athalye et al.[2]：它们的鲁棒扰动对于滤波器和变换是很大程度上不变的，并且--受此观察的启发，我们假设图像频率本身可能是对抗扰动鲁棒性的关键因素。如果为真，则简单地将扰动限制到低频域应该增加攻击的成功机会，同时不产生额外的成本。柏林噪声模式。生成参数化低频模式的直接方法是使用Per- lin Noise [14]。最初打算作为一个程序纹理生成器的计算机图形，这个函数创建一个合理的“自然”的外观低频噪音模式。在图1d中可以看到一个这样的图案。但是我们如何用它来创建边界攻击的先验呢？设k为输入空间的维数原始边界攻击（图2a）的工作原理是沿着原始图像周围的超球体表面施加正交扰动ηk从那里，向原始图像迈出一步。在默认配置中，可以-从样本s <$N（0，1）k生成ηk的双日期，这些样本正交于源方向投影，归一化到期望的步长。这导致方向沿着超球面均匀分布。为了将低频先验引入绑定攻击，我们改为从Perlin噪声模式的分布中采样（图2b）。柏林噪声通常用大小为256的置换向量V来参数化，其我们随机洗牌实际上，这允许我们对二维噪声模式s·Perlinh ，w（v）进行采样，其中h和w是图像维度（并且h·w=k）。结果，样本现在强烈地集中在低频方向上。我们在第4节中的实验表明，这大大提高了攻击的效率。 因此，我们认为Perlin噪声模式的分布比正常分布包含更高浓度的对抗方向。4962(a)（b）第（1）款(c)（d）其他事项图3.基于每像素差异的掩蔽。(a)显示原始图像，（b）目标类的图像。(c)是掩模，以及（d）是已经应用掩模的扰动。扰动集中在中心区域，因为背景在图像之间已经非常相似。3.2. 区域掩蔽目前，扰动被均匀地施加在整个图像上。无论是低频率还是高频率，边界攻击的正交步骤几乎相等地扰动所有像素（当在大量样本上平均时）。这似乎是一种浪费边界攻击是从目标类的图像向受攻击的图像的插值。在某些地区，这些图像可能已经非常相似，而在其他地区则非常不同。直觉上，我们希望攻击在差异较大的区域采取更大的步骤我们也不愿意扰乱已经相似的区域，因为任何这样的扭曲都必须在以后的步骤中消除。事实证明，这是减少搜索空间的理想方法。我们可以简单地从对抗图像和原始图像的每像素差异创建图像掩码（参见图3）：M=|X adv− X orig|（一）在每一步，我们基于当前位置重新计算该掩模，并将其逐元素地应用于先前采样的正交扰动ηk：k k kηk4963PGKened，而扰动矢量的幅度保持不变。这减少了攻击的搜索空间，因此提高了其效率我们实现这种掩蔽策略作为概念证明，我们在第4节中的评估表明，它确实显著提高了效率。其他面具攻击者可能希望根据他们拥有的关于图像内容的其他知识来设计掩码。例如，将扰动集中在目标的最显著特征上可能是值得的类，减少搜索空间，只有最重要的dimensions。这种“集中”的黑箱扰动可能有很大的希望，我们的目标是在未来调查他们。3.3. 代理模型还有哪些信息源包含了关于方向的强烈暗示，这些方向可能指向一个敌对区域？自然-替代模型的梯度。transfer攻击已经被证明是非常强大的（al-beitbrittle）[18]，所以只要代理可用，利用它们应该是有用的可以说，转移攻击的主要弱点是，当代理模型的决策边界与防御者的决策边界不紧密匹配时，它们会失败然而，即使在这种情况下，边界仍然可以合理地在附近。基于这种直觉，一些方法扩展了具有有限区域采样的基于梯度的攻击[1]。在这里，我们做的恰恰相反，并扩展基于采样的攻击有限的梯度信息。这具有显著的优点，即在低可转移性的情况下，我们的方法仅经历典型转移攻击完全失败的减速。我们的方法工作如下：• 计算来自代理模型的对抗梯度由于当前位置已经是对侧，因此向右侧移动一小段距离可能会有所帮助。首先是原始图像，确保从非对抗区域内部计算梯度。• 梯度通常指向远离原始图像，因此我们将其正交投影到源方向，如图2c所示。• 该投影与正交步长的投影在同一超平面上。我们现在可以将候选扰动偏向投影梯度用任何我们选择的方法提供所有载体η偏置=Mη;η偏置=偏置（二）偏置我们选择简单的加法：以这种方式，具有高差异的那些像素的失真被放大，并且相似像素的失真被衰减。k偏置 =（1−w）·ηk+w·ηk（三）ǁηη4964• w控制偏置的强度，并且是应当根据我们的替代模型的性能来调整的超参数w的高值应为当可转移性高时使用，反之亦然。如果我们选择最大值w= 1，那么正交步骤将等效于PGD攻击的迭代。根据我们的经验，w≤0。5通常会导致良好的性能。结果，样本集中在投影梯度附近，但仍然覆盖搜索空间的其余部分（尽管具有较低的通过这种方式，替代模型对于我们的攻击来说是完全可选的，而不是形成中心部分。但应当指出，至少应当存在某种程度的可转让性。否则，梯度将指向伪方向，并且使用高的w值将降低效率而不是提高效率。就目前而言，这并不构成重大问题。据我们所知，没有任何策略可以成功地完全消除可转移性。正如我们在第4节中继续展示的那样，即使对于直接转移攻击来说太弱的代理模型也可以在我们的框架中使用。3.4. 并发工作我们的工作是同时与Ilyas等人。[10]，他们引入了一种Bandit优化框架，该框架结合了先验信息以提高查询效率。虽然他们的方法与我们的方法不同，但它们的动机是相同的直觉-领域知识可以用来加速优化。我们注意到，他们提出的数据相关先验他们还引入了一个时间依赖的先验，这可能有利于我们在未来的工作。低频扰动最近也被郭等人描述。[8]的一项建议。它们用离散余弦变换分解随机扰动，然后从频谱中去除高频我们期望这些模式与我们的柏林偏见产生的模式非常相似。4. 评价我们针对ImageNet分类器评估我们的方法，并进行消融研究以确定每个偏差的有效性。我们还将我们的结果与最近提出的一系列黑盒攻击进行了比较。最后，我们对Google Cloud Vision API进行了攻击，并表明我们的方法可以有效地部署在现实世界的商业系统上。附录A显示了我们的攻击产生的一系列有趣的例子，附录B包含超参数列表，附录C描述了我们在NeurIPS 2018对抗视觉挑战赛中详细(a)（b）第（1）款(c)（d）其他事项(e)（f）第（1）款图4.使用15000个查询对ImageNet进行定向攻击。(a)（b）示出了原始图像（铃），以及（b）示出了目标类别的图像(c)是由原始边界攻击（d2= 18）生成的对抗性示例。52），其中（d）示出了与原始图像的差异。（e）和（f）示出了启用所有偏置的偏置边界攻击（d2= 4）。78）4.1. ImageNetImageNet由299x299彩色像素的图像组成，有1000个类。我们对预训练的InceptionV 3网络进行攻击[16]，该网络达到了78%的top- 1准确率。评价我们通过从ImageNet验证集中随机选择1000个图像来创建评估集，同时为每个图像固定一个随机目标标签。然后我们亲-ceed运行每个攻击多达15000查询和衡量成功率超过所有的例子。成功标准。边界攻击总是从对抗类的图像开始，因此成功的特征必须是与原始图像的距离较低为此，我们在对抗扰动的2范数上定义阈值，并且当距离低于时注册成功由于我们比较的一些方法[9]使用了∞4965我表1. ImageNet上的偏差消融研究（目标攻击）。Perlin偏倚的影响最大，其次是掩蔽偏倚，最后是替代偏倚。每一个偏置都能提高效率，所有偏置的组合都能提供最强的性能。注：我们仅报告成功率超过0.5的中位数。方法S500成功1000率VS2500NUMBE5000R OF QUER10000IES15000I LYAS ET AL. [9]（仅标签）0.000.000.000.000.000.00CHENG等. [6]美国0.040.040.040.040.070.07马德里 ET AL. [13]（PGD转移攻击）0.070.080.080.090.090.09B伦德尔 ET AL. [3]（无偏 BOUNDARY ATACK）0.010.030.100.170.250.33O URS （B IASED BOUNDARY ATACK）0.040.100.290.480.690.85表2.与最近提出的仅标签攻击的比较。我们使用各自作者提供的原始代码，并使用相同的数据和目标运行所有方法。有偏边界攻击（与表1相同）优于所有其他方法。注意，在Ilyas等人的情况[9]，所需查询的数量如此之大，以至于攻击在我们考虑的范围内从未取得成功如果只考虑距离，我们将2阈值设置为25.89。这对应于0.05的最坏情况∞-失真，如果假设所有像素被最大扰动的话。初始化。我们在ImageNet验证集上搜索目标类的图像，并选择最接近被攻击图像的图像。从那里，我们执行二进制线搜索来找到决策边界。这通常在少于10个查询中完成。我们用相同的起点进行所有攻击。代理模特。我们使用预训练的Inception- Resnet-v2模型[15]进行梯度偏差。该模型没有经过对抗训练，并且如表2所示，在PGD转移攻击中表现不佳。我们故意用这个模型来证明我们的方法可以有效地使用预先训练的代理，而无需任何修改。超参数。参见附录B。4.1.1偏倚消融研究我们首先评估所有三种偏差及其组合。 表1显示了结果：很明显，每一个偏置都增加了攻击的效率。通过Perlin偏置获得最大提升，其次是掩模偏置，最后是替代梯度偏置。后者有一个相当小的影响，这可能是由于我们的代理模型是太弱的事实。但是，我们仍然能够使用很少的可转移性，而不是放慢速度（或者像转移攻击那样失败在在这一点上，看看我们的方法是否可以从更好的代理人中获得更多的利润将是有趣的我们认为这是今后工作的方向。同样值得注意的是，所有偏差都可以组合，并且它们不会相互干扰。当这三种偏见都处于活跃状态时，我们在15000次查询后达到85%的成功率。图4示出了这种急剧改进的示例这是我们最强大的攻击，我们现在将其与其他最先进的方法进行比较。4.1.2与最新技术我们继续基准我们的方法对一系列最近提出的攻击我们的设置。我们使用公开可用的代码，以及作者推荐的超参数。我们修改实现以使用我们的评估集，因此所有攻击都在相同的1000张图像上运行，并使用相同的目标标签以及起点（如适用）。表2显示了结果。Ilyas等人[9]提出了他们的梯度估计攻击的仅标签版本。它在我们的环境中工作，但效率大大降低。我们注意到，它不会在15000个查询内产生一个对抗性的示例，并且不会运行such在276000次查询之前，需要进行CEED，中位数为248万次查询这与他们公布的结果一致他们的其他攻击使用置信度得分，因此需要一个相当容易的设置即便如此，我们的A活动BPERLINMASKASESSURROGATES500成功1000率VS2500NUMBE5000R OF QUER10000IES15000M EDIAN 查询直到 成功没有没有没有0.010.030.100.170.250.33-是的没有没有0.030.080.180.310.470.5710826没有是的没有0.030.040.130.220.350.44-是的是的没有0.040.090.250.460.720.805485没有没有是的0.020.060.100.190.290.38-是的没有是的0.050.080.170.320.500.6010277没有是的是的0.030.060.150.260.380.49-是的是的是的0.040.100.290.480.690.8554324966查询的中位数明显低于他们报告的中位数（5432对11550）。类似地，Cheng et al.[6]将设置重新定义为实值优化问题。一般来说，他们报告的效率高于边界攻击，这在我们的实验设置中没有得到我们使用了他们的公开源代码和推荐的超参数。最后，我们进行了一个迭代的PGD转移攻击所描述的Madry等人。[13 ]第10段。 我们的结果表明，它的性能是命中和失误：当传输成功时，它很早就成功了，但在大多数情况下它从未成功。显然，这种攻击需要更强大的代理模型。有趣的是，我们获得的原始边界攻击（无偏差）的性能似乎高于在以前的工作中观察到的性能[3，6]。这可能是由于我们的初始化方法或我们选择的超参数，我们在附录B中列出。在任何情况下，我们的评估表明，有偏见的边界攻击decid- edly优于所有其他的攻击，在标签设置。4.2. Google Cloud Vision API为了证明我们的方法即使对带有未知标签的黑盒也有效，我们对Google Cloud Vision API进行了攻击。这比攻击ImageNet要困难得多，因为确切的类是未知的。然而，我们也注意到Google Cloud Vision有大量近乎冗余的类标签。我们真的需要专注于一个标签吗？自由形式的攻击。我们在前面已经讨论过，具有许多冗余类的非目标攻击并不是真正的对抗性攻击。然而，相反的情况也是如此：为了达到对抗效果，并不总是需要针对一个特定类别。相反，通过定位一组类可以实现相同的效果-如果我们想将一只狗标记为猫，我们可以将所有猫品种联合起来更准确地说，我们可以制定任何对抗性标准，只要它是模型输出的布尔函数。基于决策的攻击使这变得非常简单：如果我们把这个函数看作是黑盒的一部分，我们可以简单地像对待任何其他模型一样对待它，并对其输出进行攻击。4.2.1把人变成熊例如，考虑一次有针对性的攻击，把一个人变成一只熊。我们不使用标签这将攻击扩展到“灰熊”、“棕熊”等标签。并防止每当这些标签中的一个出现在top-1位置时卡住。我们还添加了另一个良好措施的条件图5.对抗图像（目标“熊”），经过346次查询后由GoogleCloud Vision分类。显示置信度分数，但攻击不使用。没有留下暗示人的标签（预测向量仅包含3个标签）。”face”, ”facial expression”, ”skin”, ”person” must not ap-pear in any of the output图5显示了结果：在仅仅346次迭代之后，我们的攻击产生仍然可见的扰动，但是小到足以欺骗不知情的人。图6.敌对图像（行人已被删除），由Google Cloud Vision在1000次查询后进行分类。显示置信度分数，但攻击不使用。有趣的是，我们的对抗模式被归类为49674.2.2让行人消失对抗性标准也可以被公式化为对多个标签的top-k非针对性攻击。考虑一个潜在的安全关键场景，其目标是使模型对行人不敏感。为此，我们简单地制定条件，使得字符串我们在1000次查询后获得图6同样，扰动已经小到足以欺骗一个不知情的观察者。具有如此少量查询的攻击可以在几分钟内在几乎任何设备上执行5. 结论我们已经证明，基于决策的黑盒攻击可以大大加快先验知识。绑定攻击可以被解释为一个有偏见的抽样框架，其中只需要修改样本的分布。在这个框架内，我们提出了三个先验，部分是出于直觉的性质的图像分类，部分是由一个愿望，以连接研究方向在该领域的黑盒攻击。考虑替代梯度偏差：其本身不会产生实质性的改善。然而，我们能够从其他方面显示出接近零的可转移性的代理中获得甚至很小的益处的观察结果似乎对未来的工作非常我们的目标是更详细地研究部分可转移性的这种效应，并希望揭示其一些潜在的性质。它并没有在这里结束-我们只讨论了有偏采样的三个先验，但是还有更多的领域知识尚未进入对抗性攻击。其他扰动模式、空间变换、对抗性混合策略或甚至关于目标类的语义特征的直觉都可以以类似的方式集成。有偏见的边界攻击，我们已经概述了一个基本的框架，其中广泛的知识可以被纳入。我们的实现显着超过-形式的黑盒标签攻击，这是目前考虑的最困难的设置之一，在以前的艺术状态。我们的方法可以在很少的迭代后得到令人信服的结果，黑盒对抗性示例的威胁变得比以往任何时候都更加现实。确认这项研究由巴伐利亚州经济事务、地区发展和能源部资助，作为Fortiss项目“可靠的AI”的一部分引用[1] Anish Athalye，Nicholas Carlini，and David Wagner.模糊渐变会给人一种错误的安全感：规避对抗性例子的防御。第35届国际机器学习会议论文集，ICML，2018。二、四[2] Anish Athalye、Logan Engstrom、Andrew Ilyas和KevinKwok。合成强大的对抗性示例。第35届机器学习国际会议，ICML，2018年。3[3] 威兰·布伦德尔乔纳斯·劳伯和马蒂亚斯·贝斯格。基于决策的对抗性攻击：对黑盒机器学习模型的可靠攻击。在2018年国际学习代表大会上。一、二、六、七[4] 尼古拉斯·卡利尼和大卫·瓦格纳。评估神经网络的鲁棒性。2017年IEEE安全与隐私研讨会（SP），第39-57页。IEEE，2017年。1[5] Pin-Yu Chen，Huan Zhang，Yash Sharma，Jinfeng Yi，and Cho-Jui Hsieh. Zoo：基于零阶优化的黑盒攻击，无需训练替代模型即可对深度神经网络进行攻击。在第10届ACM人工智能和安全中，AISec一、二[6] Minhao Cheng，Thong Le，Pin-Yu Chen，Jinfeng Yi，Huan Zhang，and Cho-Jui Hsieh.查询高效的硬标签黑盒攻 击 ： 基 于 优 化 的 方 法 。 arXiv 预 印 本 arXiv ：1807.04457，2018。六、七[7] Ian J. Goodfellow，Jonathon Shlens，Christian Szegedy.解释和利用对抗性的例子。国际学习表征会议，2015年。一、二[8] 放大图片创作者：Jared S. Frank和Kilian Q. 温伯格低频对抗干扰。arXiv预印本arXiv：1809.08758，2018。5[9] Andrew Ilyas，Logan Engstrom，Anish Athalye和JessyLin。使用有限的查询和信息进行黑盒对抗攻击。第35届国际机器学习会议论文集，ICML，2018。一、二、五、六[10] Andrew Ilyas，Logan Engstrom，and Aleksander Madry.前科：黑盒对抗攻击与禁令- dits和先验。arXiv预印本arXiv：1807.07978，2018。5[11] Alexey Kurakin ， Ian Goodfellow ， Samy Bengio ，Yinpeng Dong ， Fangzhou Liao ， Ming Liang ， TanyuPang ， Jun Zhu ， Xiaolin Hu ， Cihang Xie ， JianyuWang ， Zhishuai Zhang ， Zhou Ren ， Alan Yuille ，Sangxia Huang ， Yao Zhao ， Yuzhe Zhao ， ZhonglinHan，Junjiajia Long，Yerkebulan Berdibekov，TakuyaAkiba，Seiya Tokui，and Motoki Abe.对抗性攻击和防御竞争。arXiv预印本arXiv：1804.00097，2018。二、三[12] Fangzhou Liao ， Ming Liang ， Yinpeng Dong ， TanyuPang，Xiaolin Hu，and Jun Zhu.使用高级表示引导去噪器对抗攻击的防御在IEEE计算机视觉和模式识别会议上，2018年。34968[13] Aleksander Madry 、 Aleksandar Makelov 、 LudwigSchmidt 、 Dimitris Tsipras 和 Adrian Vladu 。 TowardsDeep Learning- ing Models Resistant to AdversarialAttacks. 2018年国际学习代表大会。一、二、六、七[14] 肯·珀林图像合成器。在Proceedings of the 12th AnnualConferenceonComputerGraphicsandInteractiveTechniques ， SIGGRAPH’85 ， pages 287-296 ， NewYork，NY，USA，1985中。ACM。3[15] Christian Szegedy、Sergey Ioffe和Vincent Vanhoucke。起始-v4，起始-resnet和剩余连接对学习的影响。在2016年第31届AAAI人工智能会议上。6[16] Christian Szegedy，Vincent Vanhoucke，Sergey Ioffe，Jonathon Shlens，and Zbigniew Wojna.重新思考计算机视觉的概念架构。arXiv预印本arXiv：1512.00567，2015。5[17] Christian Szegedy、Wojciech Zaremba、Ilya Sutskever、Joan Bruna 、 Dumitru Erhan 、 Ian Goodfellow 和 RobFergus。神经网络的有趣特性2014年，国际学习表征会议2[18] FlorianTrame`r ， Alexe yKurakin ， NicolasPapernot ，IanGoodfellow，Dan Boneh，and Patrick McDaniel.集体对抗训练：攻击和防御。在2018年国际学习代表会议上。二、四[19] 放大图片作者：FlorianTram e`r，NicolasPapernot，IanJ.Goodbellow，DanBoneh，and Patrick D.麦克丹尼尔可转移的对抗样本空间。arXiv预印本arXiv：1704.03453，2017。2[20] Chun-Chen Tu ， Pai-Shun Ting ， Pin-Yu Chen ， SijiaLiu ， Huan Zhang ， Jinfeng Yi ， Cho-Jui Hsieh ， andShin-Ming Cheng.Autozoom：基于自动编码器的零阶优化方法，用于攻击黑盒神经网络。arXiv预印本arXiv：1805.11770，2018。2[21] Cihang Xie ， Jianyu Wang ， Zhishuai Zhang ， ZhouRen，and Alan Yuille.通过随机化减轻对抗效应。在2018年的学习代表国际会议上。3