随机变换提高对抗鲁棒性

6528e随机变换的对抗鲁棒防御障碍爱德华拉夫1，2，4 贾里德西尔维斯特1，2，4史蒂芬福赛斯3马克麦克莱恩11物理科学实验室2博思艾伦汉密尔顿3英伟达4u.m.B.c.摘要在使用ImageNet数据集时，对抗性示例的防御在历史上很容易被击败。共同的理解是，当考虑模糊梯度时，简单图像变换和其他各种防御的组合不足以提供必要的保护。在本文中，我们探索了随机组合的想法，将大量单独的弱防御组合成一个单一的随机转换弹幕，以建立一个强大的防御对抗性攻击。我们表明，即使在考虑了模糊梯度之后，随机变换屏障（BaRT）也是一个有弹性的防御甚至最困难的邪教攻击，如PGD。 BaRT实现了高达24μ m的精度提高，与以前的工作相比，甚至扩展了效率到以前未经测试的最大对抗扰动μm= 32。1. 介绍对抗性机器学习已经成为一个研究领域超过十年[1]，但它最近受到了更大社区的关注和关注 这在很大程度上是由于现代深度学习技术在计算机视觉任务领域的成功，以及这些系统被愚弄而做出错误决策的惊人容易性[2]。特别是，人们担心自动驾驶汽车的安全性，因为他们可能会被愚弄，将停车标志误读为限速，以及其他可能的邪恶行为[3]。考虑一个对手A，给定某个受害者模型f（·），它希望x=A（x）满足f（x）= f（A（x））。许多工作都试图找到一个能使一个新的最小平均x=t（x）suchthatf（x）=f（t（A（x）的方法。如果我们能找到合适的方法，它将为我们提供一种简单方便的方法来循环-计 算 机 视 觉 转 换 的 文 献 。 Athalye 、 Carlini 和Wagner [4]已经表明，由于他们称之为模糊梯度的问题，许多寻找这种防御性变换的尝试都是失败的。更广泛地说，我们所知道的每一种经过彻底评估的防御都未能为ImageNet提供任何级别的保护[5]，正如Ro-bustML目录中所示，所有ImageNet结果都被减少到0。1%的准确度。相比之下，我们为ImageNet提出了一种新的最先进的防御方法，在不受攻击时会付出一些准确性代价，但在受到攻击时，它的前5名准确率高达57.1%。这些攻击是由我们所能构建的最强对手进行的，在关键方面明显在我们的工作中，我们不是寻找单个变换t（·），而是提出了一个由许多不同的变换t1，.，n，我们将从中随机选择一个子集，在训练和测试时应用于每个图像。各个变换将被随机参数化，所选择的特定子集以及应用它们的顺序也将被随机参数化。通过创建一连串的随机变换，我们证明了这种集成防御可以提供对抗攻击的切实好处，即使考虑到混淆梯度可能误导我们使用破损防御的所有方法[4]。总体而言，我们提供以下贡献：• ImageNet上的一种新的、最先进的防御，完全解决了模糊梯度问题。• 结果表明，整合弱防御可以创建一个强大的防御，只要它们以随机的方式组合，防御的人口是大的。以前的工作已经证明情况并非如此[6]。BaRT的灵感来自于之前的一些作品，这些作品使用奇异变换来抵御攻击。 我们将审查工作与我们在第2节中的方法相关，并详细说明解决对抗性问题。 这是特别所有用于压缩文件的文件都是免费的，请访问http：//www. 鲁布斯湖org/6529在第3节中，我们将介绍攻击者的威胁模型，并在第4节中介绍攻击者的威胁模型。虽然本质上是启发式的，但我们发现，在考虑了我们最强大的对手之后，我们获得了最先进的鲁棒性，可以抵御对ImageNet数据集的攻击，我们将在第5节中展示。2. 相关工作虽然针对机器学习模型的对抗性攻击的工作已经存在了十多年，但最近的工作表明它们对神经网络的成功[7，8]已经产生了更多的动机和注意力。有些人认为这种担忧被夸大了，并且在现实世界中发生的位置，照明，角度和其他然而，后来的研究表明，这些困难是可以规避的，从而可以构建对抗性示例[10，11]。尽管如此，通过某种方式过滤或移动某个物体的部分图像，调整角度、位置或其他类型的视觉变换可以击败对手的直觉仍然是令人着迷和诱人的因此，已经提出了许多论文，这些论文试图使用某种针对智能系统的智能预处理来击败对手（例如，例如，在一个实施例中，[12据我们所知，这些类型的防御都在白盒威胁模型中被击败，或者通过正确地将防御合并到广告商的安全策略中[ 2 ]，或者通过针对模糊梯度的策略当防御有意或无意地掩盖了关于梯度的信息，使得对手使用它不可靠（或不存在）时，这些可以以多种方式发生，但所有这些都提出了解决方案，以获得合适的近似梯度供对手使用[4]。在这项工作中，我们只使用已经被击败的技术来建立我们的防御。通过这种方式，我们可以利用已知的解决方案来模糊梯度，从而充分考虑到我们对防御的很少有方法能够扩展到ImageNet的规模，并且我们发现大多数试图保护其免受攻击的工作都是基于变换或去噪。Prakash，Moran，Garber，et al.[15]声称在攻击下的准确率为81%，廖，梁，董等人。[16] 75%，但当对[17]计算模糊梯度时，两者 都 在 仅 λ = 4 的 情 况 下 降 低 至 0% 。 Xie，Zhang，Yuille，et al. [18]声称准确率为86%，Guo，Rana，Cissé等人。[13] 75%，但后来也降低到0%的准确性[4]。甚至后来证明，具有更适度声明的不同方法存在缺陷，例如Kannan，Kurakin和Goodfellow[19]，他们最初报告了27.9%的准确性，但后来证明为0.1%[20]。在我们之前的其他人已经研究过构建多组件防御，但先前的工作已经得出结论，组合防御并不比其任何组成成员更强大在本文中，我们证明，这不一定是真的。以前的防御措施都是把它们的组成部分结合在一个固定的战略中，这是没有用的。相反，我们证明了弱防御的随机组合是有效的。最近的一些工作已经着眼于开发可证明安全的深度学习训练程序[21- 23 ]。我们相信，在这一漫长的过程中，这是防御对抗性攻击最令人鼓舞和理想的途径。然而，这些方法还不适用于大型数据集。最新的工作在这里是一个被称为“caci f-10 [ 24 ]，这是数量级小于ImageNet。被反复发现有效的最先进的防御方法是对抗训练，它涉及在训练过程中生成的对抗性示例来 增 强 训 练 数 据 [8] 。 Madry ， Makelov ，Schmidt，et al. [25]在cifA r数据集上使用对抗性训练，该数据集仍然具有最好的经验攻击鲁棒性[24]，并且已经被反复验证为有效的，并且能够在白盒威胁模型下完全防御最知名的对手[4]。库拉金、古德费洛和本吉奥[26]试图将对抗训练扩展到ImageNet数据集，他们发现这特别困难。据我们所知，他们的工作为ImageNet上的对抗性攻击提供了最好的无可争议的防御。针对在L∞距离中操作的对手，对于最大扰动为λ=16，它们分别获得Top-1和 Top-5的1.5%和5.5%的Top-1和Top-5准确度我们将证明，我们的防御在所有100[2， 16]中都优于对抗训练，甚至继续提供强大的防御，= 32。我们不知道任何先前的工作，考虑了L∞的对手给出了这个广泛的范围。3. 随机变换考虑到过去一年中进行的研究，很明显，输入图像的单一变换不足以产生可靠的防御。我们的观点是，给定一个全能的对手，随机性是构建一个决策过程的一种方式，对手不能平凡地循环。那么问题就变成了：有没有一种方法可以在对图像进行分类之前对其进行随机预处理6530i=1e通过CNN，这样的准确性不会被抹杀，对手无法有效地运作？由于我们正在处理图像，因此我们可以利用计算机视觉社区在过去几十年中开发的大量预先存在的图像变换和预处理步骤。我们利用这些来创建10个组G1，...，10变形记每个组Gj将具有与该组中的该组相关联的用于t（·）的一定数量的字符串。 我们总共使用了n = 25个不同的变换t1，.，25岁并且表示所有变换的集合T=S25ti，并且任何组成成员。这与以前的结论相反，即集合防御是无效的，并且仅与集合中最强的个体防御一样强[6]。我们自己的防御工作和以前的集成防御工作之间的关键区别是防御的数量（25个弱防御，而 大多数以前的工作是3个），以及使用随机性来选择随机排序的防御子集。我们总共使用了25个变换，因此这里只简要描述较大的组。附录中提供了进一步的解释和Python代码其中，每个变换组不具有重叠（Gj\Gk=;对于jk）。颜色 精度 减少降低位分辨率对于i（·），将有一个相同的模板，改变了变换的行为，所以通过随机选择p的值，我们可以得到ti（x|pi）产生许多不同的输出，引入随机分量。这本身并不新鲜，但我们也有一个集合的n个不同的转换选择。 为了进一步使随机性最大化，我们选择了一个或多个应用程序，或“复制”应用程序。每次我们尝试修改f（·）时，排序将改变，其中始终遵循f（x）= f（tπ（1）（tπ（2）（. . （tπ（k）（A（x）。直觉是，通过从n个变换中随机选择k个变换，其中每个变换本身是随机的，并以随机顺序应用它们，我们创建了对手A无法轻易击败的防御。我们在随机性之上关注这种随机性，因为它提供了一种对手无法轻松处理的机制，即使他们完全了解所有变换ti和改变其行为的参数pi。可能动作的空间太大，无法找到一个单一的改变x = A（x），使得攻击者将成功地通过模型对所有排列和参数化pπ（. ）的情况。下面列出了我们使用的转换 有五个单元组（只有一个反式成员的组，|Gi|= 1）的值。当一个组具有多个组成变换时，我们从该组中随机选择一个变换以作为该组的代表，在每个应用中选择一个新的代表。这是为了防止同时应用具有非常相似效果的多个转换的选择，从而增加对每个输入所做的更改的多样性。我们强调，对于我们在这项工作中评估的每一个单独的转换，我们都独立地测试了转换，并使用子节4.1中概述的攻击方法实现了100%的规避成功。因此，我们知道所有这些防御在孤立的情况下都是不充分因此，这是他们的随机组合，使他们明显强于颜色效应最初由徐、埃文斯和齐提出作为一种防御手段[27]，后来降低到0%的有效性[4]。它的工作原理是简单地减少用于表示图像颜色空间的位数我们引入了这种方法，并以两种方式使变换随机化。首先，颜色的数量将减少到从U[8，200]中选择的值。其次，我们以50%的概率在以下两者之间进行选择：1）为每个通道使用相同数量的颜色，或者2）选择每个通道要使用的不同随机数量的颜色。JPEG噪声Kurakin、Goodfellow和Bengio [10]介绍了使用有损JPEG压缩来引入伪影。他们的工作着眼于JPEG压缩级别的不同值（范围从1到100）如何减少对抗性攻击对不同值的影响。然而，它随后被击败，具有0%的效率[4]。当使用这种方法时，我们通过从U中选择压缩级别来随机化它[55，95]。我们介绍了一种简单的防御方法，即对图像应用弱漩涡，围绕图像中随机选择的点旋转像素。 强度半径从U [10，200]中随机选择，强度从U [0]中随机选择。一，二。0]。噪声注入 在早期的工作Tabacof和山谷[28]研究了加性高斯噪声对对抗性攻击的影响。我们通过随机选择高斯，泊松，盐，胡椒，椒盐和斑点噪声来插入。我们有50%的机会：1）对每个通道应用相同的噪声，或者2）对每个通道独立应用随机选择的噪声类型。FFT扰动我们介绍了一种围绕扰动每个通道的2D FFT而6531分别输入图像 在图像的频域中，我们通过从U[0]采样的值来缩放所有系数。98，1. 02]（用于所有通道）。然后，对于每个信道，我们在1）将FFT的随机系数归零或2）将FFT的最低频率系数归零之间随机选择将被设置为零的系数的比例是从U [0]中选择的随机值。0，0。95]。在改变频域中的系数之后，我们在空间域中返回新的修改后的图像。缩放群我们考虑两个变换，具有z oming到zmge的作用。为了在所述图像中实现“过度缩放”，在每个步骤中从所述组中选择所述重复的组和独立的组。类似于先前的工作[13]，可以简单地缩放到图像的随机部分，以及基于接缝雕刻的内容感知缩放[29]。颜色空间组我们包括四个变换，通过添加随机常数值来改变图像的通道，但首先将图像从RGB转换到不同的颜色空间，然后在修改后转换回RGB，从而提供更大的影响虽然更困难的方法是允许每个颜色坐标中的每个像素接收不同的值，但我们有意选择更简单的常量值来帮助我们的对手。该方法应用于HSV、XYZ、LAB和YUV颜色空间，作为该组的四个变换成员。对比组我们考虑三种不同类型的直方图均衡。因为每一个都试图重新缩放和重新分布图像直方图的值以扩大覆盖范围，所以它们没有意义以顺序的方式应用。我们使用直方图均衡化的简单版本，称为clAhE [30]的自适应变体，以及称为“conn t r a st-s t r e t ch i n g”的方法。“灰度组我们作为人类通常能够从灰度图像中识别大多数对象，因此，将灰度转换作为我们的防御技术之一。为此，我们用四种不同的方法进行灰度变换，可以有选择地应用于不同的颜色通道。去噪组我们考虑的最后一组是一些经典的去噪运算和变换。我们对它们进行分组，以避免过度的应用，因为过度的应用会导致图像过于模糊，难以解释。这包括高斯模糊，中值，均值和均值双边[31]滤波，Chambolle和小波[32]去噪，以及非局部均值去噪 。 以 前的 作 品 使 用 中值 滤 波 器[12]， 小 波[15，17]和非局部均值[27]作为防御，但所有这些都被击败了。4. 方法考虑到第3节中概述的一组转换，我们将使用ResNet50模型作为实验的基础架构。特别是，我们将从一个预训练的ResNet50模型开始，并使用Adam在ImageNet上进行额外的100次训练对于批处理中的每个数据集，我们随机选择k个<$U[0， 5]变换应用于每个图像，以便模型熟悉我们在测试时应用的变换。继Biggio、Fumera和Roli之后，我们现在将全面阐述我们将在其中运作的威胁模型。一旦我们有了一个经过训练的模型，我们的对手将以三种方式攻击它：1）降低Top-1精度（除了正确的类之外的任何输出对于攻击者来说都是成功的）; 2）降低Top-5准确度（如果正确的类排名第六或更低，则任何输出对于攻击者来说都是成功的）;（3）提高目标成功率。在前两种情况下，攻击者可以欺骗模型进行任何不正确的分类。在最后一种情况下，攻击者有一个特定的，随机选择的类，它必须诱导模型输出。所有这些攻击都将在标准ImageNet验证集上执行。我们<的攻击者的能力将包括对L ∞度量下的测试数据的任何输入特征的修改，为此，攻击者将尝试将输入x修改为具有k x - x ∞ k的新输入x。在我们的实验中，我们将测试一个范围为102 [2，32]。我们将在白盒场景中操作，并且假设我们的对手完全了解我们的训练数据，架构，权重和防御转换。为了执行攻击，我们将使用快速梯度符号方法（FGSM）[8]，因为它是一个公共基线。更重要的是，我们还将使用投影梯度下降（PGD）[26]，它也针对L∞度量，并且是目前已知的针对该度量的最强攻击。PGD已被证明是一 种 接 近 最 优 的 一 阶 攻 击 [25] 。 我 们 使 用FoolBox库来实现这些攻击[35]。为了确保这一点，我们参考了Demontis、Melis、Pintor等人的建议[36]，并尝试在L∞球中以最大置信度优化对手，而不是最小距离。这包括确保PGD攻击贯穿所有优化步骤，6532232 |P|162232 45 64 3图1：BPDA网络架构图 输入为3+2+维|P（t）|前三个维度是RGB通道，后两个维度是CoordConv通道，并且最后一个集合对应于影响输出的随机参数。Arrw表示在didiagrmicatenatict如果攻击在早期的迭代中似乎已经成功。默认情况下，所有实验都将执行PGD，具有40次攻击迭代，附录中有更强的攻击。下面，我们将进一步详细说明我们所采取的所有措施，以实现我们的目标，4.1. 做一个强有力的administrator为了最大限度地发挥攻击者的力量，我们必须首先解决两个问题。首先，我们的变换过程是随机的，这意味着我们不能从单个攻击实例中获取梯度，因为变换图像的下一个实现将具有不同的参数化变换。为了纠正这种情况，我们使用转型预期（EoT）[11]。EoT的思想是多次执行变换，并取几次运行的平均梯度。当我们使用像PGD这样的迭代攻击时，这意味着对于攻击的每次迭代，我们将在攻击的该步骤中取几个变换的平均值。第二个问题是，并非所有的转换都是可区分的。Athalye、Carlini和Wagner [4]提出了这个问题 的 解 决 方 案 ， 称 为 反 向 传 递 差 分 近 似（BPDA）。这个想法很简单：当变换t（·）不可区分时，使用一个函数t（·）来确定该变换的形式。这种情况在网络攻击中是很常见的，因此，如果（·）是可区分的，那么可以使用（·）来在对对手有用的梯度中创建一个近似值（·）。 这是一种近似的有效方法，并且使用朴素的恒等函数ft（x）= x通常足以击败许多攻击。事实上，它足以单独击败我们的大多数变形然而，我们学习了一个小的CNN来近似这个梯度，以最大化一个dversary和d v a n t a g e。我们还认识到，虽然我们有一个随机选择的变换库，但每个变换t本身也是随机的。将变换t的参数集表示为P（t），则变换被分解为：术语给出了这些变换形式具体实现p_P（t）。 对于一个非我们的模型elft（·），我们将创建一个具有5+ |P（t）|通道，并且与要学习的图像大小相同。前三个通道将是原始图像的RGB通道 。 接 下 来 的 两 个 通 道 将 是 Liu ， Lehman ，Molino等人提出的CoordConv值。[37]，以便我们的网络可以处理特定于位置的转换。我们发现CoordConv在我们的BPDA模型中是必要的，以有效地近似Swirl变换。剩下的|P（t）|每个信道将具有恒定值，该恒定值是实现的参数P的值。将随机值p各自放置到它们自己的不同信道中为我们提供了一种机制，以允许网络ft（·）能够进行完全的随机化。EachCNNft （ ·）具有6个 卷积层，通过批处理归一化进行，然后进行ReLU激活。对于每一层，我们都包括一个来自输入的跳过连接(See图1）。我们将网络训练为去噪自动 编 码 器 ， 其 中 目 标 是 图 像 的 参 数 化 变 换（即， 损失是kft（x，p）-t（x|p）k2），其中100个时期的测试针对所有25BPDA网络ks。 一旦t（·）被提取，我们就通过将t（·）复制到对应于原始图像RGB值的前3个通道来从B P D A开始。结合BPDA和EoT，正如我们上面所描述的，我们可以在100%的时间内单独击败任何有这证实了我们已经适当地实施了这些方法，并最大限度地发挥了对手的力量。作为我们评估的一部分，我们还希望解决Madry ， Makelov ， Schmidt 等 人 提 出 的 问 题 。[25]，这是威胁模型的计算成本他们认为，对手的实力应该以某种方式在计算上受到限制，就像加密问题是安全的一样，因为我们假设对手没有攻击给定加密方案所需的巨大计算资源。使用EoT的10次迭代结合PGD的迭代性质（40个优化步骤）6533Xargminkrf这意味着我们必须在每次攻击中执行400次梯度计算，并结合计算图像变换和通过自适应BPDA网络反向传播的时间。对于一个具有10个CPU内核和Titan X GPU的工作站，每个实验我们还将考虑40次EoT迭代的结果-我们在文献中观察到的最高值-以评估更强的对手是否会更成功，但这些实验每个都需要在DGX-1上进行 240小时总之，本文中给出的结果在我们的DGX-1上花费了大约320天。我们在这两个EoT规模上进行了测试，以帮助确认我们的攻击是稳健的，并且简单地增加对手的迭代次数不会显著改变结果。我们还认为，我们正在接近对手合理计算的极限，如果我们推动更多的攻击迭代，这将是复制的最大障碍4.1.1. 转换上的Medoid我们花一点时间来定义一种新的攻击类型，以帮助确保我们不会无意中对梯度进行意外混淆。特别地，我们注意到，期望变换方法使用一些变换上的平均梯度，在等式1中更正式地示出，其中zEoT是EoT采样的迭代次数，并且t（i）是变换t的确定性实现（即，伪随机数发生器已经以值i作为种子以提供确定性结果）。zEoT如果我们意外地通过将信息从均值推到中心点来执行梯度混淆-类似于柯西分布的行为-我们预计与EoT相比，MoT攻击的性能会有所增加我们的结果将证实情况并非如此，因为MoT攻击的性能比EoT攻击更差。然而，我们在这里包括结果和攻击描述，以进一步建立信心，我们已经试图使最强大的攻击成为可能。5. 结果很少有人让他们的防御经得起进一步的测试，因为各种各样的问题与模糊的梯度有关，并且在设计白盒对手时未能充分考虑防御的所有组成部分。更少的人能够将他们的防御技术扩展到ImageNet数据集。现在，我们已经定义了我们的方法，以确保我们已经考虑了混淆的梯度，并确保我们的对手在攻击中完全捕获了防御，我们将展示如何在ImageNet数据集上获得新的最先进的结果，以及实现这种性能的相关成本。Kurakin，Goodfellow和Bengio [26]在我们所知道的完整ImageNet数据集上提供了最强的结果他们通过对抗训练来做到这一点，他们指出，这在扩展到ImageNet语料库时有很大的困难在最大扰动下，当PGD= 16时，它们在PGD攻击下仅实现了1.5%的Top-1准确率和5.5%的Top-5准确率。rEt（i）tf（t（一）（十）zEoTXi=1rf（t（一）（x）（1）对于BaRT，我们将默认假设k= 16，转换次数k = 5，EoT运行次数为10。在我们的实验中，我们将研究-梯度混淆的一个可能来源可能是分布的均值不存在或定义不好。这个概念来自于这样的认识，即在我们更大的框架中，等式1中的t对应于我们从G1，.，10个。 通过类比，我们担心的是，我们可能会有类似于柯西分布的情况：柯西分布的平均值并不存在;每一个经验平均值的可能性都是相等的。然而，有时可通过替代地使用中值来充分利用Cauchy disti titi n的考虑到这个概念，我们包括一个新的Medoidover Transformations（MoT）估计，其中我们使用zMoT变换样本的梯度的medoid作为我们的梯度估计来执行攻击。门改变所有的价值观，以观察他们对我们的效率对攻击的影响。我们首先在表1中显示我们方法的准确性。在这里，我们可以看到BaRT的第一个直接缺点，如果我们的模型没有受到攻击，准确性会显着降低当模型受到攻击时，偏移设置的好处是准确性的第一个显著提高 以增加的运行时间为代价，可以通过对多个输入应用该变换来创建输入的多个推断，并且该推断对图像的每个不同变换版本进行分类。这就产生了一个整体效应，并消除了由于BaRT的应用而造成的任何准确性损失由于篇幅所限，关于组装BaRT的详细信息请参见附录E。5.1. 实验zMoT㈠（j）22ij=1（二）我们工作的直接成果是，BaRT系统提供了9.与现有技术相比，ImageNet上的CC中的3-24 倍 时间的改进。6534表1：关于ad-versarialtraing[26]和BaRT的基线先前工作的准确度（%）。10的情况。80的情况。6干净的图像被攻击0的情况。40的情况。60的情况。200 1 2 3 4 5 6 7 8 9 10选择的变换数无攻击Top-1无攻击Top-5 PGDTop-1 PGD Top-50的情况。4图3：在未受到攻击和受到PGD攻击的情况下，改变所使用的转换数量时模型的准确性0的情况。202 4 8 16 22 32最大附着距离BaRT Top-1 EoT=10 Bart Top-5 EoT=10BaRT Top-1 EoT=40 BaRT Top-5 EoT=40Adv. Train Top-1高级Train Top-5这些结果还表明，在增加EoT测试的数量的同时，提高了测试的成功率，但差异使用40个步骤已经需要一个对大多数机构来说都不合理的计算水平，并让我们相信，其他简单地向对手投掷更多计算的尝试将是不可行的。这是在我们考虑编写这些转换相对容易之前，我们可以向图2：PGD攻击下模型的准确性，针对不同的对抗距离，EoT步长={10，40}。我们现在进一步研究我们的设计参数。在重新审视框架的范围之后，开发者的基础对于输入是一种自由的选择。在图2中，我们显示了PGD攻击下的准确性，因为范围从2到32。 我们注意到，π = 16是我们在任何先前的工作中观察到的最大的，并且被认为是一个强大的对手。我们是第一个测试的n=32，仍然表现出非平凡的攻击鲁棒性。在这些结果中，我们看到，BaRT在所有的频率变化中占主导地位。 我们可以看到，当训练时间从2增加到4时，对抗性训练会迅速退化。相比之下 ， BaRT Top-1 和 Top-5 的 准 确 性 在 攻 击 时 的α=32 仍 然 优 于 对 抗 训 练 和 α=4 的 结 果 。 对 于α2，BaRT还显示出高于对手的Top- 5 α的Top-1准确度。精度精度模型Top-1Top-5Top-1Top-5Inception v378940的情况。74.第一章4Inception v3 w/Adv. 火车78941 .一、5五、56535.ΣK这会降低开发人员的复杂性要求，并降低他们的成功率。虽然我们没有资源进行详尽的测试，但我们在附录F中显示，即使使用520个PGD步骤，也显示出对患者的使用率没有明显的影响。接下来，我们研究应用的变换的数量对于这些结果，我们提醒读者，BaRT仅在对训练数据应用最多k = 5个变换的情况下进行训练。在图3中，我们绘制了BaRT的Top-1和Top-5准确度（在攻击下和干净图像上）作为测试时选择的变换数量k的函数我们最初的期望是，我们将看到最好的性能（即，在攻击下的最大精度），因为这将使组合路径的数目n最大化。但事实并非如此。我们可以看到，对信息的各种尝试都会产生一 些 相 关 的成 本 和 收 益 。 其 好 处 是 增 加k！ n提高了我们在受到攻击时的表现。轻微的下降发生在6536靶向FGSM靶向PGD精度10的情况。80的情况。60的情况。6040的情况。40的情况。20的情况。20图4：0 1 2 3 4 5 6 7 8 9 10选择的变换数攻击者针对BaRT模型的成功率02 4 8 16 22 32最大附着距离BaRT Top-1 EoT=40 BaRT Top-5 EoT=40BaRT Top-1 MoT=40 BaRT Top-5 MoT=40当改变所使用的变换的数量时，对于FGSM和PGD攻击，其中k=16。应用k= 5个变换，我们预计这与在训练期间使用k 5人们还可以观察到，随着k的增加，在未被攻击的干净图像上的准确度稳定下降，这恰好在k= 10处几乎相交。添加更多的变换也会对运行时间产生影响，但是计算变换相对于CNN推理所需的GPU成本来说是快速的，并且比运行攻击快大约三个数量级。总的来说，这验证了弱防御的集合可以形成单一的强防御，只要该集合以随机方式应用我们还看到，最大化组合搜索空间不是一个主导策略，因为我们看到最大的对抗鲁棒性在k= 10而不是k= 5。这告诉我们，应用于图像的变换量也是击败对手的重要组成部分，因为这在k= 10时最大化从累积量的角度来看，我们可以认为，在实践中使用的k值的选择应该是受到攻击的可能性的函数如果一个模型持续受到攻击或需要最大的最坏情况下的性能，应该选择k= 10，因为在受到攻击时，非攻击的准确性是没有意义的。我们还探讨了图4中对定向对抗性攻击的影响，其中我们将攻击的成功率在这里我们可以看到，当没有转换时，PGD攻击对模型的成功率达到100%，但随着转换的增加而迅速降级-在k= 10转换时达到我们注意到，自适应运行可能产生接近零的值，而不是图5：在不同对抗距离下，EoT和MoT版本的PGDEoT和EoT步骤=40。零，但它足以表明，对手执行有针对性的攻击的能力几乎可以完全阻碍我们的BaRT防御。最后，在4.1.1小节中，我们考虑了通过将信息移动到分布的中心点来参与模糊梯度的可能性 我 们 开 发 了 一 种 新 的 MedoidoverTransformation攻击来测试这一假设。结果见图5。虽然MoT确实产生了对抗性的示例，但与使用平均梯度相比，它的性能一致较差。因此，我们进一步得出结论，我们没有依赖于模糊梯度，并且我们的防御是有效的。6. 结论我们已经介绍了BaRT，一种防御图像分类器免受攻击的策略，通过从一个大的随机变换池中随机选择几个变换，并在处理图像之前以随机顺序应用每个变换。这可以扩展到像Ima-geNet这样的数据集，并且即使在考虑了所有已知的模糊梯度之后，也可以在受到攻击时提供最先进的结果虽然本质上是启发式的，但我们的结果提供了证据，证明可以从许多较弱的防御中获得强大的防御，并表明随机性的战略应用可能有利于未来的工作。致谢我们要感谢Battista Biggio审阅本工作的草稿，并提供有见地的评论和反馈。攻击者成功6537引用[1]B. 比戈我奥 和F。 Roli，“Wil d p a t e r ns：T e n y a r s a f a d v e r s a r i a m a c h i n e ar i n i n g，“P a t e r n R e c o g n i t i n，v o l.第 84 页 。317- 331 ， D ec. 2018. doi ：10.1016/j.patcog.2018.07.023.[2]N. Carlini和D. 例如，“不容易检测到驱动器的所有电子邮件：“十个检测方法”，在10年A C M人工智能和安全研讨会上发表。AISec' 17 ， New Yor k ， NY ， US A ： A CM ， 2017 ， pp.3-14d 〇 i ： 10 。1145/3128572。314 0 44 4.[3]K.埃克霍尔特岛Evtimov，E.费尔南德斯湾Li，长穗条锈菌A.拉赫马蒂角Xiao、肖氏A.普拉卡什T. Kohno和D. S ong，“R obus t Physical-WorldAttcksonDeepLearnngModels“，in C omput t e r Vi s ion and P attern Recognition（CVPR），2018.[4]A. 是的，N。 Carlini和D. Wagnerr，“O bfuscatedconcurrentsGiveaFalseSenseofSecurity：规避对抗性考试的防御，“在机器学习（ICML）上，2018年。[5]O.鲁萨科夫斯基Deng， H.苏，J.克劳斯，S.萨特伊什妈Z。Huang，黄背天蛾A.卡帕西A.科斯拉，M。伯恩斯坦，A. C. Berg和L. Fei-Fei，“ImageNetLarrgeScaleVisuaLRecognitioNChallenge，“InnternationalJournalofComputerVision（IJCV），vol. 115，没有。第3页。 211- 252页，2015年。doi：10.1007/s11263-015-0816-y。[6]W. He，J. Wei，X. Chen，N. Carlini和D. 例如，“A dver s arial E x m p l e D e f e f ee f e n ses A r e N o t S t r o n g“，在第11届USENIX会议的 演讲中，系列WOOT'17 ，Berkeley，CA，USA：USENIX协会，2017年。[7]C.塞格迪，W。扎伦巴岛萨茨克弗布鲁娜D. 埃尔哈恩岛。 上帝，掉下来了，然后。Fergus，“I n t rig u - i n g p r p r t i e s of n e r a l ne t w o r k s“ ， in I C L R ， 2014. doi ：10.1021/ct2009208。[8]I. J. 你好，J。 Shlens和C. Szegedy，“E x-p l a i n i n g and H a r n e ss i n g A d v e r sa r i a l E x m p l e s“，国际学习表示会议（ICLR），2015年。[9] J.Lu，H.Sibai，E.Fabry和D. 例如，“No Need to Worry about AdversarialExamples in O bject Det t i n A ut o n om o u s V e h i c les“ ， in The FirstWorkshoponNegativeResultsinComputer Vision. CVPR2017。，2017年。[10]A. 库拉金岛 上帝保佑，还有S。 例如，“Adver-sarialexamplesinthehepythisicalworldd“ ， ICLR研讨会，2017年。[11]A.阿萨利湖恩斯特罗姆，A. Ilyas和K.郭先生，“S y n t h e s i z i n g R o bu s t A d v e r s a r i a l E x m p l e s”，2017年。[12]X.Li和F。 Li，“A dverialE x amples DetectioninDeepNetworkswithConvolutional Filter S t i s t i c s“ ， in2017IconvolutionalConfenceonComputer Vision （ ICCV ） ， IEEE ， 2017 年10 月 ， pp.5775-5783d 〇 i ： 10 。 1109/ICC 2017年615.[13]C. Guo ， M. Rana ， M. Cissé 和 L. VanDerMaaten，“CounterringAdversarialImaggesUsingInputtTransformations“，innInternationConfer-enceonLearningRepresentations（ICLR），2018.[14]P. Samangouei ， M. Kabkab 和 R. Chellappa ，“De f e n s e-G AN：P r o t e t e t e c l a ss ie r s Ag a in s t A d - v e r i a l A tt a c k s Us i n g e n e r a t i v e M o d el s“，在国际学习表示会议（ICLR）上，2018年。[15]A. 普拉卡什Moran，S.Garber，A.迪利罗，以及J. Storer，“D e flec t i n g A dver s arrial A ttak swith t h P ix e l D e flec t i o n，“in C V P R，2018.d〇i：10。1109/CV P R. 2018年。0089 4.[16]F. 廖，M.Liang，Y.董氏T.庞，X.Hu，andJ.Zu，“D e f e n s e g a g a i n s A d v e r s ar i a l A tt a c k s U s i n g H i g h - L e v el Re p r e p r e s e n t a t i n G u i d d d d e n o is er r，“in CVPR，2018.[17]A. AthalyeandN. Carlini，“On the R obus t n esoftheCVPR2018White-BoxAdversarialExample D e f e n s es，“ar X iv，2018.[18]C