深度卷积网络对傅立叶基函数的敏感性及其对泛对抗扰动的影响

51关于深度卷积网络对Fourier基函数雄介Tsuzuku1，2， 佐藤一成1，21东京大学、2理研tsuzuku@ms.k.u-tokyo.ac.jp，sato@k.u-tokyo.ac.jp摘要已知对输入的数据不可知的准不可感知的扰动会严重降低深度卷积网络的识别准确性。这种现象被认为是一个潜在的安全问题。此外，一些关于统计泛化保证的结果表明，这种现象可能是提高网络泛化能力的关键。然而，这种有害扰动的共享方向的特征仍然未知。我们的主要发现是卷积网络对傅立叶基函数的方向是敏感的。我们通过将敏感性的原因（称为神经网络的线性）的假设专门化到卷积网络来推导该属性，并根据经验验证它。作为分析的副产品，我们提出了一种算法来创建在黑盒设置中可用的平移不变的通用对抗扰动。1. 介绍对输入的恶意扰动可以很容易地改变深度学习模型的预测[36]。这些扰动称为对抗扰动或对抗示例。它们已经被深入研究了用于对象识别任务的深度卷积网络[4，7，19，24，36，39]。它们之所以引起关注是因为它们是潜在的安全问题。对抗性扰动的一个令人感兴趣的方面是它们的普遍性。Szegedy等人[36]观察到分类器之间的扰动的可转移性。Papernot等。[28，29]利用可转移性来攻击黑盒模型。一些对抗扰动不仅在分类器之间传递，而且在输入之间传递。Goodfellow等人[7]首先发现的普遍性，和Moosavi-Dezfooli等人。[22]更详细地研究了这一现象。 他们发现，一个单一的扰动可以改变模型的预测很大一部分数据点。这样的输入不可知扰动称为泛对抗扰动图1.受单傅立叶攻击扰动的图像示例。添加的扰动与图3中相同扰动的大小第一次测量的距离为10/255，第二次测量的距离为20/255节中5.7，我们表明，单个10/255和20/255扰动可以分别改变各种架构中大约40%和70%（UAPs）。扰动在不同的网络之间也具有一定的普遍性。我们主要关注UAP，因为它们与深度学习模型的统计泛化保证有关。例如，使用PAC-贝叶斯[27]、压缩[1]和最小描述长度[10]的研究都涉及扰动如何传播网络。1在这些分析中，每个扰动如何改变训练数据和真实数据分布的准确性很换句话说，我们对输入之间可转移的扰动感兴趣。这些都不是别的，而是UAP。我们试图阐明UAP[1]在这些研究中，我们考虑权重的扰动，而不是输入。然而，权值的扰动在网络的子网络的输入上变成噪声，52∇图2.我们的UAP创建算法的插图我们只调整噪音的频率我们不需要访问模型参数、输出logits或训练数据。以及它们如何在卷积神经网络中传播先前的一些研究试图理解对抗性扰动的普适性和可转移性的性质。Goodfellow等人[7]用深度神经网络的线性化解释了对抗性实例的存在性、可移植性及其普遍性。Trame` r等[38]研究了逆扰动的可转移子空间，并指出它将由一个高维连续子空间构成Moosavi-Dezfooli等人[23] 证明了在模型的决策边界上给定强几何约束时，普遍对抗扰动的存在是不可避免的。考虑到逆向扰动的可传递性和普遍性，人们自然会期望存在一组方向，大多数网络对这些方向的输入不可知性是敏感的。如果我们能够表征这样的方向，它使我们能够以原则的方式提高对这种扰动的鲁棒性此外，我们可以设计更好的posteri-or，权重，或压缩算法，以实现empiri- cally更好的泛化边界。然而，以前的工作只能产生这样的扰动序列优化，缺乏其有用的特性。我们通过分析傅立叶基函数提供了方向的丢失特征我们分析的动机来自两个部分。第一个是脆弱性的线性假设，第二个是线性卷积层的特性，其奇异向量是傅立叶基函数。该性质表明卷积网络的敏感方向是几个傅立叶基函数的组合。通过在不同的体系结构和数据集上的大量实验，我们发现网络对某些特定频率的傅立叶基函数的方向很敏感。 换句话说，我们至少可以 通过傅立叶基函数的普遍和可转移的对抗扰动的子集。我们还观察到，一些对抗性扰动利用了对傅立叶基函数的敏感性这些发现不仅提供了具有前一段中描述的益处的对抗性扰动的新特征，而且还提出了对抗性扰动的普遍性的一些已知性质可能是由于卷积网络的结构作为我们分析的副产品，我们还开发了一种方法来创建平移不变的通用对抗扰动，该方法在黑盒设置中可用。图1显示了由我们的算法创建的扰动图像的示例，这将在第2节中解释。4.我们的扰动具有简单和平移不变的模式，但在各种架构和数据集上实现了高傻瓜率。我们的贡献概述如下。1. 我们的特点是使用傅立叶基函数的空间UAPs谎言。2. 我们在大量的实验中评估了我们的假设3. 我们提出了一个黑盒算法来创建平移不变的通用对抗扰动。2. 相关工作2.1. 对抗性扰动创建对抗扰动的最著名算法之一是快速梯度符号法[7]. 设 （���，���，���）为带有参数 、输入 和目标标签的损失 。然后，FGSM使用���·Sign（������（���，���，���））作为扰动，其中���是缩放参数。另一种流行的方法是对一些损失进行梯度上升（Δ，Δ，Δ）。根据损失和优化方法的选择，有许多-攻击的变体[4，24]。 对抗性训练[7]是当前对抗性扰动的有效对策。Kurakin等人[19]进行了一次大规模的关于广告语培训的研究，并进行了培训。[37]深入研究了防御和防御不足模型的可转移性。对防御方法的评价是不-53���×���⊗⊗××H×非常困难[2，40]。因此，一些研究提供了理论上接地防御方法[17，41]。2.2. 泛对抗扰动Moosavi-Dezfooli等人[22]结果表明，一些与输入无关的扰动会显著降低分类器这样的扰动被称为单向对抗扰动（UAP）。Moosavi-Dezfooli等人[22]通过顺序优化扰动来创建UAP，直到我们实现所需的傻瓜比率。在创建过程中，他们不需要访问测试数据。他们表明，UAPs可以改变80%以上的预测，本文研究了在后面的第（5）节中，我们的实验表明，对抗性扰动不一定位于高频点。3. 初步在本节中，我们描述卷积层和傅立叶基之间的关系注释在补充材料中作了总结。3.1. 傅立叶基与离散傅立叶变换在ILSVRC 2012上接受培训的国家网络[30]。UAPs还可生成-在一定程度上实现了网络架构之间的平衡。再-Letusdefineeloudspeakers���，���=∈，其中 =���exp（2-1/���）是虚数的���-次根。最近，Mopuriet al.[25]和Khrulkovet al.[16]亲-提出了用于创建UAP的激活最大化方法。UAP降低了系统的平均性能，具有与其他类型的对手不同的性质我们定义 一个矩阵，使得列是具有不同频率的 换句话说，矩阵是矩阵，实例。2.3. 可转移性和普遍性分析1（）������，=exp（-2������-1（���+���）/���）。（一）Goodfellow等人[7]解释了反例的存在，它们的可转移性，以及它们的普遍性，我们将第 -行���记为（������）���。让我们定义一个变换×���→���×如下。���线性假设在他们的解释中，扰动的方向该假设基于以下三个因素：（1）现代网络表现得像线性分类器，（2）adversar-（联系我们������������，=0-1（+）/）������（二）模型的扰动与模型的权向量一致，（3）不同的模型学习相似的因此，对抗性扰动在干净的示例和不同的模型之间推广。 我是你的儿子。[38]分析敌对样本所在子空间的维数使用一阶近似，他们发现对抗样本位于高维子空间中，这表明分类器之间的子空间存在重叠然而，子空间的结构是未知的，除了它的估计维数。Moosavi-Dezfooli等人[23]-这种变换称为离散傅里叶变换。（DFT）。通过使用快速傅里叶变换，可以在（log）的运行时间内计算变换及其逆变换[5]。3.2.卷积算子我们定义：=1，其中是克罗内克积。 已知双块循环矩阵的特征向量为[12]。由于是酉的，所以一个双块循环矩阵可以分解为H，利用强几何近似-H∞分析了UAP的存在性假设他们还提出了一种算法，使用Hessian在输入上找到UAP，但在大输入时速度非常慢。我们解释的基础上Goodfellow等人的线性假设的存在的不稳定性。[7]的文件。我们推进了对卷积网络的分析。2.4.傅里叶基Jo和Bengio [14]研究了CNN是否通过使用傅立叶特征来学习高级特征。一些先前的工作使用eps压缩或其他转换作为防御其中，R1是 R2的伴随矩阵，R2是复数对角矩阵 在信道大小为1的情况下，由于卷积是一个双循环矩阵，当填充是“环绕”[6，31]时，上述分析是直接适用的。我们可以将结果扩展到多通道情况，即，n≥1。1.提案 设 为表示卷积层的矩阵，该卷积层具有输入通道大小in、输出通道大小out和输入大小in。可以 分解为：对抗性的例子[15，8，33]。他们从图像中去除高频特征，并与此相关，= （出来 ⊗������)���(������in������（3）per.然而，尚未探讨与普遍性的联系。此外，每个频率的影响并没有其中，n是块矩阵，使得每个块是一个对角矩阵√√54���������-××4. 傅里叶分析在本节中，我们将展示线性卷积网络最敏感的方向是几个傅立叶基函数的组合。这一分析推进了Good-fellow等人关于对抗性例子产生原因的线性假设.[7]的文件。对于深度非线性网络，线性近似可能不适用。然而，我们仍然可以预期，向输入添加一些傅立叶基函数可以在很大程度上干扰网络的隐藏表示。我们假设卷积层的填充是“环绕”的。补充材料中概述了符号。命题的证明被推迟到柔软的材料。4.1. 堆叠卷积层我们首先考虑没有激活函数的堆叠步幅-1卷积层。在这种情况下，我们可以证明，整个层的奇异向量可以表示为输入通道之间的单个傅立叶基函数的线性组合。第二个提案。设���（���）为卷积层，其输入通道大小为���（���），输出通道大小为���（���+1），输入通道大小为���（���）×���×���，步长为1。 让我们���成为一个堆叠.与锂离子电池激活相关的层，即。e. ，（） =4.2. 减弱层在本节中，我们展示了卷积层的奇异值可以通过几个傅立叶基函数的组合来写入，即使存在约简层，例如步幅>1的卷积层或平均池化层。第五号提案。 设卷积层为步长��� >1，其中���=0（mod���）。 然后，该层的奇异值可以由傅立叶基函数{（������）���′（������）���′′=���（mod���），���′=���（mod���）}对于任何���和���。由于平均池化层是卷积层的特殊情况，我们可以将上述定理应用于该层。4.3. 单傅立叶攻击我们提出了一个算法，找到普遍的对抗扰动使用傅立叶基函数。该攻击利用了卷积网络对上一节中分析的傅立叶基方向的敏感性。虽然分析中的线性近似在深度网络中可能不适用，但我们仍然可以预期方向会干扰隐藏的表示。算法的草图如下。我们选择一个���（1）���������（ ）中选择。 然后，右单数傅立叶基函数，并将其用作UAP。的方法vectorsofcannbeeepreesentedby（）（）for���������������������some���，���∈{0，. ，���-1}和d∈���N���（1）.换句话说，最敏感的线性方向选择频率将在本节稍后介绍。 的该算法的草图与输入必须是真实的限制不相容。为了满足这个条件，我们有下面的命题。没有减少层的卷积神经网络，提案6。 ���（���）=���（���）当输入的值为单一傅立叶基函数。 我们可以进一步扩展当存在归一化层或跳过时，,实值的，其中���������������-是（）的共轭。连接.因此，我们使 （）���，=（）������满意地3号提案设（）是具有输入信道大小（ ）、输出信道大小 （ +1）、输入信道大小（）和步幅1的卷积层。设 是一个具有线性激活和跳跃连接的堆叠卷积层，满足实值约束。算法1显示了伪-给出了单傅立叶跟踪（SFA）算法的程序代码.图3显示了8×8空间中傅立叶基的可视化以及创建.问题，即，（（一）◦ ��� （二）◦ ···∘���（） （ ）+ 。的SFA。图1显示了扰动图像的示例。它看来这次攻击并没有改变人类然后，可以用下式来表示{���������������������������0，.}{0，.} ，n-1}，并且n���∈n���（1）.第四个提案。一个卷积层后面跟着一个归一化层，如批量归一化或权重归一化，可以重新表示为另一个卷积层，而无需在测试时进行归一化。所以，道具。当存在归一化层时，2和3也成立这些命题表明，在输入上操纵单个傅立叶基函数可以最有效地干扰卷积神经网络的内部表示。模型应该对攻击具有鲁棒性为了执行攻击，我们需要找到目标分类器的有效为了测试灵敏度，首先，我们查询一对原始图像及其扰动版本。接下来，我们检查分类器的输出是否我们重复该过程并解决如下公式化的黑盒问题1. 给定一个数据分布���<$���x��� ×3，目标函数���：<$���x��� ×3×（{1，...， }×{1，.，���}）→{0，1}，查找频率��� ∈ {1，… } × {1，.，个 文件夹其最大化 ∫（ ， ）。（四）55算法1：单傅立叶攻击hyperparam ：频率 ，扰动大小输入：图像：图像通道中的foreach c：������←������+���((1 +���)(������)���⊗( )���������+（1-R）;���������������������������Strings（String，0，1）;图3.左：8×8空间中傅立叶基的可视化。行��� 列���显示（���8）���（���8）���。右：在Alg中由单傅立叶攻击创建的扰动的示例。1.一、这个问题-在随后的评估中使用了bation（第二节）。5.7）。一种简单的近似解决问题的方法是用一批图像测试所有频率，并找到具有最高傻瓜比率的频率。批量大小控制每个频率评估的方差。即使我们进行暴力搜索，由于我们的公式的简单性，我们也可以在合理的时间内创建UAP。作为更高效的查询方法，我们还可以使用贝叶斯优化技术[34，3]。我们发现，搜索的频率有一个有利的属性，这样的方法在第二节。5.4.这表明我们的算法是有用的，即使只有少量的查询被允许创建UAP。我们的公式和算法具有以下两个关键特征。首先，我们将UAP的创建公式化为两个离散变量的优化问题。另一方面，原始问题具有与输入大小相同的参数数量，其可以是数万个。这种减少参数优化是一个显着的简化。其次，我们的算法既不需要模型参数，也不需要输出logits。先前的UAP创建算法需要访问由攻击者创建的模型或替代模型。这些要求使进攻变得不那么实际.在我们的算法中，我们只需要目标预测标签的信息。因此，该算法适用于更广泛的环境。5. 实验在第二节中，我们通过傅立叶基函数给出了普适逆方向的特征4. 到为了证明该刻画很好地描述了普适对抗方向的性质，我们进行了一系列的实验。首先，我们回答以下问题。1. 傅立叶基表征是否优于其他表征，例如使用标准基的表征5.2）。2. 对傅立叶基方向的敏感性是否是卷积网络所独有的（第二节）。5.3）。3. UAP是否与傅立叶基方向相关（第5.5）。4. 当前的白盒攻击是否也与傅立叶基方向有关（第5.6节）。5. 在单一傅立叶基础上的操作是否可以在图像不可知的情况下改变各种卷积神经网络和数据集的预测（第二节）。5.7）。5.1. 评估设置本节介绍评估设置。更详细的解释可以在补充材料中找到。我们使用了MNIST [21]，时尚- MNIST[42]，SVHN [26]，CIFAR 10，CIFAR 100 [18]，ILSVRC 2015 [30]作为数据集。我们使用了一个多层感知器（MLP），由1000-为ILSVRC 2015 ， 我 们 使用 ResNet50 [9]， DenseNet，VGG16和GoogLeNet [35]。对于VGG16和GoogLeNet，我们在每次卷积后添加了一个批量归一化层，以加快训练速度。我们使用傻瓜比率作为度量标准，这是模型改变其预测的数据的百分比，遵循Moosavi-Dezfooli等人。[22]第20段。5.2. 傅立叶域与像素域我们分析了深度卷积神经网络对傅里叶基函数方向的敏感性节中4.为了从经验上支持分析，我们研究了每个傅立叶基的灵敏度。为了进行比较，我们检查了标准基础方向的灵敏度，这是对每个像素的操作。我们还测试了随机方向的灵敏度（见第二节）。5.7）。我们首先描述我们用来研究灵敏度的方法。对于傅立叶基，我们应用了单傅立叶攻击（Algo- rithm. 1)并针对每个频率计算其在单个小批量上的愚弄比率。对于MNIST、FMNIST和SVHN，我们将扰动的大小限制为30/255 ， ILSVRC 2015 为 20/255 ， CIFAR 10 和 CIFAR100为10/255对于标准基础，我们将255/255添加到每个像素，然后将其裁剪为从0到1的范围，56算法二：创建热图foreach（i，j）in frequencies：：=随机选择Minibatch;return（）;��� ←Forward（ 正向）;Heatmap（）← FoolRatio���（���）;图4.卷积网络敏感点在傅里叶域的可视化当我们使用算法1作为扰动时，每个图像的坐标（m，m）表示单个小批量上的傻瓜比率。白色区域是具有高傻瓜比率的斑点。 每个图像的中心对应于高频区域。MNIST、FMNIST和SVHN的扰动大 小 为 30/255 ， CIFAR 10 和 CIFAR 100 的 扰 动 大 小 为10/255。算法中描述了此热图的创建。二、图5.傅立叶域中灵敏度的可视化可视化程序与图4相同。我们可以看到，最敏感的频率既不是高频率，也不是低频率，它位于中间。作为参考，自然图像和随机噪声中的频率分布可参见图8。攻击创建，这是算法1的类比。使用热图，我们在图5中可视化了ILSVRC 2015上的傅立叶基结果，并在图4中创建热图的算法在算法2中描述。我们观察到，在大多数情况下，除了MNIST，架构往往有一些敏感点在傅立叶域。特别是在CIFAR 10和CIFAR 100上，VGG和Wide-ResNet对某些方向的欺骗率接近90%和99%结果意味着预测是-图6.多层感知器（MLP）在傅立叶域中灵敏度的可视化在大多数情况下，MLP没有像CNN那样的敏感点，并且它们对傅立叶基的方向更有抵抗力。几乎是随机的猜测由于所有的傅立叶基方向都是正交的，图4强调了网络在许多方向上是弱的，与其输入无关。虽然已知有数十个正交方向可用于可转移或通用的对抗示例，但据我们所知，这是找到大量正交方向的最快方法，这些方向是网络普遍易受攻击的。与傅立叶基相比，标准基下的实验在所有设置下几乎都达到了0%的愚弄率.在这个实验中，我们证明了卷积网络在傅里叶域中存在敏感点，以及傅里叶基方向表征的有效性。5.3. 卷积网络与MLP节中5.2我们观察到各种卷积神经网络对某些傅立叶基方向敏感。为了了解对傅立叶基函数的敏感性是否是由第2节中建议的网络架构引起的4或图像处理的性质，我们比较了卷积神经网络和MLP对傅立叶基函数的敏感性。我们使用了与SEC相同的方法。5.2用于比较。图6显示了在各种数据集上训练的MLP的结果。MLP没有表现出脆弱性的傅立叶基的一些向量。卷积网络和多层感知器的对比激活模式4.这一结果表明，改变架构是减少对抗性示例（尤其是UAP）的有用措施。由于以往的防御工作主要集中在训练方法上[7，19]，这为防御方法开辟了另一个研究方向例如，我们可以使用傅立叶域中的弱点信息来选择用于集成的模型。5.4. 敏感性共现在Secs中的评价中。5.2和5.3，我们观察到卷积网络对具有相似频率的傅立叶基方向表现出相似的灵敏度。自Sec. 4不涵盖这种现象，我们在这里解释。在卷积网络中，卷积核大小通常比输入大小小得多。内核的大小限制了卷积层的表现力。这种限制使得卷积层响应相似，57××图7.每个图像的坐标（���，���）显示了当输入为（32）时卷积层输出���������的幅度���。每个卷积层的内核大小为3。他们接受训练 ， 以 最 大 限 度 地 提 高 输 出 对 （ ���32 ） 8���<$ （ ���32 ）8<$ （ ���32 ） 16 ， （ ���32 ） 12<$ （ ���32 ） 12 ， ��������� （ ���32 ）16<$（���32）16，分别。图8. Moosavi-Dezfooli等人在ILSVRC 2012上为各种架构计算的UAP可视化。[22]在Fourier域中。坐标（ ，）对应于傻瓜比率（���224）��� ������（ 白点的愚化率较高。相似的频率。为了查看敏感度的同现，我们训练了内核大小为e33和输入大小32当输入为一个特定的傅立叶基时，它们的输出的二阶范数都最大化. 当它们的输入是其他傅立叶基函数时，n个w测试层图7显示了结果。结果证实了卷积层对具有相似频率的傅里叶基方向的响应相似的换句话说，算法1的频率优化问题具有小的已知该属性有利于许多算法中的优化，包括贝叶斯优化[34]。5.5. 傅立叶域中的UAP在本节中，我们将研究通过现有方法创建的UAP是否在傅立叶域中也具有某些特定模式。对于该分析，我 们 使 用 了 Moosavi-Dezfooli 等 人 的 VGG 16 、 VGG19、VGG-F、CaffeNet [13]、ResNet 152和GoogLeNet的预计算UAP。[22]第20段。图8以对数标度显示了每个UAP的每个频率的幅度。作为参考，图8还显示了ILSVRC 2015中原始训练数据的随机噪声和每个频率的平均幅度。虽然体系结构和培训程序不同，但图8和图5与图9.以与图8相同的方式在傅立叶域中可视化FGSM攻击。FGSM在图4中显示的敏感点中具有较大的值。每幅图像的中心是一个高频区域.随机噪声和原始图像。例如，我们可以从图5中看到，网络对高频噪声相对鲁棒，对低频和中频噪声敏感。从图8中可以看出，当前的UAP似乎利用了灵敏度。这表明考虑傅立叶域来分析现有的UAP是有效的。5.6. 傅立叶域在本节中，我们将研究当前的白盒对抗性攻击是否我们研究了FGSM [7]，已知它比朴素迭代攻击[19]传输得更好。图9显示了FGSM对测试数据产生的扰动的傅立叶基中每个向量的平均幅度。与图4相比，图4显示了傅立叶域中的敏感点，图9显示了FGSM的质量几乎集中在敏感点中。该实验还表明，对抗性扰动不一定位于高频区域，这否定了对抗性扰动往往是高频的常见神话。图9还显示了对抗性扰动的趋势在数据集和架构中的差异，这提醒我们在各种设置中测试防御方法。5.7. Fourier攻击分析在第二。4和实验在Sec. 5.2- 二等兵5.6表明傅立叶基函数作为普遍对抗扰动的有效性我们评估58表1.各种架构和数据集上的随机噪声（上行）和SFA（算法1，下行）尽管我们的算法很简单，但有些对的准确率下降这一结果表明，我们通过傅立叶基函数的表征有效地捕捉了网络的敏感性。LeNetWResNetVGGDenseNetMNIST0的情况。155. 80的情况。00的情况。1Fashion MNIST 五、411个国家。48. 312个。6SVHN3 .第三章。1五、20的情况。04.第一章6CIFAR10五、08. 1六、8五、4CIFAR100十三岁0二十六岁4二十五9二十二岁5MNIST0的情况。4九十20的情况。10的情况。2Fashion MNIST12个。5四十八183岁7五十六9SVHN六十四9九十80的情况。050块5CIFAR1063岁382岁3七十二250块7CIFAR10083岁4九十三7九十五8七十二3表2. ILSVRC 2015上各种架构的傅立叶基攻击的傻瓜比率。Rand是随机噪声，SSFA定义见第 5.7 攻击的界为10/255和20/255。UAP表示每个架构中[22]中性能最好的预先计算的UAP。因为天真地将它们缩放到20/255可能对我们不利，我们只是省略了评估。虽然具有可比性，但我们的算法不假设可以访问相同的训练数据，也不需要在本地训练模型GoogLeNetResNetVGGDenseNet兰德（10）8. 28. 511个国家。59 .第九条。5兰德（20）十四岁9 十六岁119号。7十六岁7美国（10）四十五5 四十九7六十四8五十六0SFA（10）三十四6 三十八岁。7四十九7三十六8SFA（20）62. 368岁5七十六。363岁5SSFA（10）44. 1四十1五十39岁5三3SSFA（20）74岁166岁。979岁。062. 5它能够在各种数据集和架构上翻转预测对于CIFAR，我们将扰动的大小设置为10/255，对于MNIST、FMNIST和SVHN，设置为30/255我们在图4作为扰动。 在评估中，我们使用算法1，每对数据集和架构具有一个固定频率。为了比较，我们计算了随机噪声在有界球上采样时的愚弄率���.表1示出了结果。在给定数据集和体系结构不可知的搜索空间的情况下，该攻击 表 现 出 很 强 的 攻 击 能 力 . 特 别 是 在 CIFAR10 和CIFAR100实验中，一些结构的预测精度几乎下降到随机猜测的水平。傅立叶基攻击的这种有效性突出了当前卷积神经网络的敏感性。59网络对傅立叶特征。然而，在MNIST中，傻瓜比率没有其他数据集那么高由于MNIST是高度规范化的数据集，并且是其中最简单的，因此我们期望网络能够更好地从输入中捕获真实信号，并且对单个傅立叶基方向的改变更具鲁棒性从体系结构的角度来看，LeNet和DenseNet比其他人更健壮。我们通过它们的最大池化层来解释这一点。因为Sec中不支持最大池化层4、增加非线性项和混合傅立叶基。我们还在ILSVRC 2015上测试了算法1。对于评估，我们为所有架构和输入固定了一个频率2。换句话说，我们选择了一个单一的扰动输入和架构不可知。为了选择频率，我们取图5的平均值，并选择具有最高傻瓜比率的频率。图1显示了创建的对抗性示例的示例我们使用10/255和20/255对于扰动的大小。 注意，以前的工作使用10/255评价[22]。创建的UAP示例如图1所示我们的经验发现，采取傅立叶基的符号有时可以提高攻击的性能。我们将此攻击命名为Signed-SFA（SSFA），并对该攻击进行了测试。在评估中，我们还测试了随机扰动和Moosavi-Dezfooli等人的最佳预先计算的UAP。[22]每个架构。结果如表2所示。与Moosavi-Dezfoolietal. [22]，傻瓜比率与他们在这个黑箱设置下的扰动相当。注意，由于我们的算法不需要训练局部模型，因此我们的算法更适合于黑盒设置。6. 结论通过对线性化卷积神经网络的分析，我们假设卷积网络对傅立叶基函数的方向敏感。通过实证评价，验证了该模型的敏感性. 这一发现提供了一个更好的表征普遍的对抗扰动使用傅立叶基函数。这一特征可能有助于防御方法的发展和统计一般化保证的分析。作为我们分析的一个副产品，我们提出了一个黑盒方法来创建普遍的对抗扰动。该算法不需要本地训练的模型进行黑盒攻击，并扩展了通用对抗扰动的潜在用例。确认YT获得了丰田/Dwango AI奖学金的支持IS得到KAKENHI 17H04693的支持。2在我们测试的所有架构中，输入大小都是相同的（224×224）60引用[1] S.阿罗拉河盖湾，加-地Neyshabur和Y.张某通过压缩Ap-proach为深度网络提供更强的泛化边界在第35届机器学习国际会议论文集，第254-263页[2] A. Athalye，N. Carlini和D.瓦格纳。混淆的梯度给人一种虚假的安全感：规避对敌对示例的防御。第35届国际机器学习会议论文集，第274-283页，2018年。[3] A. D. 有效全局优化算法的收敛速度Journal of MachineLearning Research，第2879-2904页[4] N. Carlini和D.A. 瓦格纳。神经网络的鲁棒性评价。在2017年IEEE安全与隐私研讨会论文集，第39-57页。IEEE计算机学会，2017年。[5] J. W. Cooley和J. W.图基复傅里叶级数的机器计算算法。数学计算，第297-301页[6] I. Goodfellow，Y. Bengio和A.考维尔深度学习麻省理工学院出版社，2016.[7] I.古德费洛，J。Shlens和C.赛格迪解释和利用对抗性示例。2015年国际学习表征会议[8] C. Guo，M. Rana，M. Cisse和L. v. d. Maaten使用输入变换对抗性图像。2018年学习表征国际会议[9] K.他，X。Zhang，S. Ren和J. Sun.用于图像识别的深度残差学习在IEEE计算机视觉和模式识别会议上，第770[10] G. E. Hinton和D.五.营地。通过最小化权值描述长度来保持神经网络的简单性。第六届计算学习理论年会论文集，第5-13页[11] G. Huang，Z.柳湖，加-地van der Maaten和K.Q. 温伯格密集连接的卷积网络。在IEEE计算机视觉和模式识别会议上，第2261-2269页[12] A. K.贾恩。数字图像处理基础。普伦蒂斯-霍尔公司一九八九年[13] Y. Jia、E.Shelhamer，J.多纳休S.Karayev，J.隆河，西-地Gir- shick，S. Guadarrama和T.达雷尔。Caffe：用于快速 特 征 嵌 入 的 卷 积 架 构 。 在 ACM InternationalConference on Multimedia，第675-678页[14] J.Jo和Y. 本吉奥。 测量趋势CNN学习表面统计规律。CoRR，abs/1711.11561，2017。[15] G. Karolina Dziugaite，Z. Ghahramani和D. M.罗伊JPG压缩对对抗性图像影响的研究CoRR，abs/1608.00853，2016。[16] 维·克鲁科夫和我Oseledets。奇异向量和普遍对抗扰动的艺术。CoRR，2017年。[17] J. Z. Kolter和E.黄。通过凸外部对抗多面体对对抗示例的可证明防御。在第35届机器学习国际会议论文集，第5286-5295页[18] A.克里热夫斯基从微小图像中学习多层特征。多伦多大学计算机科学系，技术报告，2009年。[19] A. 库拉金岛J. Goodfellow和S.本吉奥。对抗性机器学习的规模.2017年国际学术代表会议[20] Y.莱肯湖Bottou，Y. Bengio和P.哈夫纳基于梯度的学习在文档识别中的应用。在IEEE的Proceedings，第2278-2324页[21] Y.LeCun，C.科尔特斯和C.J.C.伯吉斯MNIST手写数字数据库。http://yann.lecun.com/exdb/mnist/，1998年。[22] S.穆萨维-代兹福利A.法齐湖，澳-地Fawzi和P.弗罗萨德普遍对抗性扰动。在IEEE计算机视觉和模式识别会议论文集，第1765-1773页[23] S.穆萨维-代兹福利A.法齐湖，澳-地Fawzi，P. Frossard，S.索阿托分类器对普遍扰动的鲁棒性：几何透视。2018年国际学习代表大会[24] S.穆萨维-代兹福利A. Fawzi和P.弗罗萨德DeepFool：一种简单而准确的欺骗深度神经网络的方法。在IEEE计算机视觉和模式识别会议论文集，第2574[25] K. R.莫普里角Garg和R.维·巴布快速功能傻瓜：一种数据独立的普适对抗扰动方法。在英国机器视觉会议论文集，2017年。[26] Y. Netzer，T.Wang，中国山核桃A.Coates，A.比萨科湾Wu，和A.Y. Ng.使用无监督特征学习读取自然图像中的数字。神经信息处理系统研讨会，2011年。[27] B. Neyshabur，S. Bhojanapalli和N. Srebro神经网络的谱归一化边界的PAC-Bayesian方法。在2018年国际学习代表会议上[28] N. Papernot，P.麦克丹尼尔和我J·古德费洛机器学习中的迁移能力：从现象到使用对抗样本的黑盒攻击。CoRR，abs/1605.07277，2016。[29] N. Papernot，P. D.麦克丹尼尔岛J. Goodfellow，S. Jha Z.B. Celik和A.大师针对机器学习的实用黑盒攻击。在2017年ACM亚洲计算机和通信安全会议，第506-519页[30] O. 鲁萨科夫斯基Deng，H.Su，J.Krause，S.萨蒂希S.妈Z。Huang，黄背天蛾A.卡帕西A.科斯拉，M。伯恩斯坦A. C. Berg和L.飞飞ImageNet大规模视觉识别挑战。International Journal of Computer Vision （IJCV），第211-252页[31] H. Sedghi，V.Gupta和P.M. 久了卷积层的奇异值在2019年的学习代表国际会议[32] K. Simonyan和A.齐瑟曼。用于大规模图像识别的深度卷积网络。在2015年国际学习代表会议上61[33] S. 宋，Y。Chen，N.-M. Cheung和C.-C. J. 阔用Saak变换防御对抗性攻击。CoRR，abs/1808.01785，2018。[34] N. Srinivas，A. Krause，S. Kakade和M.西格Bandit设置中的高斯过程优化：不后悔与实验设计在2010年第27届国际机器学习国际会议的会议记录中，第1015-1022页[35] C. 塞格迪 W. 刘先生， Y. 贾， P. Sermanet S. 里德D.安格洛夫，D。Erhan，V. Vanhoucke，和A.拉比诺维奇。用卷积更深入。在IEEE计算机视觉和模式识别会议上，2015年。[36] C. 塞格迪，W。扎伦巴岛萨茨克弗布鲁纳D。二涵I. J. Goodfellow，和R。费格斯。神经网络的有趣特性2014年学习代表国际会议[37] F. 是的，A。 Kurakin，N. Papernot，D. 波内，和P。 D.丹尼尔。综合对抗训练：攻击和防御。2018年学习代表国际会议[38] F. Tr ame`r，N. 帕佩尔诺岛 J. Goodfellow，D. Boneh，andP. D. 麦克丹尼尔可转移的对抗性例子的空间CoRR，abs/1704.03453，2017。[39] Y.津津库岛Sato和M.杉山Lipschitz保证金培训：深度神经网络扰动不变性的可扩展认证。神经信息处理系统进展31，第6542-6551页。2018年。[40] 上里湾O'Donoghue，P. Kohli和A. Oord.对抗性风险和针对弱攻击进行评估的危险。在第35届机器学习国际会议论文集，第5025-5034页[41] L.翁氏H. Zhang，H. Chen，Z.宋角，澳-地谢湖丹尼尔D.波宁和我。狄伦快速计算ReLU网络的认证鲁棒性。在第35届机器学习国际会议论文集，第5276-5285页[42] H. 肖氏K.Rasul和R.沃尔格拉夫。Fashion-MNIST：一种用于基准机器学习算法的新型图像数据集。CoRR，abs/1708.07747，2017。[43] S. Zagoruyko和N.小木宽残差网络。英国机器视觉会议论文集，第87.1-87.12页，2016年