无数据泛对抗扰动与黑盒攻击

7868无数据泛对抗扰动与黑盒攻击张朝宁*chaoningzhang1990@gmail.com菲利普·本茨*pbenz@kaist.ac.kr在素桂Adil Karjauv*mikolez@gmail.comiskweon77@kaist.ac.kr韩国科学技术高等研究院（KAIST）摘要通用对抗扰动（UAP），即。对大多数图像欺骗网络的单个扰动被广泛认为是更实际的攻击，因为UAP可以预先生成并在攻击阶段直接应用关于非目标UAP的一个有趣的现象是，大多数图像被错误分类为主导标签。这种现象已在以前的作品中报道，而缺乏一个合理的解释，我们的工作试图提供一个替代的解释。对于更实用的通用攻击，我们对非目标UAP的研究侧重于减轻对原始训练样本的依赖，从消除对样本标签的需要到限制样本大小。为了实现严格的无数据非目标UAP，我们的工作提出利用人工Jigsaw图像作为训练样本，展示了竞争力的性能。我们进一步研究了利用UAP进行无数据黑盒攻击的可能性，这可以说是最实用但最具挑战性的威胁模型。我们证明了存在可以成功 攻 击 深 度 模 型 的 无 优 化 重 复 模 式 代 码 可 在https://bit.ly/3y0ZTIC上获得。1. 介绍众所周知，深度神经网络[28]对对抗性示例[52]是脆弱的。这种人类不可感知的扰动愚弄DNN的有趣现象激发了研究对抗对抗攻击技术的模型鲁棒性的积极研究[18，36，3]。更令人惊讶的是，[38]表明可以生成单个扰动来攻击大多数图像的模型由于其图像不可知的 性 质 ， 它 通 常 被 称 为 通 用 的 adversarial 扰 动（UAP）。UAP的存在尤其是*同等贡献这是令人担忧的，因为与图像相关的对抗扰动不同，在预先生成之后，UAP可以直接应用于执行实时攻击[38]。我们的工作通过对显性标签现象的另一种解释重新审视了UAP，即。非目标UAP导致模型将大部分图像错误分类为主导标签，已报告在[38，43]，但仍然缺乏一个合理的解释。注意，这种现象是违反直觉的，因为与靶向UAP [25，60]不同，非靶向UAP没有针对任何预定义的靶标签进行优化在目标设置中，[25，60]已经表明，UAP单独导致模型输出目标类。我们观察到一个类似的现象，为非目标的UAP通过感知占主导地位的标签，这是优化算法的结果，而不是预定义的，作为伪目标类。当添加到图像中时，UAP使所有对抗性示例的平均logit值与单独使用UAP作为输入的logit值成一定比例。这一结果进一步得到了逐层和逐步模型响应分析的支持，表明非目标UAP对模型响应具有主导贡献，并且存在 随着训练的发展，这种显性影响与愚弄率之间呈正相关。这一观察结果促使进一步研究简单而有效的技术，在白盒和黑盒设置中，在无数据约束下实现更实用的通用攻击总体而言，我们的贡献如下：• 我们重新审视了由非靶向UAP引起具体来说，我们证明了现有的解释[38]假设占据大图像空间的主导标签不能证明基于一些合理假设的一些观察到的现象。我们提供了另一种解释，观察到非靶向UAP对ADVER的模型响应具有主导作用7869∈讽刺的例子。尽管如此，非目标UAP仍然不会导致所有图像的错误分类，为此，我们发现一些样本往往比探索的非目标UAP更系统地鲁棒，并且它们往往具有重复的语义内容。• 我们的研究结果激励调查的非目标UAP对一个更实际的攻击，减轻依赖于原始的训练样本，在一个渐进的方式，从消除需要的样本标签，以限制样本大小。具体来说，我们采用了自我监督余弦相似性损失，以优化非目标UAP和减少样本量的共同增强技术。对于严格无数据的UAP，我们建议采用可变频率的人工拼图图像作为训练样本。我们的工作表明了设计模仿自然图像属性的人工图像的好处。• 我们进一步研究UAP是否可以用于促进实际的无数据黑盒攻击，在[31]中也称为无盒攻击。有趣的是，我们发现无需优化的重复内容，如垂直/水平或棋盘格模式，足以进行强大的攻击。它优于现有的复杂的基于优化的方法[31]，该方法是资源密集型的，并且不是严格的无数据。除了深度分类器之外，我们还进一步证明了这种攻击对于攻击其他应用中的DNN是有效的，例如对象检测和语义分割。2. 相关工作基本攻击方法。Szegedy等人第一次通过使用框约束L-BFGS [52]发现和优化对抗性示例。DeepFool [40]利用决策边界在每次迭代中最小化扰动预算的方向上更新扰动。Carlini和Wagner（CW）将扰动幅度的最小化结合到优化函数中，引入了以两位作者命名的著名攻击[3]。上述方法都是繁琐和缓慢的。为了缓解这种情况，[18]引入了一种有效的单步攻击方法，广泛称为快速梯度符号法（FGSM）。[27]已将基本FGSM扩展到其迭代变体，即：I-FGSM，其将每次迭代处的扰动更新限制为仅允许的总扰动预算的一小部分投影梯度下降（PGD）[36]是另一种广泛采用的有效多步攻击。通用攻击方法。上述基本攻击方法可以很容易地应用于UAP。例如，[38]首先发现了UAP的存在，通过迭代应用DeepFool [40]。生成对抗扰动（GAP）是由Poursaeed等人提出的。[46]，使用生成模型来制作UAP。在另一变型中，通过利用网络的隐藏层的雅可比矩阵来制作UAP假设无法访问原始训练数据，[42]中提出了Fast Feature Fool，通过优化所应用的UAP引起的特征变化来生成无数据UAP。更多的后续工作[42，41，47，34，32]试图解决这个无数据的挑战。最近，UAP的研究已经出现在广泛的应用中[23，29，45，1，1，13，55，30，24]，最近关于该主题的调查[62]中对此进行了总结。对抗性漏洞的解释大量的工作试图从不同的角度解释对抗脆弱性的原因，例如局部线性[18，2，53，54]，高维输入属性[18，2，53，54]，多维输入属性[18，2，53，54，54，54，54，54，54，54，54，54，54，54，54，54，54，54，54，54，54，54，54，54，54，54，54，54，54，54，54，54，54，54，54，54，54，54，54，54，[50]，[11]，[37]，[17]，[49]，[54]，[12]，[16]，[8 ]，[17]，[18]，[19]。对不稳定型心绞痛的致伤机理研究相对较少. [38]声称UAP和随机扰动之间的显著fooling比率差距表明决策边界的几何结构中存在冗余在[39]中，作者从几何角度进一步分析了UAP的存在性具体来说，这种存在归因于正弯曲的决策边界[39]。通过研究UAP，[25]发现所研究的深度分类器的预测能力和对抗能力是交织在一起的，这表明任何鲁棒性的提高都必须以准确性为代价。关注目标设置，[60]显示目标UAP具有预定义目标类别的主要特征。相比之下，专注于更一般的非目标设置，我们的工作是为了解释为什么非目标UAP导致模型欺骗大多数图像到一个占主导地位的标签，这是一个众所周知的现象，但仍然缺乏令人信服的解释。一个主要的解释[23]假设占主导地位的标签占据了很大的图像空间。最近，一项并行工作[56]也分析了UAP的主要标签现象，从语音命令分类任务中的几何和数据特征角度提供了解释3. 背景和算法比较非目标UAP任务定义。在[38]之后，我们采用X来表示IRd中的图像分布，并且k用于将深度分类器定义为输出每个图像x的预测标签k（x）X. UAP的目标是寻求单个扰动向量ν，即UAP，这样的对 于 大 多 数 xX ， k（ x+ν ） =k（ x ）S.T.||ν||p≤ε。 （一）ν服从其lp范数小于预定义的幅度值ε的约束，以使其准不可感知。为了一致性，我们遵循先前的工作[38，46，41]并采用l∞=10/255。 除非另有说明，本申请中的UAP7870··L←←∇X||默认情况下，工作是无目标的。在前人工作的基础上，采用欺骗率来评估UAP的有效性，定义为在UAP攻击下改变其预测的样本的百分比我们在ImageNet验证数据集上评估生成的UAP。算法讨论。vanilla UAP方法[38]将依赖于图像的扰动累积到最终的通用扰动。这些依赖于图像的扰动通过攻击方法DeepFool [40]迭代生成为了区别于生成的UAP，我们将这种普通UAP方法称为DeepFool-UAP。代替直接优化扰动，Poursaeedet al.提出了一种基于生成器的方法（GAP）[46]训练生成网络输出UAP。与DeepFool-UAP相比，基于生成器的方法的好处是可以使用一批图像来训练生成器网络，而不是单独处理每个 图 像 [20][21][22][23][24][25][26][27][28][29 结 合DeepFool-UAP [40]和GAP [46]的优点，使用批量图像直接优化UAP，得到简单而有效的UAP算法。在[51]中采用了类似的方法来执行通用对抗训练。算法1概述了该过程。大多数作品采用交叉熵损失，需要训练数据集的地面真实标签。然而，在实践中，地面实况标签可能不可用。为此，我们建议以自我监督的方式优化UAP ， 并 使 用 新 的 损 失 来 最 小 化 余 弦 相 似 度（CosSim），如下所示：L=CosSim（k（x），k（x+v））（2）其中k（）指示DNN输出logit向量，即在arg max操作之前vs. 由k（）指示的预测类（参见等式①的人。直观地，利用该损失，可以优化扰动ν，使得k（x）和k（x+ν）远离彼此，从而导致类的变化预测x作为对照研究，我们还实验了余弦相似性损失的另一种变体，其最大化k（ν）和k（x+ν）之间的余弦相似性。为了区别它从方程中的损失。2，我们称之为CosSim-max，经验上发现，与等式2中的性能相比，CosSim-max实现较差的性能。2（参见表1）。图2中的结果部分地激发了这两种损失变体的设计。假设训练数据集完全可用，我们将所采用的Cosine-UAP与多个现有的SOTA UAP方法[38，46，20，43，60]进行比较，这些方法都使用了地面实况标签，结果如表1所示。尽管是无标签的，但Cosine-UAP实现了有竞争力的性能。基于生成器的方法[46，20，43]需要训练额外的网络，因此它们更加资源密集。在单个GPU上，DeepFool-UAP [38]需要多个小时来制作一个UAP，而Cosine-UAP通过优化UAP进行1000次迭代只需要大约1分钟 由于其效率和功效，Cosine-算法1：余弦-UAP输入：分类器k，损失，批量大小m，迭代次数N，允许的幅度输出：扰动向量νν 0 ▷初始化对于迭代= 1，. . . ，N doBν▷样本，其中B=m gνE[νCosSim（k（x），k（x+ν））]xB▷梯度ν←Optim（ gν）▷ ν更新ν←min（ ε，max（ν，−ε））▷ν裁剪端表1. UAP算法在ImageNet验证数据集上的比较，指标为愚弄率（%）。这些算法在ImageNet训练数据集上进行训练。除了Cosine-UAP之外的结果，例如DeepFool-UAP [38]和GAP[46]、DF-UAP [60]，如原始论文中所报告的。[ 60 ]的DF-UAP术语在[62]之后被采用。方法AlexNet GoogleNet VGG16 VGG19 ResNet152[第38话]九十三378岁978岁3七十七。884. 0GAP [46]-82岁783岁7八十1-UAN [20]---84. 688岁1NAG [43]-九十37七十七。5783岁7887岁24DF-UAP [60]九十六。1788岁9494 3094 98九十08Cosine-UAP（CosSim-max）九十五7九十794 691. 1八十2Cosine-UAP（CosSim）96.590.597.496.490.2在这项工作的剩余部分中采用了具有CosSim损失的UAP，以解决用有限的未标记图像或没有训练图像生成UAP的挑战4. 非目标UAP我们试图分析在非靶向UAP中观察到的有趣的显性标记现象[38，43]。除非另有说明，我们采用VGG16网络作为执行分析的受害者模型。UAP将大多数图像引导到主导标签。[38 ]的作者首先报告了这种现象，并指出主导标签是通过他们的算法自动找到的，而无需任何先验知识。为了解释这一有趣的现象，[38]的作者指出：“We他们的解释假设错误分类的预测类别的频率与相应标签的区域相关这里，我们假设（a）输入空间区域是解释的唯一原因，以及（b）某个新类的百分比与其对应的输入空间区域成比例。请注意，[38]的作者并没有明确地做出上述假设，这些假设是7871·图1.分类为某个类的对抗性示例的数量（左），所使用的UAPν的顶部logit值（中），以及所有对抗性示例x+ν的顶部平均logit值（右）。在这里做了简化我们下面的推理。ImageNet数据集有1000个类，因此随机机会为0。如果我们假设每个类在图像空间中具有相同的区域，则对于任何任意类的样本为1% 我们发现，在VGG16上，在UAP的攻击下（总体欺骗率为97. 4%）、90. 所有样本中有1%考虑到上述假设[38]，值90。1%意味着在图像空间中，标签“脑珊瑚”占据的区域显著大于由剩余999个如果是这种情况，大多数（随机）扰动将因此导致对该主导标记的错误分类。在一定的随机噪声下，我们观察到42的欺骗率。7%，只有0。所有样本的1%（50个样本）被分类为“脑珊瑚”的标签我们根据经验发现，决定主导标签的一个因素是训练样本的类别（参见补充资料中的相关结果我们使用Cosine-UAP优化UAP，但仅针对单个类的样本我们发现，限制训练样本到一个单一的类只会导致一个边际性能差距相比，利用所有类。在大多数情况下，具有不同运行的所得UAP导致相同的主导标签。我们通过改变用于对训练图像进行采样的单个类来重复实验，并且相应地，我们观察到新的主导标签。这一现象进一步表明，大空间区域不是主导标签现象的主要原因;否则，主导标签不应该随着所选择的单个类别而改变。另一种解释。 上述分析表明，“在图像空间中占据大区域”的假设不能解释UAP为什么会导致许多样本指向某个优势标签。这种现象很难通过集中在不稳定因素影响 下 的 图 像 行 为 来 解 释 ， 即 。 比 较 k （ x ） 和 k（x+v）。我们发现，通过比较k（ν）和k（x+ν）可以直观地解释这一现象。具体来说，我们在ImageNet验证图像上评估UAP，并在图1中报告k（ν）的有序logits （ 中） 以及 图1 中k （ x+ν） 的 有序 平均logits（右）。我们发现k（ν）和k（x+ν）的类分布几乎完全匹配，表明扰动的logit分布支配图像x的logit分布。进一步强调这种现象，UAP的最高logit值k（V）的大多数类别在这种主导影响下，即使UAP是非靶向的而没有任何预定义的标签，大多数样品也被分类为主导标签，尽管具有小得多的幅度，但未定向的UAP掩盖了图像对DNN响应的贡献我们进一步执行由余弦UAP引起的显性标签影响的深度和逐步分析 将输入馈送到模型，我们计算某个特征层（例如第i层）的通道平均值。所得到的特征向量ki（）层是由输入在第i层触发的模型响应Image（x）和UAP（v）触发它们相应的模型响应，即ki（x）和ki（v）。当它们被组合为对抗性示例x+v时，它们触发联合响应ki（x+v）。这里，我们计算由cos i（x，x + ν）表示的ki（x）和ki（x+ν）之间的余弦相似度以及由cosi（ν，x + ν）表示的ki（ν）和ki（x+ ν）之间的余弦相似度。我们调查和测量这种相似性，采用广泛使用的余弦相似性度量。这里，余弦相似度值的范围从0到1，其中接近0（1）的值指示对联合触发响应的小（大）贡献在非目标设置中，我们在图2（左）中可视化cosi（x，x+v）和cosi（v，x+v），其中我们随机抽取100个样本并报告其平均值和标准差。我们观察到，对于前几个浅层，cosi（x，x+ν）较大，而对于大多数层，特别是深层，cosi（ν，x+ν）在目标环境中也报告了类似的行为[61]。值得一提的是，采用Eq. 2并不直接鼓励cosi（v，x+ v）的最大化。直观地，我们可以将主导标签感知为伪目标类别，并直接最大化cosi（v，x+ v），如第2节中所讨论的。3，然而，它导致了低劣的性能。我们确认，将两种损失结合在一起比仅采用方程中的损失效果更二、换句话说，非目标UAP的主导标签影响是优化算法的自然选择，不一定受制于损失选择。例如，我们观察到非靶向GD-UAP [41]也显示出总体相似的行为，但具有一些细微的差异，即与Cosine-UAP相比，特别是在最后几层中，具有相对较低的cosi（ν，x+ν）这可能是因为GD-UAP优化了所有层的损耗。我们进一步研究了UAP/图像在训练过程中对触发关节反应的影响以及它们与愚弄率的关系。具体来说，我们只可视化最终logit的响应7872层，结果如图2（右）所示我们观察到cosi（ν，x+ν）随着训练的发展而增加此外，愚弄率与cosi（v，x+v）呈正相关，与（cosi（x，x+v））负相关图2.UAP对非靶向环境中模型响应的分层（左）模型和逐步（右）分析鲁棒样本的存在。[61]报告称，在目标UAP的攻击下存在类健壮性差距。在这里，我们在非目标设置中执行逐样本UAP由于图像不可知的特性，UAP欺骗了大多数但不是所有图像的模型。我们把那些保持原始预测的样本称为k（x+ν）=k（x），ro b ustsample s. 在这里，我们首先对这些稳健样本是否恰好对在特定型号上的特定UAP，或者它们是否固有地对UAP更稳健，而不管所评估的UAP或型号。我们首先分析在相同模型（VGG16）上用不同运行生成的不同UAP，并且结果可在表2中获得。我们观察到重叠率非常高。以UAP#3和UAP#4为例。在50，000个评估图像中，其中1282个是用于UAP#3的稳健样本，并且其中1307个是用于UAP#4的稳健样本。它们之间的重叠数为1028，表明考虑到总共50，000个样品，重叠率非常高表3中示出了交叉模型分析，其中还可以观察到样品间的高重叠比这表明样本是稳健的还是脆弱的不是随机的，而是存在影响样本稳健性的系统因素。对稳健样本和易变样本之间差异的初步检查表明，稳健样本往往具有更多的边缘或对比度内容，例如重复模式（参见补充资料中的相关结果我们的结果与[61]一致我们的结果也可以从DNN更偏向于纹理的角度来解释，即。内容与HF属性，而不是形状[15，7，57]。5. 用有限的数据或无数据制作UAP。在实践中，由于安全或保密问题，模型管理器不太可能开源他们的训练数据集。因此，一系列工作已经尝试用有限的[26，34]或没有[42，41，47，34]数据来制作UAP。总的来说，有表2.跨不同UAP重叠的鲁棒样本的数量 对角线条目表示相应UAP的稳健样本总数，而其他数字表示任何两个UAP之间的重叠数（在同一目标模型VGG16上生成）。UAP #1 UAP #2 UAP #3 UAP #4 UAP #5UAP #1 14381096107610561080UAP #210961352106210561068UAP #310761062128210281044UAP #410561056102813071051UAP #510801068104410511329表3.跨在不同网络上生成的UAPs重叠的鲁棒样本的数量。对角线条目指示对应网络的鲁棒样本的总数，而其他数字指示任何两个网络特定UAP之间的重叠数量AlexNet GoogleNet VGG16 VGG19 ResNet152AlexNet174810476587991047GoogLeNet10474745104613442749VGG16658104613099621035VGG19799134496218161343ResNet15210472749103513434890UAP研究人员普遍认为，在数据有限或没有数据的情况下制作UAP具有挑战性。5.1. 培训样本有限的UAP以GoogleNet作为目标模型，[38]表明将数据样本大小限制为500可以实现略高于30%的愚弄率。[26，34]还研究了如何用有限的训练数据制作有效的UAP，并且当给出完整的训练数据集时，它们的性能仍然远远低于性能。我们确定的主要原因，降低了攻击成功率的过度拟合有限的图像。提高UAP泛化能力的一个直接方法是执行数据扩充。我们采用了大量的增强技术，例如随机旋转（5度），随机裁剪，随机水平和/或垂直翻转。在数据增强之后，图像中的主要对象通常在图像中不可识别这可能是依赖于地面实况标签的算法的问题。由于自训练机制，这在所采用的Cosine-UAP算法中不是问题表4示出了Cosine-UAP实现了有竞争力的结果。这进一步激励我们采用拼图图像作为替代训练数据集，用于在没有数据的情况下制作UAP。5.2. 严格无数据非目标UAP人工图像的动机 对于其中数据涉及高安全性的一些应用，即使包含少量训练样本对于攻击者也可能是具有挑战性的。[60]显示代理数据集可用于7873×- --表4. 使用有限样本制作的UAP的愚弄率方法样本数量VGG16VGG19ResNet50[26]第二十六话6452岁0六十岁。044. 0GD-UAP [41]49七十二8067岁60五十六40[34]第34话49七十60七十三。30六十五80Cosine-UAP64九十六。094 991. 8Cosine-UAP32九十三5九十三591. 8然而，在非目标设置中，该代理数据集仍然需要是原始训练数据集。对于严格无数据的非目标UAP，我们的目标是通过用人工图像模仿它们的特征来近似这些训练样本，而不需要代理数据集。由于训练样本和人工图像之间的域间隙为了减少性能下降，人工图像需要具有用于类似于训练样本的两个属性：（a）用于类似于自然图像的局部平滑;（b）用于提高多样性的混合频率模式为了证明的概念，而不失一般性，我们提出了一个人工拼图图像作为一个简单的解决方案，以满足上述两个标准。替代复杂的人工模式可能会导致超级性能，但是，优化这些模式超出了这项工作的范围。图3.拼图图像的四个示例。图4.UAP在不同网络的拼图图像上训练Jigsaw图像的实验结果 为此，大量的工作已经探索了无数据的UAP [42，41，47，34]。我们生成具有随机频率模式的拼图图像，如图3所示。所得到的UAP如图4所示。我们的工作不是第一次尝试严格的无数据UAP和现有方法的比较显示在表5中。PD-UA [34]采用蒙特卡罗抽样方法来增加模型的尽管其设计精巧，但与GD-UAP [41]相比的性能改进约为5%。AAA [47]的性能优于其他方法，但仍比我们的方法差注意他们的AAA方法表5.比较所提出的方法与其他无数据的方法与愚弄率（%）的度量。第一行报告使用训练样本的DeepFool-UAP [38]。因此，它不是无数据的;然而，我们使用它作为基准来指示无数据方法和DeepFool-UAP [38]与数据之间的差距。差距在“平均”栏的括号中表示。“先验”表示[ 41 ]中的先验范围。方法AlexNet GoogleNet VGG 16 VGG 19 ResNet 152平均DeepFool-UAP（有数据）93.3789783七十七。884.08246[34]第70话. 69六十四98四十六岁。39我们的（拼图图片）91. 0787岁5789岁。48 86岁。81六十五3584. 08（+1。第六十章）表6.不同人工图像的消融结果人工图像AlexNet GoogleNet VGG16 VGG19 ResNet152平均值均匀随机噪声82岁6四十3七十二3六十四4四十七261岁4高斯噪声[41]89岁。5四十八7七十六。175. 4四十九967岁9平面图像八十039岁981. 379岁。529岁962. 1定频89岁。178岁6八十五6八十962. 979岁。4一种变频拼图91. 187岁689岁。586岁。8六十五484. 08表7.当对不同输入大小的验证数据进行评估时，常规和自适应训练的UAP的愚弄率常规UAP过拟合到224 224的输入大小。自适应UAP可以在一定程度上缓解这种过拟合。UAP类型112168224280336定期UAP五十八57五十四1389岁。48六十四8162. 90自适应UAP62.05六十四3486岁。16七十00七十一51表8.使用VGG16作为源模型的各种UAP方法的可转移性结果。目标模型技术VGG16 VGG19 ResNet50 ResNet152 GoogLeNetGD-UAP四十五47三十八岁。20二十七岁7023岁80三十四13GD-UAP+P51岁6344. 07三十二2328岁78三十六79UA四十八4641岁9729岁09二十四岁90三十五52PD-UA五十三09四十九30三十三岁。61三十3139岁05VGG16我们的（常规UAP）89岁。48七十六。8444. 11三十八岁。37四十八97我们的（自适应UAP）86岁。16七十七。88四十九3044. 27五十六96需要通过优化大量的类印象样本来模拟数据样本的效果[47]。因此，他们的方法非常复杂，而且需要大量资源。我们的Jigsaw图像可以直接在飞行中设计。总的来说，我们简单的方法优于其他方法的一个不平凡的利润。值得一提的是，我们的无数据方法实现了与利用FFF [42]八十92五十六44四十七10四十三6229岁7851岁27（-30。（第八十九章）GD-UAP（不含既往）[41]84. 88五十八62四十五47四十6829岁7851岁59（-30。第五十七章）GD-UAP（有既往病史）[41]87岁02七十一4463岁08六十四67三十七3六十四40（-17。第七十六章）7874训练数据集的DeepFool-UAP相当（略好）的性能。总的来说，我们提出的拼图解决方案优于现有的-ING方法的显着保证金。表6提供了消融研究，以证明选择可变频率的拼图自适应输入大小。在实践中，在固定输入大小上训练的CNN可以在推理阶段适用于不同的输入大小[22]。UAP上的先前工作不考虑自适应输入大小，因此不考虑自适应输入大小。7875↓×表9.ImageNet在无数据黑盒攻击威胁模型下的性能比较Beyonder表示具有完整训练数据集的基线在[31]之后，在ε = 0下对抗性示例的预测精度。报告1（越低越好）。”None”方法VGG-19Inception v3ResNetDenseNetSenetWRNPNASNetMobileNet v2平均非凡百分之二十四点九51.1%30.3%27.1%百分之四十三点七百分之三十三点九百分之五十一点八27.0%百分之三十六点二[31]第三十一话百分之四十五点九百分之六十三点九60.6%百分之五十六点四百分之六十五点五58.8%73.1%百分之三十七点七57.7%Jigsaw [31]百分之三十一点五50.2%百分之四十六点二百分之四十二点三59.0%51.2%百分之六十二点三25.2%46.0%旋转[31]31.1%百分之四十八点一47.4%41.2%百分之五十八点二百分之五十点七百分之五十九点九26.0%百分之四十五点三[31]第三十一话百分之七十六点二百分之八十点八83.7%78.9%87.0%84.1%86.9%百分之七十二点四81.2%原型[31]百分之十九点七百分之三十六点四百分之三十七点九百分之二十九点一百分之四十四点五百分之三十七点二48.5%17.7%百分之三十三点九原型*[31]百分之十八点七百分之三十三点六34.7%26.0%百分之四十二点三33.1%45.0%百分之十六点三31.2%我们的（无，棋盘）百分之三点一百分之三十四点五百分之三十二点六14.0%百分之五十点五百分之三十九点三百分之二十六点三百分之二点三百分之二十五点三我们的（FT，棋盘）百分之五点五百分之三十一点三百分之二十六点七8.3%39.2%百分之三十二点二百分之十九点五百分之三点七百分之二十点八我们的（SVD，棋盘）百分之五点三百分之三十二点四百分之三十点八12.0%百分之四十三点六33.0%百分之二十点九百分之三点七22.7%如果测试图像不具有与经训练的UAP相同的输入大小，则性能可能降低。为了缓解这个问题，我们建议通 过 在 培 训 阶 段 对 UAP 进 行 升 级 来 增 强 UAP 。ImageNet上VGG16上通常选择的输入大小是224 224。在训练过程中，我们随机调整UAP的大小，范围为112到336。我们发现，在训练过程中对UAP进行训练，可以小幅降低原始输入大小的愚弄率;但是，它可以在其他输入大小下实现更好的性能（见表7）。此外，它还提高了跨模型的可移植性（见表8）。表10.不同模式的消融研究：均匀噪声模式（UNP）、水平模式（HP）和垂直模式（VP）。在表9中报告了相同型号的平均准确度。没有一FTSVDUNPHPVPUNPHPVPUNPHPVP百分之六十七35.9%百分之三十二百分之四十八33.1%百分之二十八51.2%百分之三十点百分之二十六点三点三点一点四一点七6. 实用的无数据黑盒攻击一般来说，对抗性攻击方法可以分为两种威胁模型：白盒黑盒黑盒攻击[44，6，4]更实用，因为它只需要转发查询，但资源密集型。为此，黑盒的另一种基于转移的变体在替代模型上生成对抗性示例[9，10，59，14]，对于该替代模型，原始训练数据集是必要的。对于实际攻击，最近的一项工作[31]最近研究了利用非常少量的图像进行有效的基于传输的黑盒攻击由于无查询限制，他们的方法仍然通过训练替代模型来利用可移植性。他们调查了APrototypical*训练一个编码器和20个解码器是它们的最佳模型。他们的7876Prototypical*由三个阶段组成：（1）收集少量图像;（2）训练替代模型;（3）对替代模型进行白盒I-FGSM攻击以进行手工转移-有对抗性的例子。关于他们各种方法的详细描述，我们请读者参阅[31]。考虑到任务挑战，他们精心设计的方法已经实现了合理的性能，甚至超过了另一个基线“Beyonder”，该基线利用整个训练数据集来训练替代模型。然而，他们的特定于图像的方法需要重复上述三个步骤来攻击来自新类的另一个图像。为此，我们研究了一种替代方法，通过应用通用攻击。我们的通用攻击方法是无优化的，不需要[31]中的上述三个步骤。我们应用一个通用的对抗模式，可以直接添加到任何形象。具体来说，我们采用了三种常见的模式：水平重复线，垂直重复线，棋盘格模式。此外，我们还尝试去除原始图像中的高频内容，这可以带来额外的性能增益。注意，最后添加的扰动，即变更为原nal图像，用l∞=ε与[31]的比较由于优化-自由的性质，攻击成功率可能很低。令人惊讶的是，我们发现我们的简单，无数据，无模型和无优化的方法甚至比最好的精心设计的模型[31]表现得更好（见表9）。简单地添加棋盘模式已经将平均准确率降低到25.3%，优于[31]中的最佳模型（31.2%）。结合表10，我们观察到棋盘比均匀噪声、水平重复线和垂直重复线表现得更好用FT或SVD去除高频内容有利于进一步提高性能。防御模型。 我们还测试了所提出的优化-7877×表11.我们的方法和RHP [32]之间攻击防御方法后的错误率（%）比较。被攻击的网络是Inception v3，且=16/255。根据表1和[32]的表中提供的值计算RHP的错误率。表13. 我们的攻击在分割任务中的表现。方法TVMHGD R P[32]70. 四 点四十五四四三2我们的 72。 8534571针对三种防御方法的自由攻击：TVM [19]、HGD [33]和&RP [58]。在[32]之后，我们将设置为16/255。为了更有效地躲避防守，我们在这个设置中将棋盘的正方形大小设置表11显示，我们的无优化方法明显优于[32]。目标检测和语义分割。我们的简单的无优化攻击也被发现是有效的，对对象检测和语义分割。目标检测的结果在表12中定量显示，在图5中定性显示。结果表明，检测性能明显下降。我们还显示了我们的攻击分割任务的功效。从表13中，我们可以观察到平均交集超过并集（mIoU）度量的显著下降，指示攻击的成功。图6中所示的定性示例表明，在我们的无优化攻击下，预测的分割表12.我们的攻击在目标检测任务中的表现方法APAP50AP75APSAPMAPL更快的R-CNN w/ FPN [48]更快的R-CNN w/ FPN [48] +攻击三十七0%的百分比十八岁百分之三五十八百分之五31岁占7%39岁百分之八十八岁占7%21岁百分之一8. 占7%四十百分之三20块百分之二四十八百分之二二十五百分之四Mask R-CNN w/ FPN [21]三十七百分之九五十九百分之二41岁百分之一21岁百分之五41岁百分之四四十九百分之三Mask R-CNN w/ FPN [21] +攻击十八岁0%的百分比三十占7%十八岁百分之三9 .第九条。百分之二20块百分之三23岁百分之五图5.目标检测任务的攻击示例第一行显示了干净图像的检测结果，而在我们的攻击下的检测结果在第二行。我们的简单攻击成功地欺骗了检测网络。7. 结论我们的工作分析了一个有趣的主导标签现象背后的机制所造成的非靶向UAP。方法mIoU[35] 2016年10月15日FCN ResNet101 [35]+ Attack 26.9DeepLabV3 ResNet101 [5] 67.4DeepLabV3 ResNet101 [5]+ Attack 20.37878图6.我们在语义分割任务中的攻击示例。从左至右：第一列是干净的图像，第二列是各自的分割图，第三列是被攻击的图像，最后一列是它们的分割图。我们的扰动显著恶化了分割模型的性能质量（第2列与第4列）。基于一些合理的假设，对这种现象的现有解释与一些观察到的现象不相容，包括主导标签随训练样本的类别而变化。我们的工作提供了另一种解释，观察非目标UAP对对抗性示例的模型响应具有主导性贡献。我们的分析促使我们调查无针对性的UAP对更实际的攻击下的无数据约束。我们采用了一种新的损失来减轻对地面真实标签的需求，采用简单而有效的增强技术来减少样本大小，并采用代理拼图图像来制作严格无数据的UAP。在无数据约束下，我们在黑盒设置中的调查表明，一个无优化的简单重复模式，如棋盘格，足以成为一个强大的攻击。鉴于这样的成功，未来工作的一个有趣方向是探索更有效的模式。确认这项工作得到了韩国政府（MSIT）（人工智能创新中心）资助的信息和通信技术规划与评估研究所（IITP）赠款的部分支持，赠款为2021-0-02068。7879引用[1] Sajjad Abdoli、Luiz G Hafemann、Jerome Rony、IsmailBen Ayed、Patrick Cardinal和Alessandro L Koerich。单向对抗性音频扰动。arXiv预印本arXiv：1908.03173，2019。2[2] Anish Athalye，Nicholas Carlini，and David Wagner. 模糊的梯度给人一种错误的安全感：规避对对抗性示例的防御。在ICML，2018。2[3] 尼古拉斯·卡利尼和大卫·瓦格纳。评估神经网络的鲁棒性。在SP，2017年。一、二[4] Jianbo Chen，Michael I Jordan，and Martin J Wainwright.Hopskipjumpattack：一种基于查询效率的决策攻击。在IEEE安全与隐私研讨会（SP），2020。7[5] 陈良杰、乔治·帕潘德里欧、弗洛里安·施洛夫和哈特维格·亚当。再思考无卷积在语义图像分割中的应用。arXiv预印本arXiv：1706.05587，2017.8[6] Pin-Yu Chen，Huan Zhang，Yash Sharma，Jinfeng Yi，and Cho- Jui Hsieh.Zoo：基于零阶优化的黑盒攻击深度神经网络，无需训练替代模型。ACM人