多对象场景中的局部补丁差异生成性对抗攻击

1308利用多目标场景中局部补丁差异进行生成性对抗攻击李莎莎，宋成宇，M.Salman Asif，Srikanth V.作者声明：Krishnamurthy美国加州大学河滨分校{aaich001@，sli057@，csong@cs.，sasif@ece.，krish@cs.，amitrc@ece. }ucr.edu摘要针对图像分类器的最先进的基于生成模型的攻击绝大多数集中在单对象（即， 单个主要对象）图像。 与这样的设置不同，我们解决了使用多对象（即， 多个主要对象）图像，因为它们代表大多数真实世界场景。我们的目标是设计一种攻击策略，可以从这样的自然场景中学习，利用局部补丁的差异，在这样的图像中固有地发生（例如。交通场景中的对象“人”和对象“自行车”上的局部块之间的差异）。我们的关键思想是通过混淆图像中每个局部补丁的受害者分类器来在此基础上，我们提出了一种新的生成式攻击（称为局部补丁差异或LPD攻击），其中一种新的对比损失函数使用上述多目标场景特征空间中的局部差异来优化扰动发生器。通过在不同受害者卷积神经网络上进行的各种实验，我们表明，当在不同的白盒和黑盒设置下进行评估时，我们的方法在具有高度可转移扰动的情况下执行基线生成攻击1. 介绍理解和暴露深度神经网络（DNN）的安全漏洞一直是计算机视觉研究界最近的一个重要DNN在识别和分类系统中非常有效，如行人识别[5-真实世界场景的图像通常由多个对象组成这些场景通常由分类器进行分析，分类器预测这些图像中存在的所有对象标签，用于下游任务，例如对象注释[10由于DNN容易受到对抗性攻击，因此了解此类多对象分类器的漏洞非常重要例如，无人机监控的场景可能会受到对手的攻击，其中检测到的所有对象标签都是图1：LPD攻击：我们的目标是使用多对象图像创建扰动。为此，我们提出的攻击LPD-Attack利用了从多对象图像中提取的特征补丁之间的丰富局部差异例如，“人的头部”的局部特征块将不同于“自行车的轮胎”或“自行车的发动机”的局部特征块。LPD攻击利用这些差异来使来自扰动图像特征的查询块（η）与来自干净图像特征的对应块（η-）不对齐（排斥），同时与不同位置的非对应块（η+）对齐（吸引）。在用户端更改错误解释[16]。 调查多对象分类器失败的情况对于设计鲁棒和安全的现实世界系统非常重要。对抗性攻击可以被广泛地分类为实例驱动的方法，其是图像（即，实例）特定的[17-19]）和分布驱动的或 基 于 生 成 模 型 的 方 法 （ 例 如 ，[20][21][22][23][24][25][26]生成模型攻击通过对数据分布进行训练来学习生成模型的扰动。受害者分类属性（例如，模型体系结构、数据分布等）在实际情况下，攻击者因此，攻击者的目标是创建强可转移扰动。生成式攻击提供了这种明显优于实例驱动攻击的优势，可以更好地传递扰动以攻击看不见的模型[21]以及更好的时间复杂度[20，21，23我们的工作重点是生成攻击，学习使用多对象图像创建扰动，并破坏受害者分类器预测的所有标签。例如，在图1中，我们的目标是改变与图像相关联的标签（即，1309×····‘现有的生成模型攻击（见表1）通常试图干扰图像中的单个主要对象，这些对象由单标签分类器进行分析。在多对象图像上使用这样的单对象攻击将需要独立的对象二进制分割掩模来聚焦于每个单个对象，以便扰动它们。这使得这些攻击效率低下且不切实际，因为攻击者不能假设受害者端上的每个可能分布都具有对象二进制掩码这篇论文的重点是学习创建微扰在多对象图像上，其可以破坏用于输入图像的所有标签各种受害者（多对象或单对象）分类器的输出，而不需要对单独对象的任何独立攻击。 为此，我们提出了一种新的攻击方法，利用局部差异补丁的多目标图像。由于多对象图像通常包含多个支配对象，因此采样的大多数块很可能来自不同的对象。基于多目标图像中的这些我们的核心思想是：如果物体被错误分类，也应该被错误分类（换句话说，使它们对受害者模型有歧义）。为了创建这种错误分类，我们利用多对象图像提供的丰富的局部补丁差异，并使用一种新的对比学习损失来训练扰动生成器。 更具体地说，给定一个具有多个对象的图像（例如，假设干净图像和扰动图像的大小相同（例如，224 224），我们提出的对比策略通过同时将其与来自干净图像的特征图上的非对应或不同位置的补丁（比如来自“自行车轮胎”和“自行车发动机”的补丁）对齐，使来自扰动图像的特征图的查询补丁（比如来自“人的头”的补丁）与来自干净图像的特征图上的对应或相同位置的补丁不对齐 我们的直觉是，我们希望扰动图像中“人的头部”上的特征块改变为一些随机特征，以产生歧义并最终混淆受害者分类器。多对象图像所特有的，此位置信息由于对象的空间排列，在它们中很容易获得，而不需要任何类型的标签或分割图。此外，局部补丁（平均）彼此不同，即使它们属于同一对象，例如，自行车发动机的形状将不同于轮胎的形状我们的方法与以前的单一方法有根本的不同基于标记图像的生成攻击方法[20，21，26]，其不使用干净和扰动图像的特征图中的任何种类的上述局部差异具体地，我们使用对比学习的方法，其中扰动生成器学习将干净和扰动图像特征的对应信号分离，而不是其他特征。非对应信号。在我们的情况下，这些对应的信号是干净的和扰动的图像特征中的相同空间位置处的补丁，而非对应的信号是干净的图像特征中的不同空间位置处的补丁。对比学习方法已广泛用于无监督学习[27-30]中的各种图像下游任务。我们证明了它在优化高效能对抗攻击的扰动生成模型方面的优势我们将我们的攻击方法称为局部补丁差异攻击或LPD攻击（见图2）。LPD-Attack使用我们新颖的局部补丁对比方法，并学习在多对象图像上创建强烈的不可感知的扰动为了验证我们的方法，我们评估了LPD攻击在不同的挑战性场景中产生的扰动。 例如，如果在Pascal-VOC [31]数据集上训练扰动生成器，并使用Res 152[32]Pascal-VOC预训练的多对象分类器作为替代，那么从攻击者的角度来看，我们表明LPD-Attack在以下设置下（按照最不现实到最现实的顺序）制造高度可转移的扰动。设置1。白盒：看到受害者分类器，看到受害者数据集，看到受害者任务（例如，Res 152多对象分类器，Pascal-VOC数据集，多对象分类任务）设置2。黑盒：受害者分类器是不可见的，受害者数据集是可见的，受害者任务是可见的（例如，VGG 19多对象分类器，Pascal-VOC数据集，多对象分类任务）设置3。严格黑盒：受害者分类器不可见，受害者数据集不可见，受害者任务可见（例如，VGG 19多对象分类器，MS-COCO[33]数据集，多对象分类任务）设置4。极端黑盒：受害者分类器不可见，受害者数据集不可见，受害者任务不可见（例如，VGG16单标签分类器，ImageNet [34]数据集，单标签分类任务）“设置4”对于测试不同攻击的精心制作的扰动的强度特别有用，因为它为攻击者提供了真实的用例，其中所有受害者属性（如分类器架构，数据分布和任务）都是不可见的。总而言之，我们做出了以下贡献。1.新的实际问题。我们解决了一个新的问题，学习为多对象数据分布制造扰动，这是大多数现实生活场景中的情况，使用基于生成模型的攻击来破坏决策。 据我们所知，这是第一个考虑使用多对象图像创建生成攻击的工作。2.新的攻击框架。为此，我们提议一种新的基于生成模型的攻击方法，即LPD-Attack，其中扰动生成器使用对比度损失来训练，该对比度损失使用多对象图像特征的丰富局部补丁差异。3.广泛的实验。通过对两个多目标基准测试的大量实验，我们表明LPD攻击具有1310··G·CG·T·.Σ。Σ^·1C^···∈ Y{}总体上更好的攻击可转移性，并且在上述设置下优于其基线（参见表2和表3）。2. 相关工作对图像分类器的对抗性攻击。大多数现有的最先进的对抗性攻击作品[17，18，20，21，23，24，26，35-表1：特征比较。LPD-Attack优于之前的生成攻击[20-这里，CE（）：交叉熵损失，MSE（）：均方误差损失，f：用于训练扰动生成器θ（）（权重θ）的代理分类器x：干净图像，xδ：扰动图像，δ：扰动。输出：从特定的预定义层输出t：根据攻击类型（有针对性或无针对性）的错误分类标签。 拟议损失（LG +LLPCL）详见第3节。在这些攻击中，实例（或图像）驱动的扰动[17，35-DD攻击会场分类器攻击策略图像类型？Gθ（·）损失单对象分类器的各种缺点[43]。实例驱动攻击的特征在于其仅在相应的干净图像上计算扰动的方法这导致单独计算每个图像的扰动，而不使用来自其他图像的知识[21]。当前关于实例驱动方法的文献主要包括在图像上使用梯度上升的方法[17，19，42，44]或使用基于优化的方法生成对抗性实例的方法[18，40]来攻击单对象分类器。在[45-47]中提出了使用实例驱动方法对多对象分类器的攻击。[46]提出了一种通过优化线性规划问题来创建多对象对抗性示例的方法。[45]提出了一种利用基于标签排序关系的框架来攻击多对象排序算法的方法。最近，[47]提出了一种方法来破坏多对象分类器的前k个标签虽然对于扰动单个图像是有效的，但是当涉及到跟踪大型图像数据集时，实例驱动方法是低效的，因为扰动将必须通过在这些图像上单独迭代多次来生成[21，24]。与[45 - 47]不同，LPD攻击属于基于生成模型的对抗性攻击（我们接下来讨论），这是分布驱动的方法。这种方法在大量图像上训练生成网络以创建扰动。一旦模型被训练，它就可以用来同时扰动多个图像基于生成模型的对抗性攻击。为了解决实例驱动方法的缺点，最近已经探索了基于生成模型或分布驱动的攻击方法[20-例如，GAP [20]提出了一种分布驱动的攻击，该攻击通过利用交叉熵损失来训练生成模型以创建对抗性示例最近，CDA [21]提出了一种使用相对论交叉熵损失函数训练的生成网络 GAP [20]和CDA [21]都依赖于代理模型的最终分类层来训练扰动发生器，该扰动发生器已被证明具有对未知模型的扰动的较差可转移性。 与此不同的是，[22]提出了一种攻击方法，使用特征分离损失函数（例如，均方误差损失）。然而，他们的攻击需要为每个模型手动选择一个特定的中间层，生成器将被训练。与上述这些相比，GAP [20]CVPR 2018单目标CE（f（xδ），t）CDA [21]NeurIPS 2019单对象CE（f（xδ）-f（x），t）TDA [22]NeurIPS 2021 单对象MSE（f（xδ），f（x））LPD攻击我们的多对象L G +L LPCLLPD-Attack旨在学习使用多对象图像制作而不是专注于全球的特征图，我们采取了更细粒度的方法（特征图）补丁对比通过一种新的对比损失。 更具体地说，LPD攻击使用多个中间层的局部特征差异，并使用基于InfoNCE损失的框架来创建高效的扰动。 我们在表1中总结了LPD攻击与上述生成攻击方法的差异。3. 建议的攻击方法在这里，我们解释了我们提出的生成对抗攻击LPD-Attack，它从多对象图像中学习它包括用一种新的局部补丁对比学习损失来训练扰动生成器，该局部补丁对比学习损失使用从干净和扰动图像中提取的特征的局部区域。我们从符号和定义问题陈述开始3.1. 问题公式化符号。 设C是类的总数，N是数据集T中训练样本的数量。定义T={（x（1 ）， y（1 ））， ···，（x（N ）， y（N ））}，其中ex（i）∈RH×W×C且y（i）=[y（i）， ，y（i）]0 ， 1C 分 别 是 第 i 个 图 像（具有高度H、宽度W和通道Z）和地面实况标签向量。对于示例数据点x（i）和类c，y（i）=1（或=0）表示在x（i）中存在（或不存在）来自类c的 对 象。 我们定义了一个代理多对象分类器，训练为f（），用于训练扰动生成器 θ（）（由权重θ参数化）。在进一步的讨论和图2中，为了便于说明，我们去掉了上标i问题陈述。 给定来自包含多个主要对象的数据分布T的干净的多对象图像x和victimclassifierg（·），我们将x的所有标签与由k ∞范数定义的可允许的扰动预算k相乘。具体地，问题目标是设计扰动δ，使得对于与x相关联的所有标签y的g（）的预测改变。在数学上，这可以表示为y=y，其中，y=gx和y=gx+δ，其中，θδθ∞≤θ。1311L^·G·^^×L·L·Kk=1则估计为δ。为了计算发电机损耗，KKKLKKδKk=1Kδk=13.3.多目标图像图2：框架概述。我们提出的LPD攻击框架（顶部）旨在使用对比学习机制（LPCL）从多对象图像中学习，以最大化相同位置的相应补丁的差异，同时最小化不同位置的非对应补丁之间的差异，从干净和扰动图像中提取的特征。这导致在推理期间对输入干净图像的高度有效和可转移的扰动（左下）。3.2. 推荐方法：LPD攻击我们提出的框架如图2所示 它包含一个扰动生成器Gθ（·），它被训练成产生不可测的扰动sδnx. Gθ（·）是一个训练后的多目标预训练分类器rf（·）。更准确地说，f（·）是生成器Gθ（·）被训练（f（·）保持固定或冻结）的判别式。在训练过程中，Gθ（·）输入并生成无界扰动图像G（x）=xδ。算法一：LPD攻击训练算法输入：来自分布T的干净图像x，扰动f∞界f，代理分类器f（）输入：学习率α输出：扰动生成器Gθ（·）/*大规模训练θ（）*/1随机初始化θ2加载并冻结在T上训练的多对象分类器f（·）这个无界的扰动图像xδ被裁剪到3. Whilenotdo/*获取干净的图像特征*/x上的预定义扰动预算利用投影算子P（·）. 这幅令人不安的图像是δ4输入x到f（·）和L中间层特征sf（x）L/*获取扰动图像特征*/x=P（x）xδ是判别函数f（·）的一个重要参数，它可能被误分类。的t5创建无界扰动图像G（x）6使用P（·）将其投影到边界内，以获得xδ从f（·）中提取多个中间层，计算特征Kk=1ΣΣLδk=1δ7将xδ输入f（·），得到L个中间层特征GLPCLfk（xδ）k=1f（x）其中f（x），f（x）∈Rhk×wk×ck.在这里，8计算L=L+LHK表示第i层特征图的空间大小，c k信道。 利用中层特征来制造强扰动的有效性在[24，26，50-53]中已经得到了广泛的研究。因此，我们利用f（）的这些中级特征，并通过两个函数定义生成模型损失第一个损失函数是全局损失G，它直接比较提取的特征，如下所示：L LG=1f（x），f（x）≠（1）k=1/*更新Gθ（·）9使用Adam更新θ相对于L10θ←θ−α<$θL（θ）它只在全局上比较扰动图像和干净图像，我们提出的LPCL损失利用输入图像中多个对象的局部差异来破坏受害者分类器接下来我们将详细介绍LPCL这里，dist（）可以是任何距离测量函数，例如均方误差函数等。第二个损失函数是一个新的目标，即局部补丁对比损失（LPCL），比较提取的特征sf（x）Landdf（x）L动机 我们观察到，由于在多对象图像X中存在多个对象，我们可以利用来自fk（x）（和fk（xδ））的局部特征块。输入干净图像的局部块属于单独的主导对象，从而提示多对象分类器输出它们各自的/*计算损失*/在本地或补丁级别。优于先前的生成攻击1312LG·LLLL L LL·^从D和k的q个空间位置求向量η∈R×^K ∈L⊤LKK·G···KG·k=1Kδk=1.k k k1k 2kRKK相关标签因此，对于要被误分类的扰动图像中的每个对象，其特征图内的每个块对于分类器而言应当看起来不同于干净图像的特征图中的相同位置对应块为了创建这种差异，我们使用来自不同位置非对应补丁的特征图来为受害者分类器创建模糊性，以提示对整体扰动图像的错误决策。在局部水平上的干净图像特征和扰动图像特征的这种逐块位置对比允许对训练扰动生成器θ（）进行更强的监督。建议对比损失（LPCL）。把每一个-对于一个扰动图像xδ，我们需要最大化它的特征与干净图像x的特征之间的差异。我们建议通过在特定位置错位相应的清洁扰动图像特征补丁，以最大限度地提高局部水平的差异来实现这一点 通过利用来自非对应位置处的干净图像特征的其他块来实现这种未对准。我们从计算特征开始从表面模式lf（·）得到清晰和扰动的图像损失在f（）的多个L中间层上计算为=G+LPCL。请注意，我们最大化非目标攻击，G集作为均方误差损失。 对于目标攻击，我们用G集作为二进制交叉熵损失来最小化以将扰动图像分类到目标标签。整个训练过程总结在算法1中。在测试过程中，我们简单地将测试图像输入到训练的生成器中，以创建一个扰动图像，目的是欺骗受害者分类器的所有相关标签。4. 实验和结果在这里，我们讨论了在表2和表3中所示的不同攻击设置1-4（如第1节所述）下的LPD攻击的强度此外，我们在表4和表5中分析了LPD攻击在最现实的攻击设置上的强度，以及表6中的其他更容易的变化我们还在图3中对LPD攻击进行了消融分析，并在图4中显示了一些扰动图像和注意力转移的示例，以验证我们的方法。除非另有说明，n∈Rhk×wk×ck<$L且n∈Rhk×wk×ck<$L，重新-分别为。我们将这些特征映射转换为张量Dk和Dk，分别为大小vk ck（其中vk=hk wk）。接下来，我们选择了qckK从Dk中选择相应的空间位置ηk−，我们称之为ηk然后，从R其他（或不同）在Dk的位置上，我们选择一个由η+RR×ck表示的正集合。LPCL损失现在被定义为（R+1）-路分类目标，其中logits表示nqueryηq和set[η-，η+，η+，···，η+]之间的相似性，如下所示。实施、基线（GAP[20]、CDA [21]、TDA [22]），以及补充材料中的其他实验。训 练 数 据 集 。 我 们 采 用 广 泛 使 用 和 公 开 可 用 的PASCAL-VOC [31] 和 MS-COCO [33] 数 据 集 。 对 于Pascal-VOC，我们使用来自'VOC 2007'和'VOC 2012'的trainval对于MS-COCO，我们使用train 2017作为训练数据集，使用val 2017进行评估。推理对多目标攻击进行了1Σ。exp. sim（ηq，η−）Lexpsim（ηq，η+）Rk=1expsim（ηq，η−）+LLPCL=−L日志KKη⊤η1.Kkr （二）使用多目标测试集上的精度的分类器分类[54，55]。针对单对象分类器的攻击在表4和表5中，我们在测试集上使用top-1准确度为其中sim（ηa，ηb）=ab/τ返回两个向量，表示转置操作，并且τ是缩放参数。 我们设置τ=0。第07话[27]这种损失设想了我们的想法，即如果扰动图像上的特征块被破坏，则它应该获得与扰动图像的对应（相同位置）“负”特征块的低相似性得分干净的图像，以及与来自非对应位置的“正”块的高相似性得分注意，在LPCL中使用的R正块正确操作的唯一要求是：这些R正块应该包含与查询特征块ηq中的值不同的特征值。这个要求很容易满足时，我们的样本，他们从非重叠w.r.t. 从不同的位置发送到彼此。到ηq。3.4.最终目标我们的最终学习目标包括一个损失函数，用于在xδ上训练生成器，全局使用LG目标，局部使用我们提出的对比损失LLPCL。这所有非目标攻击，得分越低表示攻击越好在在有针对性的攻击情况下，得分越高表示攻击结果越好最好的结果是红色的，第二好的是蓝色的。干净图像的精度以灰色表示，以供参考。受害者模型和攻击设置。 为了攻击受害者模型，我们首先训练基线的所有扰动模型θ（），并在Pascal-VOC和MS-COCO的相应训练集上针对代理多分类器模型f（）对它们进行LPD攻击。 我们选择f（）作为（Pascal-VOC或MS-COCO）预训练的多对象分类器Res 152[32]，Dense 169[56]和VGG 19 [57]。如第1节所述，我们在以下四个设置下评估训练后的θ（） 首先，对于设置1（白盒），我们在训练期间使用的相同多目标分布的测试集上攻击代理多分类器模型f（）。 其次，对于设置2（黑盒），我们也在训练期间使用的相同多目标分布的测试集上攻击与代理模型不同的其他多目标分类器。第三，对于设置3（严格黑箱），我们在不同多目标分布的测试集攻击多目标分类器，而不是在训练期间使用最后，对于设置4，遵循[24]扰动预算设为∞≤10。我们提供详细的Σ1313G·G·表2：使用Pascal-VOC训练θ（）时的平均结果。我们总结了在不同的受害者场景下的先验生成攻击作品的攻击能力与训练数据Pascal-VOC。所有方法的结果在三个替代分类器表3：使用MS-COCO训练θ（）时的平均结果我们总结了先前生成攻击在各种受害者场景下的攻击能力，训练数据为MS-COCO。所有方法的结果在三个替代分类器上取平均值攻击受害者详情方法平均结果攻击受害者详情方法平均结果Pascal-VOC（受害者模型=替代模型）差距[20] 55.22[21]第二十一话TDA [22] 53.73MS-Coco（受害者模型=替代模型）GAP [20] 41.09[21]第二十一话TDA [22]34.31帕斯卡-VOCGAP [20] 56.24[21]第二十一话MS-CocoGAP [20] 41.05[21]第二十一话（受害者模型=替代模型）TDA [22] 55.32LPD-攻击54.37[20]第20话（受害者模型=替代模型）TDA [22] 37.08LPD-攻击36.97GAP [20] 56.03MS-Coco[21]第二十一话TDA [22] 39.79帕斯卡-VOC[21]第二十一话TDA [22]51.84CIFAR（10，100），STL-10，SVHN（粗粒度任务）CUB-200斯坦福汽车FGVC Aircraft（细粒度任务）ImageNet[20]第20话[21]第二十一话TDA [22] 83.13[20]第20话[21]第二十一话TDA [22] 88.61[21]第二十一话CIFAR（10，100），STL-10，SVHN（粗粒度任务）CUB-200斯坦福汽车FGVC Aircraft（细粒度任务）ImageNetGAP [20] 84.07[21]第二十一话TDA [22] 70.40[20]第20话[21]第21话TDA [22] 74.88[21]第二十一话（极端黑盒），我们攻击CIFAR 10 [58]，CIFAR 100[58]，STL-10 [59]和SVHN的各种单对象分类器[60] （ 粗 粒 度 任 务 ） ， CUB-200-2011[61] ， StanfordCars[62]和FGVC Aircraft [63]（细粒度任务）以及Ima-geNet [64]模型在各自的测试集上。粗粒度任务的预训练受害者模型可参见[65]，细粒度任务（Res50 [32]和SENet154 [66]）可参见[67]，ImageNet任务可参见[68]。简单地说，粗粒度的单对象分类任务是区分像“猫和狗”这样的标签，而细粒度的单对象分类任务是区分像猫的种类这样的困难标签（例如，“老虎vs潘-瑟”）。在从多目标图像中学习扰动之后，分析对这种不同任务的攻击将显示扰动的可转移性，这对于现实世界的攻击是重要的。4.1. 定量结果我们在四种不同的攻击场景下对LPD攻击进行了我们在表2和表3中总结了它们，并在下面讨论它们观察1. 所提出的方法LPD-Attack具有整体最佳性能。我们在12个案例中的10个案例中优于先前最好的SOTA方法TDA [22]，证明了我们提出的方法的有效性。 例如，在Pascal-VOC中，我们的表现比TDA高出10%（我们的：55.88%，TDA：65.08%）和MS-COCO中的3.5%（我们的：46.73%，TDA：51.00%）。此外，TDA带来了昂贵的计算开销（作者自己在第4.6节“限制”中需要引起高时间复杂度（通过针对每个可能的中间层单独训练生成器）来搜索代理模型的最有效中间层，以 便 优 化 生 成 器 。 通 过 我 们 的 结 果 ， 特 别 是 在ImageNet数据集上，我们表明TDA相比之下，由于我们选择了一组层，我们不需要这种费力的时间和资源消耗分析。观察2. SOTA比所提出的方法更倾向于相对过拟合攻击者的训练数据分布。前面提到的四种攻击场景（在生成器在Pascal-VOC和MS-COCO上训练之后）表明：随着受害者数据分布开始变化（例如，ImageNet 、STL-10、FGVC Aircraft classification），由于扰动的可转移性较弱，在先前的攻击中存在巨大的性能下降。例如，当受害者分布与攻击者的训练分布相似时，TDA显示出相当 的 性 能 （ 见 表 6 ） ， 但 当 受 害 者 分 布 更 改 为ImageNet，STL-10，FGVC Aircraft等单对象分类任务时，TDA显示出令人惊讶的这清楚地表明，以前的工作往往过拟合攻击者另一方面，我们所提出的方法LPD攻击阐明了这个问题，并显示出更好的可转移性的扰动。我们认为我们的方法在更好地缓解LPD-攻击52.69LPD-攻击70.72LPD-攻击34.91LPD-攻击52.06LPD-攻击65.53设置4（困LPD-攻击38.69设置1（简设置3设置2设置4（困设置1（简设置3设置2LPD攻击73.72LPD-攻击63.39GAP [20]73.05差距[20] 73.25TDA [22]69.91TDA [22] 42.37LPD攻击45.12LPD-攻击27.511314Accuracy. %ΣAccuracy. %ΣAccuracy. %Σ表4：当Gθ（·）用Pascal训练时的VOC：在每个任务的测试集上创建的扰动f（·）：Res152.(a) 粗粒度任务表5：当Gθ（·）用MS训练时的在每个任务的测试集上创建的扰动f（·）：Dense169.(a) 粗粒度任务CIFAR100 STL-10 SVHN方法所有受害者模型来自[65]93.79% 74.28% 77.60% 96.03%方法CIFAR100 STL-10 SVHN所有受害者模型来自[65]93.79% 74.28% 77.60% 96.03%GAP [20]92.94%72.56%74.33%96.01%GAP [20]93.12%72.72% 74.78%百分之九十五点六五[21]第二十一话91.97%72.18%70.99%百分之九十五点七四[21]第二十一话90.77%69.20% 70.31%95.79%TDA [22]92.49%70.80%73.31%95.93%TDA [22]76.37%40.35% 72.19%百分之九十二点六七LPD攻击76.61%47.51%70.49%88.27%LPD攻击66.16%35.12% 70.28%90.56%(b) 2.细粒度任务（Fine-Grainedtasks方法Cub-200-2011斯坦福汽车FGVC飞机Res50百分之八十七点三五SENet15486.81%Res5094.35%SENet15493.36%Res5092.23%SENet15492.05%GAP[20]86.24% 86.40% 93.79% 93.09%91.69%91.78%GAP[20]86.69% 86.33% 94.12% 93.10% 91.84%91.78%[21]第二十一话85.90% 86.11% 93.28% 92.69%91.36%91.90%[21]第二十一话85.57% 86.04% 93.10% 92.71% 91.15%91.30%TDA [22]83.93% 82.33% 92.92% 91.79%90.04%90.64%TDA [22]60.30% 70.04% 76.21% 80.48% 81.07%81.19%LPD攻击59.34% 76.58% 77.35% 81.98% 73.78% 73.27%(c) ImageNet任务（在ImageNet验证集（50k样本）上）LPD攻击22.25%74.77%64.98%81.31%60.37%76.66%(c)ImageNet任务（在ImageNet验证集（50k样本）上）ImageNet训练的受害者分类器方法VGG16VGG19Res50Res152密集121中国人169方法ImageNet训练的受害者分类器VGG16VGG19Res50Res152密集121中国人169百分之七十点一五百分之七十点九五74.60%77.34%74.21%75.74%百分之七十点一五百分之七十点九五74.60%77.34%74.21%75.74%GAP [20]69.19%70.23%73.71%76.62%73.36%75.21%GAP [20]69.32%70.39%73.89%76.75%百分之七十三点七五75.38%[21]第二十一话68.20%69.41%72.67%百分之七十五点九五72.93%74.79%[21]第二十一话67.24%68.45%72.17%75.69%73.12%74.96%TDA [22]65.60%66.28%70.47%74.35%70.11%72.62%TDA [22]31.59%33.11%45.74%58.15%46.11%39.49%LPD攻击32.24%35.05%48.53%50.54%49.99%54.37%LPD攻击20.60%23.60%30.42%37.07%29.50%23.88%与SOTA相比，过拟合问题，比较局部特征补丁而不仅仅是全局差异的独特观察3. 随着攻击场景变得更加困难和现实，所提出的方法44.00四十三50四十三00四十二50四十二00LGLLPCLL损失函数五十九00五十八50五十八00五十七50五十七00163264128 256 512LLPCL中的贴片数量五十九00五十八00五十七00L =1L =2L =3L=4层数比SOTA的基线还要。白盒攻击（设置1）很容易(a) 损失分析(b) R的影响(c) L的影响极端黑盒攻击（设置4）是最困难但最现实的（攻击者不知道受害者模型或任务）攻击设置。我们观察到，随着攻击难度的增加，TDA制作的扰动的性能表现出越来越差的性能比所提出的方法LPD-Attack。例如，尽管LPD-Attack和TDA在白盒攻击中表现出相当的性能，但在极端黑盒攻击中，它的性能超过TDA18%（见表5和表4）。这意味着现有的攻击在实际用例中表现不佳，而LPD攻击对受害者模型的威胁比之前的SOTA攻击更大。有针对性的攻击。 我们对Dense169进行了白盒定向攻击，目标标签设置为“人”（即，所有被扰动的图像应该输出标签“人”）。我们观察到GAP [20]和CDA [21]的准确率分别为34.58%和34.86%，而LPD攻击的准确率为35.00%。攻击性能（扰动界<$∞≤16）。4.2. 消融研究我们对LPD攻击进行了消融分析，如图3（a）中的损失目标，图3（b）中的补丁数量R的影响，以及图3（c）中的层数L的影响。白盒严格黑盒方法Cub-200-2011斯坦福汽车FGVC飞机Res50百分之八十七点三五SENet15486.81%Res5094.35%SENet15493.36%Res5092.23%SENet15492.05%1315LL·G·G·G图3：LPD发作的消融分析：图3（a）：θ（·）在Pascal-VOC上训练，对抗Res 152，对MS-COCO进行严格的黑盒攻击;图3（b），图3（c）：Gθ（·）在Pascal-VOC上训练，对抗Dense 169，所有情况下;扰动界设置为∞ ≤10。从代理模型f（）中使用来训练θ（）。从图3（a）中，我们观察到当θ（）针对Pascal-VOC上的Res 152进行训练时，对于白盒（针对Pascal-VOC的测试）和严格的黑盒（针对MS-COCO的测试），我们的损失对象的组件的影响。可以观察到，当利用全局损耗G和局部损耗LPCL两者时，扰动是最有效的 接下来从图3（b）中，我们观察到R = 256个补丁的性能最好（注意，我们使用R=128来获得稍微好一点的训练时间-精度权衡）。最后，我们分析了使用来自f（）的多个中级特征的影响，并观察到L = 4导致最佳攻击，因为它允许使用不同的特征来学习扰动。 这也表明，我们不需要像TDA[22]那样手动选择特定的层来进行更好的攻击，并且一组层的平均选择可以创建有效的攻击。4.3. 定性结果我们可视化了一些扰动图像的示例，并将注意力转移（使用CAM [69]）用于从干净图像中错误分类的1316≤G·∼表6：当Gθ（·）使用Pascal-VOC训练时的灰色单元格表示设置1攻击。表6（a）和表6（b）中的f（·）都是在Pascal-VOC上预先训练的(a) 设置1和设置2攻击f（·）方法d(b) 设置3次攻击MS-COCO培训的受害者模型Res152 VGG19密集型16967.95% 66.49% 67.60%GAP [20] 44.91% 34.70% 44.15%[21] 2016年12月24日TDA [22] 44.45% 34.46% 43.88%LPD-攻击42.36%32.16% 42.37%GAP [20] 45.02% 31.10% 44.14%[21] 2016年12月31日TDA [22] 43.22% 27.74% 42.23%LPD-攻击43.12% 28.31% 42.54%GAP [20] 44.88% 34.72% 44.12%[21] 2016年12月31日TDA [22] 44.21% 34.30% 43.58%LPD-攻击43.09%32.40% 41.86%图4：干扰图像和注意力转移的图示第1行：干净图像，第2行：干净图像上的CAM [69]注意力图，第3行：干扰图像（10），第4行：干扰图像上的CAM [69]注意力图θ（）针对两个数据集的Res152进行训练，示例在测试集上可视化，其中注意力图从Res152中提取图4中的Pascal-VOC和MS-COCO图像用于Res 152多对象分类器。可以观察到，LPD攻击将受害者分类器的焦点改变到不相关的区域，从而导致非常成功的攻击。5. 结论在本文中，我们解决了一个新的问题，改变受害者分类器的决定，通过学习创建扰动多对象图像。为此，我们提出了一种新的生成对抗攻击（LPD-Attack）框架，该框架通过利用局部差异来训练扰动生成器在多目标图像特征中。LPD-Attack在白盒和不同的实际黑盒设置下都实现了高攻击率。例如，当我们学习在Pascal-VOC上制作扰动并在ImageNet上创建黑盒攻击时，LPD- Attack的性能比现有攻击高出25%。在我们未来的工作中，我们将探索针对多对象图像的黑盒多对象目标攻击的情况，以及针对视频分类器的对抗性攻击的视频生成模型[70，71]。谢 谢 。 本 材 料 基 于 美 国 国 防 高 级 研 究 计 划 局（DARPA）根据协议编号HR00112090096。VGG19中国人169Res152Pascal-VOC训练的受害者模型f（·）方法Res152VGG1 9密度16 983.12% 83.18% 83.73%Res152GAP[20]58.78%48.52%61.31%[21]第二十一话58.62%48.69%60.93%TDA[22]58.45%48.19%61.16%LPD攻击57.22%46.07%59.63%VGG19GAP[20]58.88%45.60%61.32%[21]第二十一话58.18%45.26%60.73%TDA[22]57.47%42.61%59.39%LPD攻击57.84%42.62%59.66%中国人169GAP[20]百分之五十八点八三48.58%61.29%[21]第二十一话58.39%百分之四十八点二五60.48%1317引用[1] 赵银等贾对象检测神经网络，2019年6月11日。美国专利10，318，827。[2] 贾俊等竹用于分层人类/人群行为检测的方法和系统，2020年6月25