具有对抗意识的鲁棒目标检测器在对抗攻击下的性能对比研究

+v：mala2255获取更多论文具有对抗意识的鲁棒目标检测器董子怡、魏鹏旭、林亮中国广州中山大学网址：dongzy6@mail2.sysu.edu.cn，weipx3@mail.sysu.edu.cn，网址：www.example.com，linliang@ieee.org1.00.81.00.81.00.80.60.60.60.40.40.40.20.20.20.00.0 0.2 0.4 0.60.8召回0.00.0 0.2 0.4 0.60.8召回0.00.0 0.2 0.4 0.6 0.8召回（a）干净图像（b）对抗图像（Acls）（c）对抗图像（Aloc）图1：非鲁棒检测器（标准SSD）和两个基于SSD的鲁棒检测器（即，MTD[34]和我们的RobustDet。它们分别在常规标准设置下使用干净图像和两个检测器攻击进行评估，其中两个检测器攻击的对抗图像是从分类攻击（Acls）和定位攻击（Aloc）生成的[34]。据观察，SSD在干净的图像上具有很高的性能，但在两种攻击下表现得很差。鲁棒检测器MTD在攻击下相对鲁棒，但在干净图像上表现出显着的性能下降。相反，我们的RobustDet不仅在对抗图像获得了在干净图像上的检测性能与标准SSD不相上下抽象的。目标检测作为计算机视觉的一项基本任务，随着深度神经网络的出现，已经取得了显著的进展。然而，很少有研究探讨对象检测器的对抗鲁棒性，以抵抗各种现实场景中的实际应用中的对抗攻击检测器受到不可察觉的扰动的极大挑战，在干净图像上性能急剧下降在这项工作中，我们经验性地探索了对象检测中对抗鲁棒性的模型训练，这在很大程度上归因于学习干净图像和对抗图像之间的冲突为了缓解这个问题，我们提出了一个基于对抗感知卷积的鲁棒检测器（RobustDet），RobustDet还采用了对抗图像鉴别器（AID）和重建一致特征（CFR）来确保可靠的鲁棒性。在PASCAL VOC和MS-COCO上的大量实验表明，我们的模型有效地解开梯度，并显着提高检测鲁棒性，保持对干净图像的检测能力。我们的源代码和经过训练的模型可在以下网址公开获取：https://github.com/7eu7d7/RobustDet关键词：目标检测，对抗攻击与防御，对抗鲁棒性，检测鲁棒性瓶颈通讯作者SSDMTDRobustDetSSDMTDRobustDetSSDMTDRobustDetarXiv：[cs.CV]精度2022年7月精度精度+v：mala2255获取更多论文干净的图像Acls图像Aloc图像2董子怡、魏鹏旭、梁琳90.080.070.060.050.040.030.020.010.00.0图2：标准SSD，MTD [34]，CWAT [5]和我们的RobustDet在干净和对抗图像上的检测性能比较。1引言虽然深度神经网络（DNN）在许多视觉任务中取得了显着的进步，例如图像分类[12]，对象检测[9，23]和语义分割[37，4]，但它们很容易受到轻微的，不可感知的对抗性扰动并产生错误的预测[10，21，31，3]。未命中就差一英里了这种脆弱性激发了人们对对抗鲁棒性的越来越多的关注，主要是在图像分类任务中[29，3，16，36，22]。然而，通过精心设计的架构来同时识别图像中的对象在哪里以及哪些类别，对象检测器也遭受脆弱的鲁棒性，并且很容易被对抗性攻击愚弄[32，30，6，5，15]。如图所示2、标准SSD在对抗图像上仅实现1.8%mAP，由75.7%mAP下降！对象检测模型的脆弱性严重地引起了对它们在安全敏感应用中的实用性的安全关注，例如。自动驾驶和视频监控。对象检测器的脆弱鲁棒性已经得到了令人印象深刻的验证攻击分类和定位两个任务[32，30，24，6]，很少有研究集中在研究具有挑战性的对策：如何防御这些攻击以抵抗检测器的对抗性扰动。 为了解决这个问题，MTD [34]作为早期的尝试，将对象检测的对抗训练视为多任务学习，并选择对学习总损失影响最大的对抗图像。随后，第二个相关工作CWAT[5]指出了攻击中的类别不平衡问题，并提出尽可能均匀地攻击每个类别，以生成更合理的对抗图像。一般来说，这些现有的方法受到检测鲁棒性瓶颈的影响：在只有有限的对抗鲁棒性的情况下，对干净图像的显着退化，如图所示1和2. 也就是说，由于在训练过程中引入了对抗性扰动，它们在干净图像上的模型准确性和对抗性图像上的鲁棒性之间达成了妥协。这将不可避免地使稳健的模型让步77.574.848.051.345.949.136.729.131.922.41.84.5干净的图像对抗图像（Acls）对抗性图像（Aloc）SSD MTD CWAT RobustDet（我们的）mAP（%）+v：mala2255获取更多论文→→Adversarially-Aware Robust ObjectDetector 3MTD RobustDet1.51.01.00.50.50.00.00.50.51.01.0图3：通过损失变化统计对干净图像和对抗图像学习之间冲突的实证分析1。(a)，（b）和（c）是鲁棒检测器MTD上的损失变化[34]。(d)（e）和（f）是我们RobustDet上的损失变化。在clean clean下，这两种方法对大多数图像的损失变化都在减小，表明了良好的训练效果。在clean（adv）adv（clean）下，MTD对大多数图像都有增加的损失变化，表明学习干净图像和对抗图像之间的反向训练效果。相反，我们的RobustDet在它们之间几乎没有影响，这表明学习干净和对抗性图像的效果更好。牺牲了干净图像的性能以及对象检测的有限对抗鲁棒性。在本文中，我们首先探讨了前面提到的检测鲁棒性瓶颈，无论是干净的图像和敌对图像的对象检测。特别是，与图像分类任务中的对抗鲁棒性的一个值得注意的区别是，鲁棒模型通常只在干净图像上有少量的性能下降[35，11]，鲁棒的对象检测器只从对抗训练中产生有限的鲁棒性，并且在干净图像上遭受近30%的显着性能下降（PASCAL VOC数据集上标准SSD的77.5%mAP与MTD的48.0%mAP [34]，如图2所示）。这表明，在训练阶段，鲁棒检测器很难达到一个双赢的平衡，权衡对抗图像的鲁棒性和干净图像的准确性。为了进一步研究这个问题，一方面，我们在对抗性鲁棒检测器中检查两个图像的个体损失变化。观察到对抗训练中学习干净图像和对抗图像两个任务之间的冲突，可以推测这是一个需要解释的陷阱上述检测鲁棒性在一定程度上成为瓶颈。另一方面，我们分析了现有模型的干净图像和对抗图像的梯度之间的干扰。因此，观察到强干扰，指示对象检测器很难区分非鲁棒特征和鲁棒特征。因此，模型面临检测鲁棒性瓶颈是合理的。为了缓解这个问题，我们提出了一个鲁棒检测模型（RobustDet）通过adversarially-aware卷积。该模型学习不同组的卷积核，并根据对抗1更多细节可参考我们的补充材料。(a) 清洁清洁（b）清洁adv（c）adv clean(d) 清洁清洁adv（f）adv cleanL的L之前L的L之前+v：mala2255获取更多论文4董子怡、魏鹏旭、梁琳图 像 鉴 别 器 （ AID ） 。 RobustDet 还 采 用 了 Consistent Features withReconstruction（CFR）来确保可靠的鲁棒性。通过施加重构约束，使模型提取的特征能够尽可能地重构为干净图像，从而驱动模型对干净图像和对抗图像都能提取更鲁棒的特征。在PAS-CAL VOC [8]和MS-COCO [18]数据集上进行的大量实验结果表明，在干净图像上具有优异的准确性性能，在对抗图像上具有良好的检测鲁棒性总体而言，我们的贡献概述如下：1. 在实验上，我们分析了检测鲁棒性瓶颈，并验证了学习干净图像和对抗图像之间的冲突，以获得鲁棒的目标检测器。2. 从技术上讲，我们提出了一个基于对抗感知卷积的鲁棒检测模型（RobustDet），以学习干净图像和对抗图像的鲁棒特征。此外，我们提出了一致的特征与重建（CFR）约束模型，以提取更强大的功能，可以重建尽可能干净的图像。3. 在实验上，我们进行了全面的实验，以评估所提出的方法在PASCAL VOC和MS-COCO数据集上的对抗检测鲁棒性，在干净图像和对抗图像上都实现了最先进的性能。它在干净图像上具有优越的准确性，在对抗图像上具有很好的检测鲁棒性2相关工作2.1对抗性攻击与防御对于深度神经网络，其出色的特征表示能力已在各种场景中得到证明[12，26，13]。即便如此，神经网络模型在输入的轻微扰动下很容易产生完全错误的预测[28]。特别是，它们相当容易受到adversar- ial攻击。相应地，越来越多的对抗性攻击方法被提出：基于梯度的白盒对抗性攻击方法（例如，，FGSM [10]和PGD [21]）和黑盒对抗攻击方法（例如，[24]和LeBA [33]）。这些方法可以很容易地欺骗分类模型，即使只是一个像素的变化也会完全欺骗模型[27]。 为了解决这个问题，已经提出了一些防御方法[29，3，16，36，22]。 其中，对抗训练是应用最广泛、效果最好的方法之一.它允许模型不断学习对抗图像，并更多地关注对抗图像和干净图像的鲁棒特征，以忽略非鲁棒特征。2.2攻击和鲁棒的对象检测器近年来，已经提出了种子对象检测模型，例如，，更快的RCNN [23]，SSD [19]，YOLOX [9]和DETR [2]，构建了一系列深刻的+v：mala2255获取更多论文1我 我我我我我Adversarially-Aware Robust ObjectDetector 5和目标检测的重要里程碑即便如此，它们也不可避免地继承了易受攻击的弱点，其根源在于深度神经网络。已有的研究表明，针对分类任务的攻击方法也是有效的攻击目标检测模型[34]。目标检测器具有与分类模型不同的结构，并且目标检测器可以针对这些结构更有效地被攻击例如，DAG [32]和UEA [30]是通过在整个图像上叠加扰动来攻击对象级特征的方法。Dpatch [20]通过向图像添加补丁来欺骗检测器。ShapeShifter [6]攻击物理世界中的探测器。相反，尽管针对对象检测器的攻击方法变得越来越有效，但在对象检测任务中几乎没有防御策略。[34]提出了基于对抗训练的MTD方法。在对抗训练的每一步，从对抗图像中选择最能增加损失的图像进行学习，以提高模型的鲁棒性[5]探讨了对象检测器攻击中的类不平衡问题，并提出使攻击强度尽可能一致。通过这些图像进行对抗训练，以提高模型的鲁棒性这些方法主要集中在对抗图像的生成因此，它们遭受检测鲁棒性瓶颈，如在第12节中所提到的。1.一、由于对抗鲁棒目标检测器的研究很少，因此从本质上探索目标检测几乎是在本文中，我们将首先经验性地探索检测鲁棒性瓶颈，以进一步理解SEC中对象检测的对抗鲁棒性。3.然后，我们将详细说明拟议的RobustDet，以解决SEC中的检测鲁棒性瓶颈。四、我们将进行广泛的实验来证明所提出的方法的有效性。5，并在SEC中总结论文。第六章对不可见攻击的防御通常在分类任务中进行探索。然而，对于检测任务，我们缺乏最基本的鲁棒性概念。因此，我们更多地关注对象检测器的鲁棒性的更基本的问题。这些更高级的问题需要在此工作的基础上进一步探讨。3目标检测3.1问题设置对于干净的图像x，由θ参数化的对象检测器f产生具有预测的类概率{ci=[px，py，wi，hi]}的对象边界坐标{bi = [ p x，p y，w i，h i ] }。[cb g，c1，···，cC]}在基本背景（b g）和对象范畴上，即，f（x;θ）→{bi，ci}，其中px和py是bi，wi和hi左上角的坐标我我是b i的宽度和高度。最大化损失Lloc=1我i∈pos Lsmooth（bi，bi）分类损失Lcls=−i∈poscilog（cu）− i∈neg cilogg（cbg），其中bi是匹配预测边界bo x bi和ci表示其GT值或y，并且dete损耗为Ldet=Lloc+Lcls。+v：mala2255获取更多论文L {}..S→→→→→6董子怡、魏鹏旭、梁琳在MTD [34]之后，用于对象检测的两种类型的攻击（Acls和Aloc）分别专门用于分类和定位：Acls（x）=argmaxLcls（f（x<$;θ），{ci，bi}），x<$∈SxAloc（x）=argmaxloc（f（x<$;θ），ci，bi），x<$∈Sx（一）其中，x<$是x的自适应卷积部分，并且x=x<$[0，255]cwh x<$x∞∞是以干净图像x为中心的对抗图像空间，扰动预算为x。Acls表示在其最大化Lcls的邻域中搜索图像x作为对抗图像。3.2检测鲁棒性瓶颈分析(1) 学习对抗图像和干净图像之间的冲突为了防御攻击，鲁棒模型有望通过学习干净图像和对抗图像之间的共享特征来提高模型的鲁棒性，从而这是普遍的对抗性防御训练的传统智慧，特别是在图像分类任务中。然而，目标检测的对抗鲁棒性令人担忧。也就是说，鲁棒检测模型在干净和对抗图像上的表现都很差，如图1和图2所示。特别是，在干净图像和对抗图像上进行对抗训练会导致干净图像的性能显著下降。这可能表明学习干净图像和对抗图像的任务之间存在冲突为了进一步探索模型不能很好地学习两种图像的原因，我们从两个方面进行了调查。干净和对抗性图像的损失变化 我们直观地检查干净和对抗图像的损失变化。具体来说，我们通过对抗训练的鲁棒模型的m步对抗训练对一批干净图像或对抗图像进行验证，并观察另一批图像的损失变化（m的选择和算法细节在补充材料中讨论在学习干净（adversarial）图像之后的对抗（clean）图像的损失变化被定义为clean adv（adv clean）。从图3中的实验结果可以观察到，清洁的adv和与clean clean的最负面结果相比，adv clean对于大多数图像是正面的。这表明，学习干净图像和对抗图像将增加大多数图像的损失。对抗图像对干净图像的影响大于干净图像对对抗图像的影响这种验证表明，在某种程度上，学习干净图像和对抗性图像是模型的冲突任务。因此，在训练阶段，模型有责任很好地解决这种学习冲突。梯度干扰分析。干净图像和对抗图像来自具有不同模式的两个不同域有共享+v：mala2255获取更多论文AdvAdvAdvAdvAdvAdvAdvAdvAdvAdvAdvAdvAdvAdvAdvAdvAdvG2具有逆向感知能力的鲁棒对象检测器725020015010050Rclean：conv1_140035030025020015010050Rclean：conv2_140035030025020015010050Rclean：conv3_135030025020015010050Rclean：conv3_335030025020015010050Rclean：conv4_230025020015010050Rclean：conv5_135030025020015010050Rclean：conv5_330025020015010050Rclean：conv_ex2021012021001221012021012021012021012021012021012300025002000150010005000Rclean：conv1_121012300025002000150010005000Rclean：conv2_12101240003500300025002000150010005000Rclean：conv3_12101240003000200010000Rclean：conv3_32101240003000200010000Rclean：conv4_22101240003000200010000Rclean：conv5_12101240003000200010000Rclean：conv5_32101240003000200010000Rclean：conv_ex221012图4：基于不同卷积层特征的干净图像和对抗图像的梯度纠缠度Rclean上面显示了SSD的结果，第二行来自我们的RobustDet。他们之间的特点，但也有其独特的功能。一个高鲁棒性的模型必须具有用于提取共享特征的参数和用于提取彼此正交的唯一特征的另外两个部分参数。对于对抗训练的鲁棒模型，两种图像的共享特征应该已经很好地学习，只有部分处理独特的特征仍然需要加强。因此，对于该模型，由两种图像生成的梯度应该具有低相关性并且接近正交。相应地，我们找到了一个简单的整数形式：Rg1=g1Tg2/|G2|其中g1和g2是两种图像的梯度向量。两类图像的梯度纠缠越大，它们之间的干扰就越严重，模型不能很好地区分唯一特征。基于上述损失变化的实验结果，梯度纠缠越大，两种图像之间的冲突就越难调和。较小的梯度纠缠表明该模型有足够的能力区分共享特征和它们的独特特征，并可以解开干净图像和敌对图像。从图4可以看出，对抗训练的鲁棒模型上干净图像和对抗图像之间的梯度纠缠相当高，甚至在前几层出现负值这表明，在对抗训练模型上，一些干净图像和对抗图像的更新方向是完全相反的，这也表明了两种图像之间的冲突。 当学习一种图像时，不可避免地会对另一种图像产生影响，这导致了检测鲁棒性瓶颈。(2) 分类与定位的鲁棒性冲突我们比较了非鲁棒模型和对抗训练的鲁棒模型在干净图像、Acls对抗图像和Aloc对抗图像上的检测结果。从图5中可以看出，当应用攻击时，非鲁棒模型将以高置信度定位错误的对象鲁棒模型不会完全混淆攻击，但它的分类和定位精度都大大降低了干净的图像和敌对的图像。定位对象的鲁棒性比+v：mala2255获取更多论文8董子怡、魏鹏旭、梁琳6420246图5：左：标准SSD，MTD和我们的RobustDet对干净图像和两个对抗图像的检测结果，来自分类（Acls）和定位（Aloc）。MTD和RobustDet是以SSD为基础模型的鲁棒模型。右：在Acls和Aloc的攻击下，对抗图像和原始图像之间的分类.从图中可以看出，边界框预测通过鲁棒模型不具有像分类那样大的偏差图中的结果图5示出了当应用Acls攻击时Lcls的变化与当应用Aloc攻击时Lloc的变化相比大得多这也表明分类模块不太健壮，更容易受到攻击。这都说明分类子任务下的两幅图像之间的冲突比定位子任务下的冲突更严重分类部分给出的分数也将决定边界框的选择因此，这种冲突将进一步损害模型的性能4方法4.1总体框架根据上述分析，在SEC。3.2、干净图像学习与对抗图像学习之间的冲突对分类和定位的鲁棒性产生对抗影响。为了解决这个问题，我们提出了一个RobustDet模型来防御对抗性攻击（图6）。我们通过对抗感知卷积来检测对象，并使用对抗图像鉴别器（AID）根据输入图像的扰动来生成对抗感知卷积核的权重。此外，受VAE [14]的启发，通过CFR的图像重建约束被考虑用于将图像重建为干净图像，以促进模型学习鲁棒特征。4.2adversarial-aware 卷积（Δ λ v）现有的模型基本上利用共享的模型参数来学习对抗图像和干净图像。这不可避免地让模特儿吃了苦头(a)Lclsunder Acls（b）Aloc下的LlocLadv我很干净+v：mala2255获取更多论文FFP {}i=1我具有逆向感知能力的鲁棒对象检测器9图6：基于SSD的RobustDet整体架构 CFR插入SSD主干，然后是第一个检测层（conv4 3），该层前后的两个部分分别命名为1和2。蓝色箭头是AID的数据流，其输出被用作AADRV的权重。紫色箭头是RobustDet检测对象时的主要数据流。蓝绿色箭头是训练期间的重建数据流。检测鲁棒性瓶颈。对抗性图像和干净图像之间存在客观区别承认这些区别而不是强迫检测器学习这两个具有相同参数的图像将是更好的选择。使模型明确区分这两种类型并使用不同的参数进行检测将缓解这些任务之间的冲突。受[7]的启发，我们在RobustDet模型中提出了对抗感知卷积，以学习干净图像和对抗图像的鲁棒特征RobustDet使用不同的内核来卷积干净图像和对抗图像。不同的参数将用于不同的扰动图像。卷积核的生成由对抗图像识别器D控制。在模型检测到图像中的对象之前，对抗性图像WMD将首先生成图像的M维概率= D（x）= π1，π2，.，πM该概率向量被用作权重来控制卷积核的生成。然后，最后生成的卷积核可以写为：θstecA_v=θM我θA v·πi，其中，θΔ ε v表示Δ ε v中的动态卷积核的参数模块，其中i指示第i个卷积核的索引。RobustDet使用对抗感知卷积来自适应地检测具有不同内核的不同图像，因此它可以有效地学习干净和对抗图像的鲁棒特征。它不仅可以提取共享特征，而且可以负责清洁和对抗图像的特定特征。因此，更有效地缓解检测鲁棒性瓶颈。4.3对抗性图像鉴别器对抗感知卷积核的生成由对抗图像卷积控制。这个模块也可能被攻击，并给出错误的权重。错误的权重将导致错误的卷积核援助对抗图像测试...重采样检测标头干净图像解码器CFRConv Auszov火车检测+v：mala2255获取更多论文.- 是的ΣFF∥· ∥2AID损失定义如下，222i=1我我我我+1N我i=12N我我1P1+P21P1+P210董子怡、魏鹏旭、梁琳这对模型来说将是一场灾难因此，为了提高其鲁棒性，我们将在线三重损失[25]应用于对抗性图像去噪。具体地说，我们考虑同一种图像的概率分布（即，干净或对抗性图像）尽可能近，而不同种类的图像（干净或对抗性图像）尽可能远在两种图像输出的概率分布之间引入一个裕度，以增强对抗图像水印算法的鲁棒性Jensen-Shannon（JS）散度[17]用于测量两个概率分布P1和P2（两个分布作为JS散度的示例）之间的距离：JS（P1<$P2）= KL P1<$+KL P2. 总体看Laid=<$NT[JS（D（xa）<$D（xp））-JS（D（xa）<$D（xn））+γ]，（2）其中xp（xn）是从具有相同（相反）类型（即，干净或对抗图像）作为一个三元组中的锚实例xa，γ是xn和xp之间的裕度，NT是三元组的数量，并且[·]+clips值为[0，+∞]。4.4重建一致特征（CFR）为了减轻对抗性扰动的负面影响，我们的RobustDet旨在确保对抗性图像在其干净图像附近的特征分布因此，受VAE [14]的启发，我们的RobustDet通过我们的AAcvs用干净的图像重建干净/对抗图像的一致特征。假设在conv4 3层（VGG骨干）之后的卷积层的输出特征图来自具有对角协方差矩阵N（μ =（μ1，.， µN），Σ = diag（σ2，.，σ2））。为简单性，σ =（σ2，...， σ2）。而不是直接预测的功能，1N最终用于检测，我们的模型预测其特征分布的平均值μ和标准差σ：μ=fμ（F1（x）），σ=fσ（F1（x）），其中fµ和fσ是预测均值和标准差的模型的两个层， 1（x）和2（x）是VGG的两个部分，由conv4 3分割。从该分布中，随机采样N维特征向量作为输入图像的鲁棒特征，其用于训练阶段中的后续CFR和对象检测那么重建损失可以定义为：Lre=<$G（z）−x<$2，z<$N（µ，），（3）其中，2表示n =2范数，x是干净图像。一旦学习了这个特征分布，我们的模型就可以为对抗图像及其干净的对应图像生成相似的特征因此，在测试阶段，预测平均值μ直接用作检测的鲁棒特征。此外，与VAE类似，我们还有一个额外的约束来防止预测的分布崩溃（例如，，μ和σ近似为零）：Lkld=N1.一、−logσ2+µ2+σ2−1<$，（4）+v：mala2255获取更多论文LL具有逆向感知能力的鲁棒对象检测器11总的来说，我们的RobustDet的总损失总结如下，L=β（Ldet+aLaid）+bLre+cLkld，（5）其中β、a、b和c是超参数。5实验5.1实现细节我们的实验在PASCAL VOC [8]和MS-COCO [18]数据集上进行使用IoU阈值为0.5的平均精度（mAP）来评估标准模型和稳健模型的性能。所提出的方法植根于以VGG16为骨干的一级检测器SSD [19]。考虑到批量规范化会增加对抗漏洞[1]，我们对VGG16进行了修改，没有批量规范化层[19]。在实验中，我们使用在干净图像上预训练的模型进行对抗训练，并采用随机梯度下降（SGD），学习率为10−3，动量为0.9，权重衰减为0.0005，批量大小为32，多盒丢失。对于鲁棒性评估，我们遵循MTD [34]和CWAT [5]的相同设置进行公平比较，并使用三种不同的攻击，PGD [21]，CWA [5]和DAG [32]。其中，CWA和DAG是专门为目标检测器设计的对于对抗训练，我们也遵循相同的攻击设置MTD [34]和CWAT [5]进行公平的比较;即，我们使用PGD-20攻击者，预算为8来生成对抗示例[34]。我们把援助的边际设为γ=0。6并且NT是从小批量计算的，并且超参数在β=0时。75，a=3，b=0。16，C=5。RobustDet* 表示具有CFR的RobustDet。5.2检测稳健性评价在本节中，我们将评估所提出的方法，并与Tab中PASCAL VOC和MS-COCO数据集上的最新方法进行1和二、MS-COCO中的场景比PASCAL VOC更复杂，因此使模型在此数据集上具有鲁棒性也更具挑战性考虑到目标检测器有分类和定位两个任务，我们可以使用PGD来攻击分类（Acls）和定位（Aloc）。对于DAG攻击，我们执行150个步骤来进行有效的攻击。实验结果见表1。1、Tab。二、在Tab。1、Tab。2、在不同的数据集下，与标准SSD相比，MTD（植根于SSD）在获得有限的鲁棒性的同时，在干净图像上的性能显著下降例如，在PASCAL VOC数据集上，其在干净图像上的mAP性能从77.5%显著下降↓和↑分别表示与基线SSD相比mAP降低或增加。’-’2+v：mala2255获取更多论文12董子怡、魏鹏旭、梁琳表1：在PASCAL VOC 2007测试集2上使用各种对抗性攻击方法的评估结果。方法清洁AclsAlocCWADAGSSD77.51.84.51.24.9SSD-AT（Acls）[34]SSD-AT（Aloc）[34]-28.0↑23.1-17.2↑12.3最大耐受剂量[34]48.0↓29.5CWAT（PGD-10）[5] 51.3↓26.229.1↑27.322.4↑20.631.9↑27.436.7↑32.218.2↑17.019.9↑18.728.5↑23.650.3↑45.4RobustDet（我们的）75.4↓2.141.5↑40.045.2↑40.742.4↑41.252.0↑47.1RobustDet*（我们的）74.8↓2.745.9↑44.149.1↑44.648.0↑46.856.6↑51.8表2：在MS-COCO 2017测试集上使用各种对抗攻击方法的评估结果。方法清洁AclsAlocCWADAGSSD42.00.41.80.18.1最大耐受剂量[34]24.2↓17.813.0↑12.613.4↑11.67.7↑7.6-CWAT（PGD-10）[5] 23.7↓18.314.2↑13.815.5↑13.79.2↑9.1-RobustDet（我们的）36.7↓5.320.6↑20.219.4↑17.620.5↑20.424.5↑16.4RobustDet*（我们的）36.0↓6.020.0↑19.619.0↑17.219.9↑19.816.5↑8.4在Acls和Aloc攻击下分别为1.8%和4.5%。在CWA和DAG攻击下，它也表现出很差的鲁棒性，分别只有1.2%和4.9%的mAP。此外，对于现有的鲁棒方法，MTD和CWAT在Acls下仅获得不到30%的mAP，在Aloc下仅获得40%，甚至在干净图像上损失近30%的mAP。相反，我们提出的RobustDet不仅在对抗图像上获得了高鲁棒性，而且还确保了与标准SSD在干净图像上的性能相当，但性能略有下降。在PASCAL VOC数据集上，与标准SSD相比，RobustDet在对抗图像上获得了超过40%的mAP来防御检测攻击，在干净图像上最多损失2.7%在MS-COCO数据集上也取得了良好的性能例如，RobustDet在DAG攻击下达到24.5%，在干 净 图 像 上 最 多 只 有 6% 的mAP 下 降 （ RobustDet 36.7% vs.SSD42.0%）。5.3模型评估和分析左心房消融研究。对抗性图像也可能被攻击。因此，引入AID损失以提高其鲁棒性。如Tab中所示。3、如果没有Laid，RobustDet在干净图像和对抗图像上的性能都会下降，特别是例如，它在Acls攻击下下降4.2%mAP，在CAW攻击下下降4.5% mAP。缺乏L援助使AID更容易混淆干净和敌对的形象。46.7↓30.821.8↑20.032.2↑27.751.9↓25.623.7↑21.926.5↑22.0+v：mala2255获取更多论文具有逆向感知能力的鲁棒对象检测器13表3：我们的模型在PASCAL VOC 2007测试集上的各种对抗攻击方法下的消融研究方法清洁AclsAlocCWADAGRobustDet w/oLaid74.937.344.937.951.8RobustDet* w/oLre74.627.541.828.655.9RobustDet75.441.545.242.452.0RobustDet*74.845.949.148.056.6(a) AclsPGD攻击（b）AlocPGD攻击(c)置信度分布图7：（a）和（b）：我们的模型在使用不同PGD步骤的攻击下的鲁棒性。（c）：在对Lcls和Lloc损失的攻击下，对抗图像和原始图像之间对应的与重建一致特征的消融研究。我们将RobustDet（无CFR）和RobustDet*（有CFR）用于CFR消融研究。在PASCAL VOC数据集上，如Tab. 如图1和图3所示 ，CFR模块 的检测 鲁棒性 至少提高 了4.1%（CWA攻击 下RobustDet 47.5% vs. RobustDet* 45.9%），最多提高了5.6%（CWA攻击下RobustDet 42.4% vs. RobustDet* 46.8%）。在MS-COCO上，Tab. 图2显示了RobustDet* 在所有攻击下的性能都低于RobustDet。这种重建可以被视为VGG-16中的VAE，VGG-16的能力相对有限，无法学习如此多的类别，从而影响了模型的整体训练，导致性能下降。此外，CFR有两个损失的Lkld和Lre。在Tab。3，与基线相比，在没有Lre的情况下这表明该模型不能有效地预测两个样本进入相同的分布。使用不同的PGD步骤进行攻击 为了验证我们的模型对PGD攻击的不同步骤的泛化能力，我们遵循MTD的设置[34]，并在图7（a）和（b）中提供了模型在PGD攻击PASCAL VOC的各个步骤下的性能。对于非鲁棒SSD，随着迭代步数的增加，性能急剧下降。我们的模型在各种不同步骤的PGD攻击下表现出很强的鲁棒性。结合Tab.1，这表明我们的模型具有很好的泛化能力，即使攻击与训练有些不同，也能很好地防御。+v：mala2255获取更多论文14董子怡、魏鹏旭、梁琳梯度退纠缠分析 正如在SEC中所讨论的那样。 3.2，检测鲁棒性瓶颈可以归因于学习对抗图像和干净图像之间的冲突。从图中可以看出3、学习对抗（干净）图像的对抗训练SSD模型对学习干净（对抗）图像有负面影响，使得损失增加。但经过对抗训练的平均损耗变化小于0.1。这一点也可以从图中看出图4表明，两个样本上的RobustDet梯度这表明RobustDet可以有效地缓解检测鲁棒性瓶颈，并更好地学习两幅图像。置信度分布分析 为了进一步验证我们的RobustDet处理冲突，鲁棒模型MTD和我们的RobustDet分别在干净和对抗图像（Acls和Aloc）上产生的边界框的置信度分布，如图7（c）所示。这里我们将边界框置信度的过滤阈值设置为0.3。从中可以明显看出，MTD鲁棒模型对干净图像和对抗图像的置信度都很低（干净图像约为0.7，Acls和Aloc图像约为0.6），这也是冲突的表现相比之下，我们提出的RobustDet模型在干净图像上的置信度相当高（约为0.95，比MTD高0.25），而对抗图像的置信度主要分布在较高的部分（Acls约为0.65，Aloc约为0.7）。这一结果也可以很好地说明，我们的方法可以有效地缓解冲突和检测鲁棒性瓶颈。6结论在这项工作中，我们研究了检测鲁棒性瓶颈，即对象检测器放弃了其在干净图像上的一部分性能，同时从对抗训练中获得了非常有限的鲁棒性。从损失变化和梯度干扰两个方面进行的实证分析表明，检测鲁棒性瓶颈主要归因于目标检测器在学习干净图像和对抗图像时的冲突。物体检测器很难很好地学习这两种图像，因此它需要在它们之间进行学习权衡。针对干净图像和对抗图像的检测鲁棒性瓶颈，提出了基于对抗感知卷积的RobustDet方法。RobustDet利用对抗图像鉴别器（AID）来生成不同的权重来清洁图像和对抗图像，这将指导生成对抗感知卷积核以自适应地学习鲁棒特征。RobustDet还采用了Consistent Features withReconstruction（CFR），使干净图像和对抗图像的特征处于相同的分布中，并使模型能够将对抗图像重建为干净图像。这可以进一步增强检测鲁棒性。实验结果表明，该方法能有效缓解检测鲁棒性瓶颈.实验结果表明，该方法可以显著提高模型的鲁棒性，而不会损失对干净图像的性能。确认本 工 作 得 到 了 国 家 自 然 科 学 基 金 （ No.62006253 ， U21A20470 ，61876224）、国家重点研发计划（2021ZD0111601）的部分资助。+v：mala2255获取更多论文Adversarially-Aware鲁棒的对象检测器15引用1. Benz，P.，张，C.，Kweon，I.S.：批量标准化增加了对抗性的脆弱性，降低了对抗性的可转移性：一个非鲁棒的特征视角。国际计算机视觉会议（International Conference on Computer Vision，ICCV）pp. 78182. Carion，N.，Massa，F.，Synnaeve，G.，N.C.，Kirillov，A.，Zagoruyko，S.：使用变压器的端到端对象检测。欧洲计算机视觉会议（ECCV）pp.2133. Carlini，N.，瓦格纳，D.A.：神经网络的鲁棒性评价。IEEE Symposium onSecurity and Privacy（IEEE安全与隐私研讨会pp. 394. Chen，L.，中国地质大学，Zhu，Y.，中国科学院，Papandreou，G.，Schroff，F.，亚当，H.：用于语义图像分割的具有粗糙可分离卷积的编码器-解码器。欧洲计算机视觉会议（ECCV）。pp. 8335. 陈佩，Kung，B.，Chen，J.：用于对象检测的类感知鲁棒对抗训练。计算机视觉与模式识别（CVPR）pp. 104206. 陈淑仪，科尼利厄斯角，Martin，J.，Chau，D.H.P.：Shapeshifter：对更快的R-CNN对象检测器进行强大的物理对抗攻击。数据库中的机器学习和知识发现-欧洲会议（ECML）。pp. 527. 陈玉，Dai，X.，刘，M.，Chen，D.，中国农业科学院，Yuan，L.，Liu，Z. ： Dynamic convolution ： convolution kernels. 计 算 机 视 觉 与 模 式 识 别（CVPR）pp. 110278. Everingham ， M. ， Eslami ， S.M.A. ， Gool ， L.V. ， 威 廉 姆 斯 ， C.K.I. ，Winn ， J.M. ， Zisser-man ， A. ： Pascal Visual Object Classes Challenge ： ARetrospective.国际计算机目视111（1），989. Ge，Z.，Liu，S.，王福