14973Segment and Complete：Defending Object Detectors against AdversarialPatch Attacks with Robust Patch Detection（分割和完整：Jiang Liu1，Alexander Levine2，Chun Pong Lau1，Rama Chellappa1，SoheilFeizi21约翰霍普金斯大学2马里兰大学帕克分校{jiangliu，clau13，rchella4} @ jhu.edu，{alevine0，sfeizi} @ cs.umd.edu摘要目标检测在许多安全关键系统中起着关键作用对抗性补丁攻击在物理世界中很容易实现，对最先进的目标检测器构成严重威胁。为对象检测器开发可靠的补丁攻击防御是至关重要的，但严重不足。在本文中，我们提出了分段和完全防御（SAC），一个通用的框架，通过检测和删除对抗补丁对象检测器免受补丁攻击。我们首先训练一个补丁分割器，输出补丁掩码，提供对抗补丁的像素级定位然后，我们提出了一个自对抗训练算法来鲁棒补丁分割。此外，我们设计了一个强大的形状补偿算法，这是保证从图像中删除整个补丁，如果补丁分割器的输出是在一定的汉明距离的地面真理补丁掩模。我们在COCO和xView数据集上的实验此外，我们提出了APRICOT-Mask数据集，它通过对抗补丁的像素级注释来增强APRICOT数据集我们表明SAC可以显着降低物理补丁攻击的目标攻击成功率。我们的代码可以在https://github.com/joellliu/SegmentAndComplete上找到。1. 介绍目标检测是一项重要的计算机视觉任务，在许多安全关键系统中发挥着关键作用，包括自动驾驶、安全监控、身份验证和机器人制造[42]。对抗补丁攻击，其中攻击者扭曲有界大小的区域内的像素，对现实世界的对象检测系统构成严重威胁，因为它们易于实现物理攻击。图1.我们采用了一种“检测和删除”的策略来保护对象检测器免受补丁攻击。左：对干净图像的预测;中：对对抗图像的预测;右：对SAC掩码图像的预测。凯莉例如，物理对抗补丁可以使停止标志[40]或人[41]从对象检测器中消失，这可能会在自动驾驶等安全关键设置中造成严重后果尽管对对象检测器的对抗补丁攻击非常丰富[9，22，23，25，29，39-大多数现有的补丁攻击防御仅限于图像分类[16，17，24，32，34，44，46，49]。由于任务的复杂性，保护物体在本文中，我们提出了分段和完整（SAC）防御，可以鲁棒任何对象检测器对补丁攻击，而无需重新训练的对象检测器。我们采用了这是基于以下观察：虽然对抗性补丁是局部的，但它们不仅可以影响局部预测，而且可以影响图像中更远的对象，因为对象检测算法利用空间上下文进行推理[38]。这种效应对于深度学习模型尤其重要，因为它是一个小的局部对抗补丁，14974×由于神经元的大感受野，通过将它们从图像中移除，我们可以最大限度地减少局部和全局对抗补丁的不利影响。SAC的关键是鲁棒地检测对抗补丁。我们首先训练一个补丁分割器从输入中分割对抗补丁，并产生一个初始补丁掩码。我们提出了一种自对抗训练算法，以提高补丁分割器的鲁棒性，这是有效的和对象检测器不可知的。由于攻击者可以潜在地攻击分割器并在自适应攻击下干扰其输出，因此我们进一步提出了一种鲁棒的形状完成算法，该算法在确保对抗性补丁的形状完成采用初始补丁掩码并生成SAC的整体管道如图所示二、SAC在以下条件下实现45.0% mAP100 100补丁攻击，在未防御模型上提供30.6%的mAP增益，同时在COCO数据集上保持相同的 49.0%干净mAP。除了数字域之外，补丁攻击已经成为物理世界中对象检测器的严重威胁[9，23，39开发和评估针对物理补丁攻击的防御需要创建成本高昂的物理补丁数据集据我们所知，APRI- COT [6]是唯一公开的对象检测器物理对抗攻击然而，APRICOT仅为每个补片提供边界框注释，而不提供像素级注释。这阻碍了像SAC这样的补丁检测和去除技术的开发和评估。为了促进这一方向的研究，我们创建了APRICOT-Mask数据集，它为APRICOT中的对抗性补丁提供了分割掩码和更准确的边界框。我们使用APRICOT-Mask中的分割模板训练补丁分割器，并表明SAC可以有效地将补丁攻击成功率从7.97%降低到2.17%。概括而言，我们的贡献如下：• 我们提出了段和完成，一个通用的方法，通过补丁分割和一个强大的形状完成算法来保护对象检测器免受补丁攻击。• 我们评估SAC的数字和物理攻击。SAC在非自适应和自适应攻击下都具有出色的鲁棒性，并且不会降低对干净图像的性能，并且可以很好地推广到不可见的形状、攻击预算和不可见的攻击方法。• 我们提出了APRICOT-Mask数据集，这是第一个公开提供物理对抗补丁的像素级注释的数据集2. 相关工作2.1. 对抗补丁攻击对抗性补丁攻击是一种局部化攻击，允许攻击者扭曲有界区域。 对抗补丁攻击首先针对图像分类器提出[7，14，20]。从那时起，已经提出了许多对抗补丁攻击来欺骗最先进的对象检测器，包括数字[22，25，29，38，51]和物理检测器。精神病发作[9，23，39由于任务的复杂性，用于目标检测的补丁攻击比图像分类更复杂攻击者可以使用不同的目标函数来实现不同的攻击效果，如对象隐藏，错误分类和虚假检测。2.2. 防御补丁攻击已经提出了许多针对图像分类器的补丁攻击的防御措施，包括经验[16，17，3234，44]和认证的防御[24，46，49]。局部梯度平滑（LGS）[33]基于补丁攻击引入集中高频噪声的观察，因此建议在具有高梯度幅度的数字水印（DW）[17]在分类器的显着图中找到不自然的密集区域，并覆盖这些区域以避免它们对分类的影响。LGS和DW都使用与SAC类似的检测和删除策略。然而，它们基于预定义的标准检测补丁区域，而SAC使用可学习的补丁分割器，它更强大，可以与对抗训练相结合，以提供更强的鲁棒性。此外，我们利用补丁形状之前，通过形状完成。在对象检测领域，大多数现有的防御措施都集中在具有lp范数约束的全局扰动[8，10，50]上，只有少数防御措施[19，38，47]针对补丁攻击提出。这些方法是为特定类型的补丁攻击或对象检测器而设计的，而SAC提供了更一般的防御。Saha [38]提出了梯度防御和OOC防御，用于防御检测器对对手选择的特定对象Ji等人[19]提出了Ad-YOLO，通过在YOLOv 2 [35]检测器上添加补丁类来防御人类检测补丁攻击，这样它就可以检测到感兴趣的对象和对抗补丁。DetectorGuard（DG）[47]是一种可证明的防御局部补丁隐藏攻击的方法。与SAC不同，DG不会定位或删除对抗补丁。它是一种警报算法，使用对象解释器来检测无法解释的对象，以便在受到攻击时发出警报，而SAC解决了“对抗补丁攻击下的检测”问题14975∈{≤∈}∞L= L+ L+ L+ L∈XLL贴片分段器形状完成对象检测器图2.SAC方法的管道SAC通过补丁分割和形状完成在像素级上检测和去除对抗补丁，并将掩蔽图像馈送到基本对象检测器进行预测。3. 初步3.1. 更快的R-CNN对象检测器在本文中，我们使用Faster R-CNN [36]作为我们的基本对象检测器，尽管SAC与任何对象检测器兼容，并且我们在补充材料中显示了SSD [28Faster R-CNN是一个基于提议的两阶段对象检测器。在第一阶段，区域建议网络（RPN）用于生成称为区域建议的类别不可知的候选对象边界框;在第二阶段，快速R-CNN网络[15]用于输出对象类别并细化每个区域建议的边界框坐标Faster RCNN的总损失是RPN和Fast R-CNN的边界盒回归和分类损失P=P：P ≠ 0且A（x，l，P）[0，1]H×W×3.的自适应图像xadv由下式给出：xadv=A（x，l，P∈（x，l））。我们考虑正方形贴片PRs×s×3，其中s是补丁大小，并按照以前的作品[20，23，29，49]应用每个图像一个补丁我们使用攻击预算=1，允许攻击者在没有约束的情况下任意扭曲补丁内的像素，这是物理补丁攻击和大多数数字补丁攻击的情况[7，22，25，29，38，51]。4. 方法SAC通过检测和去除输入图像x中的对抗性补丁来保护对象检测器免受对抗性补丁攻击。SAC的流水线如图所示二、它由两个步骤组成：首先，一个补丁分割器（Sec. 第4.1节）生成初始补丁掩码M_P_S，然后生成鲁棒形状更快的R-CNN RPN RPN Fast R-CNNFast R-CNN（一）完成算法（Sec.4.2）用于生产最终regCLSregCLS贴片口罩MSC. 掩码图像x<$=x<$（1−M<$SC）3.2.攻击公式在本文中，我们考虑图像和位置特定的非目标补丁攻击的对象检测器，这是严格强于通用的，位置不变的攻击。设x[0，1]H×W×3是一个干净的图像，其中H和W是x的高度和宽度。我们解决以下优化问题来找到一个对抗补丁：被馈送到基本对象检测器进行预测，其中是Hadamard乘积。4.1. 面片分割使用预先生成的对抗图像进行训练我们将补丁检测公式化为分割问题，并训练U-Net [37]作为补丁分割器以提供初始补丁掩码。设PSθ是一个参数化的面片分割器P（x，l）= argmaxP∈{P ′：<$P′<$∞≤ <$}哪里L（h（A（x，l，P））;y），（2）的θ。我们首先通过用等式攻击基本对象检测器来生成一组对抗图像adv（2）然后使用预先生成的对抗图像Xadv以训练PSθ：h表示对象检测器，A（x，l，P）是将补丁P添加到位置l处的x的minθxadv∈X AdvLBCE（PSθ（xadv），M）（4）目标探测器的功能。 我们使用=更快的R-CNN对Faster R-CNN发起全面攻击我们求解Eq。（二）使用投影梯度下降（PGD）算法[30]：Pt+1=Y（Pt+αsign（PtL（h（A（x，l，Pt））;y），（3）⊙14976L∈HW其中M是地面实况补丁掩码，PSθ（xadv）[0，1]H×W是输出概率图，BCE是二进制交叉熵损失：PLBCE（M，M）=−[Mij·logMij其中α是步长，t是迭代次数，Qi j （5）是将P投影到可行集+（1−Mi j）·log（1−Mij）]。14977XTD××（i，j）∥∥×∈_+（1−λ）Ex<$D，l<$TLBCE（PSθ（A（x，l，P<$s-AT（x，l），M）θΣ使用adv的训练为PSθ提供了关于“对抗补丁看起来如何”的先验知识。我们进一步提出了一种自对抗训练算法来增强PSθ的鲁棒性。具体来说，我们攻击PSθ，生成adversarial patchP_s-A_T∈R_s×s×3：T（x，l）=argmaxP∈{P′：<$P ′<$∞≤ <$}LBCE（PSθ（A（x，l，P）），M），（六）其通过类似于等式的PGD来求解（三）、 我们训练PSθ在自我对抗训练中，图3. 在方程中构造M_（？）（9）：MSC是以下工会：min[λExλ D LBCE（PSθ（x），M）所有的候选m都有M s，（i，j），它们都是γ-接近于M∈ PS的。如果M是γ-接近于MPS，这保证了M被MSC覆盖。、（七）其中是允许的补丁位置的集合，是图像分布，M是地面真实掩码，λ控制干净图像和对抗图像之间的权重一种替代方案是用方程生成的补丁训练PSθ（二）、与等式（2），Eq.公式（6）不需要外部标记，因为真实掩模M由l确定并且已知。事实上，Eq。（7）以不需要外部标签来进行两个手工制作的方式训练补丁4.2.2该方法如果地面实况贴片的大小已知，那么我们可以满足等式：（8）最低限度，通过建设。特别地，假设已知M是一个s s片，并且令Ms，（i，j）表示左上角在（i，j）的s片的掩码。那么方程（8）最小满足以下掩码：如果Ms， （i′，j′）=1，则Ms，（i′，j′）=1，adversarial样本和训练模型;它增强了M：=dH（MPS，Ms，（i′，j′））（九）PS检测图像中的任何此外，委员会认为，SC（i，j）s2≤γθ当量（6）不涉及对象检测器h，这使得PSθ目标探测器不可知，加快优化速度0否则。这里我们用了M=s2。换句话说我们因为PSθ的模型尺寸远小于h。通过阈值分割获得块分割掩模M_P_SH必须覆盖任何s×s内的每个像素 ˆ贴片 M s，（i′，j′），保持PSθ的 输 出：M≠PS=PSθ（x）>0. 五、4.2. 形状完成4.2.1需性质如果我们知道对手被限制在攻击一个对于具有特定形状（例如正方形）的块，我们可以使用该信息来我们采纳一个建议-最 后 的 方 法 ： 给 定 M_P_S ， 我 们 将 希 望 产 生 输 出M_S_C，其完全覆盖真实的补丁掩码M。事实上，我们希望保证这种性质和M任意不同，那么我们显然不能提供任何这样的保证。因为地面实况贴片面具M和输出上的补丁片段M_P_S是二进制向量。因此，很自然地将 它们的差度量为汉明 距 离 dH（M∈PS，M）。 为了提供适当的尺度，我们将该量与地面真实掩模的总幅度MH：=d H（0，M）进行比较。因此，我们希望补丁完成算法具有以下属性：是γ-接近于观察到的掩模MPS，因为任何这样的片实际上可以是M：因此，仅由这些像素组成的掩模是满足等式（1）所需的最小掩模（八）、见图3为例。而Eq。（9）可能看起来令人生畏，有一个简单的动态规划算法，在O（H）中计算整个掩码M∈SCW）时间：这在补充材料中介绍。4.2.3未知贴片尺寸由方程式（9），我们假设地面实况补丁大小s是已知的;并且由失真阈值γ进一步参数化。令M∈SC（s，γ）表示该参数化掩模，如等式（1）中所定义（九）、如果我们不知道s，而是有一组可能的补丁大小S，使得真正的补丁大小S S，那么我们可以满足方程。（8）通过简单地组合为每个可能的s值生成的所有掩码：M<$SC（S，γ）（i，j）：=M<$SC（s，γ）（i，j）（10）s∈S14978当量（10）确实再次是满足所需的最小掩码如果dH（M≠PS，M）Mγ然后是γi，j：M∈SC（i，j）≥M（i，j）（八）约束条件：一个pixel（i，j）包含在M∈SC（γ）中当且仅当存在一些M s，（i′，j′），对于某些s∈S，≤14979−--S×（i，j）是Ms，（i′，j′）的一部分，且Ms，（i′，j′）是γ接近于MPS. 在实践中，该方法可以高度灵敏地检测超 参数 γ 为 了处 理 这 个问 题 ， 我 们首 先 应用 Eq.（10）如果γ值较低，然后如果没有返回掩码，则逐渐增加γ-详情见补充材料。4.2.4未知补丁程序在某些情况下，我们可能不知道补丁的形状由于面片分割器对面片形状是不可知的，所以我们使用MPS和MSC的并集作为最终的掩码输出：M.SC.我们经验评估这 种 方 法的有效性，在第二节。第5.3.4节。5. 数字攻击在本节中，我们评估SAC对数字补丁攻击的鲁棒性我们考虑了非自适应和自适应攻击，并证明了SAC的推广。5.1. 评估设置我们在实验中使用COCO [27]和xView [21]数据集COCO是一个常见的目标检测数据集，而xView是一个大型的公共架空图像数据集。对于每个数据集，我们评估了1000个测试图像的模型稳健性，并报告了Inter-section over Union （ IoU ） 0.5 时 的 平 均 平 均 精 度（mAP）。对于攻击，我们使用设定的步长α = 0来计算200步。01. 修补程序位置l在每张图片中随机选择。我们用不同的随机贴片位置评估三轮，并报告mAP的平均值和标准差5.2. 实现细节所有的实验都是在一台配备10 个GeForce RTX2080 Ti GPU的服务器上进行的。对于基本对象检测器，我们使用Faster-RCNN [36]与特征金字塔网络（ RPN ） [26] 和 ResNet-50 [18] 骨 干 。 我 们 使 用Torchvision[31]中提供的预训练模型用于COCO，并使用Armory [1]中提供的模型用于xView。 对于补丁分割器，我们使用具有16个初始滤波器的U-Net [ 37 ]。为了训练补丁分割器，对于每个数据集，我们从补丁大小为100 100的训练集中生成55k个固定的对抗图像。在单个GPU上对预先生成的adversarial图像进行训练对于自我对抗训练，我们通过等式Eq. （7）使用PGD攻击，迭代次数为200次，步长α=0。01，λ=0。3，在COCO上大约需要8个小时，在xView上需要4个小时，使用10个GPU。对于补丁完成，我们使用正方形先验，可 能 的 补 丁 大 小 S={25 ， 50 ， 75 ， 100} ， 用 于xView，对于COCO，S=25、50、75、100、125。更多详情请参见补充材料。5.3. 鲁棒性分析5.3.1基线我们将所提出的方法与香草对抗训练（AT），JPEG压缩[13]，空间平滑[48]和LGS [33]进行了比较。对于AT，我们使用具有30次迭代和步长0.067的PGD攻击，这在xView训练集上每个epoch花费大约12小时，在COCO上使用10个GPU花费32小时由于巨大的计算成本，我们在干净的图像上进行了10个epoch的Faster-RCNN更多详情请参见补充材料。5.3.2非自适应攻击非自适应攻击下的防御性能见表10。1，攻击者只攻击目标检测器。SAC在两个数据集上的不同补丁大小上都非常稳健，并且与基线相比具有最高的mAP此外，SAC保持了高清洁性能作为不设防的模型。图4示出了SAC防御前后的对象检测结果的两个示例对抗补丁创建虚假检测并隐藏前景对象。SAC屏蔽了对抗补丁并恢复模型预测。我们在补充材料中提供了更多的例子以及SAC的一些失败案例。5.3.3自适应攻击我们进一步评估了自适应攻击下的防御性能，对手攻击整个对象检测管道。为了自适应地攻击基于预处理的基线（JPEG压缩、空间平滑和LGS），我们使用BPDA [4]，假设每个防御的输出近似等于原始输入。为了自适应攻击SAC，我们在通过阈值操作进行反向传播时使用直通估计器（STE）[5]，这是我们为SAC发现的最强自适应攻击（详细信息请参见补充材料结果见表。1.一、基于预处理的基线在自适应攻击下性能下降很多AT在基线中实现了最强的SAC的鲁棒性在自适应攻击下几乎没有下降，并显着优于基线。由于自适应攻击比非自适应攻击更强，因此我们在其余的实验中只使用自适应攻击。5.3.4SAC的普遍性推广到不可见的形状我们用方形面片训练面片分割器，并使用方形形状先验14980表1. 在不同补丁大小的非自适应和自适应攻击下的mAP（%）每列的最佳性能以粗体显示。非自适应攻击不设防49.019.8±1.023.5±0.739.7±0.340.4±0.636.8±0.145.7± 0.314.4±0.618.6±0.837.2±0.338.1±0.635.2±0.645.0± 0.69.9±0.513.9±0.333.3±0.434.3±0.132.8±0.940.7± 1.019.8±1.023.5±0.722.8±0.923.2±0.720.8±0.743.6± 0.914.4±0.618.6±0.818.0±0.817.5±1.015.9±0.544.0± 0.39.9±0.513.9±0.313.4±0.713.5±0.612.2±0.939.2± 0.7AT [30]40.2CocoJPEG压缩格式[13]空间平滑[48]45.646.0LGS [33]42.7SAC（我们的）49.0非自适应攻击不设防27.28.4±1.612.1±0.419.3±0.416.2±0.711.9±0.525.3± 0.37.1±0.48.6±0.117.8±1.014.2±1.110.9±0.323.6± 1.25.3±1.17.2±0.715.9±0.412.4±0.89.8±0.523.2± 0.38.4±1.612.1±0.411.2±0.311.0±0.78.2±0.824.4± 0.87.1±0.48.6±0.19.5±1.07.9±0.66.5±0.423.0± 0.95.3±1.17.15±0.78.3±0.36.5±0.25.4±0.522.1± 0.6AT [30]22.2xViewJPEG压缩格式[13]空间平滑[48]23.321.8LGS [33]19.1SAC（我们的）27.2(a)干净图像上的地面实况。（b）对干净图像的预测。（c）对对抗性诉讼的预测-年龄为100×100贴片。(d) SAC掩蔽图像上的预测。图4.对象检测结果的可视化，以COCO数据集（顶部）和xView数据集（底部）为例对抗性补丁创建虚假检测，并使检测器忽略地面真实对象。SAC屏蔽补丁并恢复模型预测。在形状完成。由于对抗补丁在现实世界中可能不总是正方形的，我们进一步评估了具有不同形状的对抗补丁的方形训练SAC，同时固定补丁中的像素数量。所用形状的细节可在补充材料中找到材料。我们使用MPS和MSC的并集，如下所述节中4.2.4.结果示于图5中。SAC在矩形、圆形、菱形、三角形和椭圆形补丁攻击下表现出强大的鲁棒性，即使这些形状与SAC中先前使用的方形形状不匹配。概括攻击预算由方程式（2），我们设置了*=1，允许攻击者任意修改补丁区域内在实践中，攻击者可能会降低攻击预算，以生成不太明显的对抗补丁，以逃避SAC中的补丁检测。为了测试SAC如何推广到较低的攻击预算，我们在xView数据集上评估了在较低的攻击预算值下训练的SAC我们设定数据集方法清洁自适应攻击75×75100×100125×12575×75100×100125×125数据集方法清洁自适应攻击50×5075×75100×10050×5075×75100×10014981椭圆矩形平方SAC-50x50SAC-75x75不设防-50 x50不设防-75 x75不设防-100x100三角形0510152025最大平均接入点（%）椭圆矩形平方SAC-75x75SAC-100x100不设防-75 x75不设防-100 x100不设防-125 x125三角形0 5 10 15 20 25 30 35 40 45最大平均接入点（%）xViewCOCO攻击方法75×75 100×100 125×125(a) xView数据集。圈(b) COCO数据集。圈表2. mAP（%）下的自适应看不见的攻击方法与不同的补丁大小。DPatch [29]不设防33.6±0.8 29.1±0.625.0±1.7SAC（我们）45.3±0.3 44.1±0.642.1±0.8MIM [12] 不设防20.1±1.2 14.2±0.810.5±0.2SAC（我们）42.2±0.9 43.5±1.040.0±0.2图5.SAC在不同补丁形状和大小的自适应攻击下的性能SAC在矩形，圆形和椭圆形补丁攻击下表现出很强的鲁棒性，即使这些形状与SAC中使用的方形形状先验不匹配。32.530.027.525.022.520.017.515.012.510.07.55.0攻击方式50×50 75×75 100×100DPatch [29]不设防16.0±0.5 13.4±0.911.1±0.9SAC（我们的）25.3±0.5 22.7±1.121.8±0.5MIM [12] 不设防 8.3±0.47.3±0.86.5±1.5SAC（我们）24.7±0.7 23.0±0.922.1±0.6表3.mAP（%）在消融模型的自适应攻击0.10.20.30.40.50.60.70.80.91.0攻击预算图6. xView数据集上不同攻击预算下的SAC性能。SAC的训练值为1。迭代步长为200，步长为1/200。图6示出了SAC在宽范围的SNR下保持稳健。虽然SAC的性能下降时，由于补丁变得不可感知的，SAC变得更小，但SAC仍然提供了显着的鲁棒性增益不设防的模型。此外，SAC是灵活的，我们可以使用更小的训练来提供更好的保护，以防止不可感知的补丁。推广到看不见的攻击方法在前面的章节中，我们使用PGD（等式2）。（3）创建对抗补丁。我们进一步评估了SAC在不可见攻击方法下的性能，包括DPatch [29]和MIM [12]攻击。我们对两种攻击都使用200次迭代，并将学习率设置为DPatch为0.01，衰减因子μ= 1。0为MIM。每一步都显示在选项卡中。二、SAC在两种攻击下在COCO上实现了超过40.0%的mAP，在xView上实现了21%的mAP，在不设防的模型上提供了强大的鲁棒性。5.4. 消融研究在本节中，我们研究了SAC各组分的影响。我们考虑了三种模型：1）用预生成的对抗图像（PS）训练的补丁分割器; 2）用自我对抗训练（self AT）进一步训练的PS;3）自我对抗训练（self AT）。AT训练的PS结合形状补全（SC），这是整个SAC防御。这些模型在自适应攻击下的性能如表1所示3 .第三章。PS单独在自适应攻击下实现了良好的鲁棒性（与Tab.1）由于分割模型的固有鲁棒性[3，11]。Self AT显著提高了鲁棒性，特别是在COCO数据集上。SC进一步提高了鲁棒性。有趣的是，我们发现对SC模型的自适应攻击将迫使攻击者生成具有更多结构化噪声的补丁，试图欺骗SC（参见补充材料）。6. 物理攻击在本节中，我们评估SAC对物理补丁攻击的鲁棒性。我们首先介绍了APRICOT-Mask数据集，并进一步证明了SAC在APRICOT数据集上的有效性。6.1. APRICOT-掩码数据集APRICOT [6]包含1,011张在现实世界中拍摄的60张独特的物理对抗补丁的图像，其中6个补丁（138张照片）正在开发中不设防-50 x50不设防-75 x75不设防-100x100SAC-50x50SAC-75x75SAC-100x100方法不设防PS+ 自AT+ SC方法不设防PS+ 自AT+ SC75×75100×100 125×12523.3±0.719.8±1.014.4±0.618.7±0.313.1±0.39.9±0.543.6±0.950×5041.5±0.240.5±0.644.0±0.375×7539.2±0.7100×10036.6±0.116.8±0.68.4±1.613.6±0.47.1±0.45.3±1.124.4±0.820.6±0.411.1±0.317.6±0.523.0±0.915.4±0.622.1±0.6最大平均接入点（%）CocoxView14982集 ， 其 他 54 个 补 丁 （ 873 张 照 片 ） 在 测 试 集 中 。APRICOT为每个补丁提供边界框注释。 然而，没有补丁的像素级注释。 我们提出了APRICOT-Mask数据集1，它为APRICOT数据集中的对抗补丁提供了分割掩码和更准确的边界框（参见图7中的两个示例）。分割掩码由三个注释器使用Labelbox [2]进行注释，并手动审查以确保注释质量。的86420SAC LGS空间平滑JPEG AT-COCO不设防然后从分割掩模自动生成边界框。我们希望APRICOT-Mask与APRICOT数据集一起可以促进对物理补丁攻击的防御研究，特别是补丁检测和删除技术。图7.来自APRICOT和APRICOT-Mask数据集的图像和补丁注释。左：来自APRI-COT数据集的对抗图像;中：由APRI-COT数据集提供的补丁边界框;右：由APRICOT-Mask数据集提供的补丁边界框和分割6.2. 耐用性评价评估方法我们通过目标攻击成功率来评估防御效果。如果对象检测器生成的检测与IoU至少为0.10的地面实况对抗补丁边界框重叠，置信度得分大于0.30，并且被分类为与补丁目标相同的对象类，则补丁攻击是评估结果我们使用APRICOT-Mask数据集的分割掩码在APRICOT测试集上训练补丁分割器。培训详情见补充材料。由于APRICOT补丁是从针对10个COCO对象类别的COCO数据集上训练的三个检测模型生成的，因此我们使用在COCO [31]上预训练的Faster-RCNN模型作为我们的基本对象检测器，这是一个黑盒攻击设置，目标和替代模型在同一数据集上训练我们评估有针对性的攻击成功率的发展1https://aiem.jhu.edu/datasets/apricot-mask防御方法图8.针对APRICOT数据集的攻击成功率设置SAC并将其与第二节中的基线进行5.3.1. 对于AT，我们使用在COCO数据集（AT-COCO）上逆向训练的Faster-RCNN模型，因为APRICOT数据集的大小结果示于图8中。SAC将无防御模型的目标攻击成功率从7.97%显著降低到2.17%，是所有防御方法中最低的AT的目标攻击成功率略高于无防御模型，这可能是由于COCO和APRICOT数据集之间的域差距。7. 讨论和结论在本文中，我们提出了分段和完全防御，可以通过从输入图像中鲁棒地检测和移除对抗性我们训练了一个强大的补丁分割器，并通过形状完成算法利用补丁形状先验。我们对数字和物理攻击的评估证明了SAC的有效性此外，我们提出了APRICOT-Mask数据集，以促进建立防御物理补丁攻击的研究SAC可以通过几种方式进行改进。首先，尽管SAC不需要重新训练基本对象检测器，但在具有随机放置的黑块的图像上对其进行微调可以进一步提高其在SAC掩蔽图像上的性能。其次，在本文中，我们采用了一种保守的方法，掩盖了整个补丁区域后，我们检测补丁。当攻击者被允许任意扭曲像素并破坏补丁内的所有信息时，例如在物理补丁攻击中，这不会导致信息丢失。然而，在补丁不太可见的情况下，一些信息可以保留在补丁区域中。而不是掩盖补丁，人们可以潜在地impaint或重建补丁内的内容，这可能是这项工作的未来方向。致谢本工作得到DARPA GARD计划HR 001119 S 0026-GARD-FP-052的支持。8.77.977.977.255.072.17目标攻击成功率（%）14983引用[1] 军械库试验台。https://armory.readthedocs。io/.访问日期：2021年8月11日。5[2] 标 签 盒 。 https://labelbox.com/ 网 站 。 访 问 日期：2021年8月11日。8[3] Anurag Arnab、Ondrej Miksik和Philip HS Torr。论语义分割模型对对抗性攻击的鲁棒性。在IEEE计算机视觉和模式识别会议论文集，第888-897页7[4] Anish Athalye，Nicholas Carlini，and David Wagner. 模糊的梯度给人一种错误的安全感：规避对对抗性示例的防御。国际机器学习会议，第274-283页。PMLR，2018。5[5] YoBengio，NicholasLe'onard，andAaronCour ville. 通过随机神经元估计或传播梯度以用于条件计算。arXiv预印本arXiv：1308.3432，2013。5[6] 布劳内格，阿马蒂亚·查克拉博蒂，迈克尔·克鲁姆迪克，妮可·拉普，萨拉·利里，基思·曼维尔，伊丽莎白·梅尔霍夫，劳拉·斯特里克哈特和马修·沃尔默。Apricot：一个关于物体检测的物理对抗攻击的数据集。欧洲计算机视觉会议，第35Springer，2020年。二七八[7] 汤姆·布朗，丹恩·曼，奥尔·科·罗伊，马丁·阿巴迪和贾斯 汀 · 吉 尔 默 。 对 抗 补 丁 。 arXiv 预 印 本 arXiv ：1712.09665，2017。二、三[8] 陈品春，孔伯汉，陈俊成。用于目标检测的类感知鲁棒对抗训练。arXiv预印本arXiv：2103.16148，2021。2[9] Shang-Tse Chen ， Cory Cornelius ， Jason Martin ， andDuen Horng Polo Chau. Shapeshifter：对更快的R-CNN对象检测器进行强大的物理对抗攻击。在数据库中的机器学 习 和 知 识 发 现 联 合 欧 洲 会 议 上 ， 第 52-68 页 。Springer，2018. 一、二[10] Ping-yeh Chiang，Michael J Curry，Ahmed Abdelkader，Aounon Kumar，John Dickerson，and Tom Goldstein.作为回归的检测：通过中值平滑进行认证对象检测。arXiv预印本arXiv：2007.03730，2020。2[11] Moustapha Cisse、Yossi Adi、Natalia Neverova和JosephKeshet。Houdini：用对抗性示例欺骗深度结构化视觉和语音识别模型在第31届神经信息处理系统国际会议论文集，NIPS美国纽约，2017年。Curran Associates Inc. 7[12] Yinpeng Dong ， Fangzhou Liao ， Tanyu Pang ， HangSu，Jun Zhu，Xiaolin Hu，and Jianguo Li.以势头增强对抗性在IEEE计算机视觉和模式识别集，第91857[13] Gintare Karolina Dziugaite ， Zoubin Ghahramani ， andDaniel M Roy. JPG压缩对对抗性图像影响的研究。arXiv预印本arXiv：1608.00853，2016。五、六[14] Kevin Eykholt、Ivan Evtimov、Earlence Fernandes、BoLi 、 Amir Rahmati 、 Chaowei Xiao 、 Atul Prakash 、Tadayoshi Kohno和Dawn Song。强大的物理世界攻击深度学习视觉分类2018年IEEE/CVF计算机视觉和模式识别会议，第1625-1634页，2018年。2[15] 罗斯·格希克。快速R-CNN。在IEEE计算机视觉国际会议论文集，第1440- 1448页3[16] 托马斯·吉廷斯，史蒂夫·施耐德，约翰·科洛莫斯。Vax-a-net：训练时间防御对抗补丁攻击。2020年亚洲计算机视觉会议论文集一、二[17] 杰米·海耶斯可见对抗性扰动数字水印研究。在IEEE计算机视觉和模式识别研讨会会议集，第1597一、二[18] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习在IEEE计算机视觉和模式识别会议论文集，第770-778页5[19] Nan Ji ， YanFei Feng ， Haidong Xie ， XueshuangXiang，and Naijin Liu.对抗YOLO：通过检测对抗补丁来 防 御 人 类 检 测 补 丁 攻 击 。 arXiv 预 印 本 arXiv ：2103.08860，2021。2[20] 丹尼·卡蒙丹尼尔·佐兰和约阿夫·戈德堡Lavan：局部可见的对抗性噪声。国际机器学习 ，第2507PMLR，2018。二、三[21] Darius Lam ， Richard Kuzma ， Kevin McGee ， SamuelDooley ， Michael Laielli ， Matthew Klaric ， YaroslavBulatov，and Bren- dan McCord.xView：俯视图像中的对象arXiv预印本arXiv：1802.07856，2018。5[22] Dapeng Lang，Deyun Chen，Ran Shi，and Yongjun He.视觉检测的注意力引导数字对抗补丁。安全和通信网络，2021年，2021年。一、二、三[23] Mark Lee和Zico Kolter关于物体检测的物理对抗补丁。arXiv预印本arXiv：1906.11897，2019。一、二、三[24] Alexander Levine和So
