没有合适的资源?快使用搜索试试~ 我知道了~
7848用于目标检测器的自然主义物理对抗补丁胡玉芝端1,2孔伯汉1谭文杰1陈俊成1花开龙2郑文煌31中央研究院信息技术创新研究中心2国立台湾科技大学3国立阳明交通大学摘要大多数物理对抗性攻击的现有工作主要集中在攻击性能,但很少对生成的对抗性补丁的外观进行任何限制。这导致所生成的补丁的显眼和吸引注意力的图案,其可以容易地被人类识别。为了解决这个问题,我们提出了一种方法,通过利用预训练的生成对抗网络(GAN)的学习图像流形(例如,GAN)来为对象检测器制作物理对抗补丁。、BigGAN和StyleGAN)在真实世界图像上进行。通过从GAN中采样最优图像,我们的方法可以生成自然的对抗补丁,同时保持高的攻击性能。通过对数字和物理域以及几个独立的主观调查进行广泛的实验,结果表明,我们提出的方法产生的补丁比几个最先进的基线更逼真和自然,同时实现了有竞争力的攻击性能。一个1. 介绍随着深度学习技术的进步,现代计算机视觉模型可以在人脸检测[10]和人脸识别[10]等任务上实现与人类相当尽管这些技术通过自动化日常任务为人类带来了便利,但它们也严重损害了我们的隐私,因为恶意的人可以很容易地利用它们来自动收集私人和敏感的个人信息。为了解决这个问题,一些研究人员提出通过利用对抗性示例来保护深度学习系统的对抗性攻击可以通过两种设置进行分类:(1)数字攻击,深度1代码可在:https://github.com/aiiu-lab/Naturalistic-Adversarial-Patch图1.它显示了由所提出的方法生成的精心制作的对抗补丁以及最近的方法(a)[47](b)[45](c)[42](d)[19](e)我们的。我们的补丁看起来更自然,比其他补丁更不显眼,所以人类观察者很难识别它。学习模型将数字攻击图像作为输入(2) 物理攻击,其中模型获取由相机重新获取的攻击输入。在这项工作中,我们专注于第二类,因为它在现实世界中的实际用途,反对世界各地各种室内和室外摄像机的监视。对抗补丁是最有效的物理对抗的例子之一。有几个工作在这个方向上发展,包括[19,42,45,47]。据我们所知,现有的物理对抗性攻击的研究主要集中在攻击然而,这通常导致所生成的补丁的显眼和吸引注意力的图案,其可以容易地被人类观察者识别 为了解决这个问题,我们提出了一种方法,通过利用生成对抗网络(GAN)的学习图像流形(例如,GAN)来为对象检测器制作物理对抗补丁。、Big-GAN [5]和StyleGAN [23,24])。通过对来自GAN的图像进行采样,GAN最小化目标对象(例如,目标对象)的检测分数。,人),我们的7849方法可以生成自然的对抗补丁,同时保持可接受的攻击性能。此外,我们还应用裁剪策略来约束从初始起始点的遍历范围,以优化GAN的潜在空间,以获得更好的图像质量。随着大量的实验数字和物理设置以及几个独立的主观调查,结果表明,我们提出的方法产生显着更真实和自然的补丁比几个国家的最先进的基线,同时achieev- ING竞争力的攻击性能。图1中示出了一个定性示例,其中由所提出的方法生成的补丁比其他比较方法更自然并且更不复杂。从安全的角度来看,存在看起来自然的对抗性补丁是一个潜在的问题,这些补丁不仅可以欺骗检测器,还可以防止人类的怀疑。因此,我们的工作集中在生成那些看起来很自然的对抗补丁,验证它的存在并分析它的属性。这项工作的主要贡献总结如下:• 我 们 利 用 预 训 练 的 深 度 生 成 模 型 ( 即 ,StyleGAN、BigGAN)通过穿越它们的潜在空间来制作看起来更自然的对手ial补丁比其他国家的最先进的基线,同时保持可比的攻击能力。• 我们进行了彻底的性能和自然度分析所提出的方法在不同的数字和物理设置在室内和室外。2. 相关工作在本节中,我们简要回顾了最近关于对抗性示例和深度图像生成的相关工作,如下所示:2.1. 对抗样本对抗性示例是精心设计的模型输入,会导致模型出错。Szegedy等人[41]首先证明了这些对抗性示例可以通过向不正确类的方向添加小的视觉上不可感知的噪声来轻松制作他们的发现挑战了深度神经网络的鲁棒性和泛化能力,引发了一个全新的研究领域,该领域遵循一个两人游戏,其中攻击者[6,13,19,42,45,47]开发了新的方法来恶意操纵模型的输出,而防御者[18,28,37,43,49]则试图开发方法来保护它们。对抗性示例可以大致分为两种类型:数字对抗性示例和物理对抗性示例。我们的工作重点是为对象检测器创建物理的adversar- ial示例。数字对抗示例的制作假设是,它们可以访问数字图像,并且可以在将其输入模型之前直接操作任何像素。虽然这对于实际场景来说是一个不切实际的假设,但它阐明了所有深度神经网络都存在的一个关键缺陷,并提供了一个测试平台,以深入了解为什么这种攻击有效[16]以及如何防御它。早期的工作,如快速梯度符号法(FGSM)[16]和投影梯度下降(PGD)[32],专注于生成对抗性示例的方法,这些示例可以作为增强的形式有效地并入训练循环中,从而使网络更加健壮然而,这些是白盒方法,需要访问目标模型参数,这限制了生成的对抗性示例对我们无法访问的其他深度神经网络模型的适用性和可推广性[44]。为了规避这一要求,一些黑盒技术[11,12,44,46]依赖于用受控输入查询模型并观察其预测类别或预测概率。这提高了对不同模型的通用性,尽管攻击成功率较低。最近,也有作品提出了一种无框[7,29]方法,其中他们假设了一个无法查询目标模型的设置。相反,它们依赖于从在与目标模型相似的领域训练的替代模型生成对抗性示例。物理对抗性示例是精心制作的,目的是将它们打印出来并由摄像机重新捕获[27]。因此,攻击者只能控制将被馈送到受害者模型中的像素的子集此外,攻击者无法控制摄像机执行的视角、比例和其他处理,这使得攻击更具挑战性,因为对抗性示例需要对这些各种变换具有鲁棒性,以便攻击在物理环境中成功[4]。物理对抗示例通常关于物理对象生成,该物理对象可以是动态移动的(诸如可穿戴T恤[19,42,45,47]、眼镜框架[38 - 40 ]或汽车牌照[ 48 ]),或者相对于场景是静态的(诸如贴纸[ 6,14,30 ]、海报[ 26 ]和交通标志[ 8,36,37])。42])。虽然现有方法实现了合理的攻击成功率,但它们通常无法控制外观,并且产生具有不可思议图案的明亮饱和颜色,使它们看起来不自然(艳丽和引人注目)。这些属性对于攻击者来说是不期望的,因为他们可能在能够执行攻击之前被捕获因此,我们期望用于生成谨慎且看起来自然的对抗补丁的方法。一些近期的作品[13,31]试图通过限制变形来解决这个问题,以与周围环境融合。与这些工作相反,我们利用生成对抗网络学习的自然图像流形来生成看起来自然的对抗补丁。7850∈∈Σ。2.2. 深度图像生成由于GANs,用于图像生成的生成模型在图像质量和保真度方面迅速发展[15]。它引入了可学习损失函数的概念,其中图像生成器网络的目标由一个单独的鉴别器网络定义,该网络试图区分真实图像和虚假图像。通过这个双人游戏,生成器逐渐学会合成与真实图像无法区分的假图像虽然GAN产生视觉上吸引人的图像,但它经常遭受不稳定性,梯度消失和模式崩溃。后续工作通过修改损失函数[3,21,33],施加梯度惩罚[17,25,34]或添加归一化[35]来解决这些问题。然而,即使有了这些改进,GAN生成高分辨率图像仍然具有挑战性。这是因为在更高的分辨率下,更容易区分假分布和真分布,这减少了假分布和真分布之间的重叠[22],使得鉴别器难以向生成器提供有意义的梯度。渐进式GANs [22]通过首先在低分辨率图像上进行训练,然后逐渐提高其分辨率来解决这个问题。BigGANs [5]通过引入几种技巧将GANs的训练扩展到非常大的批量大小,进一步提高了生成高分辨率图像的图像质量。与这些专注于训练策略的方法不同,Style- GAN [23]专注于通过分离内容和风格的表示来改进生成器,不仅允许非常高质量的图像,而且还 可 以 控 制 合 成 图 像 。 在 他 们 的 第 二 个 版 本(StyleGAN2)中,通过引入权重调制和解调来进一步改进[24],这显著减少了GANs产生的伪影。3. 该方法我们的目标是生成物理对抗补丁,这些补丁看起来很自然,同时仍然保持它们的攻击力。图2.我们的自然对抗补丁生成框架的概述,该框架通过在真实世界图像上利用预训练GAN的学习图像流形并通过最终补丁的迭代优化过程从GAN中采样最佳图像来3.1. 生成对抗补丁先前的工作优化像素空间中的对抗补丁相比之下,我们优化了GAN生成器的潜在空间中的对抗补丁。由于GAN学习了一个近似于自然图像流形的潜在空间,因此我们得到的对抗补丁将更接近自然图像的流形,因此看起来更自然。我们使用生成器G,该生成器使用GAN框架在一组自然图像上进行预训练,并遍历其学习的自然图像流形。我们从标准正态分布随机抽取的潜在向量zRd开始,以生成初始对抗补丁P=G(z)RH×W×3。接下来,我们迭代地对特征向量z执行梯度更新,以寻找合适的z,优化我们的目标,定义如下:Ltotal=Ldet+ λtv Ltv。(一)第一项Ldet是来自目标对象检测器的对抗检测损失(在第3.2节中讨论)。第二项是生成的图像上的总变化损失,以促进平滑度。其定义为:表演。 为了实现这一点,我们建议使用一个预先训练好的GAN生成器限制生成的adversarial补丁的空间。图2显示了我们的框架的概述。给定一个预训练的生成器(第3.1节),我们搜索与导致受害对象检测器失败的生成图像对应的输入潜在向量。这涉及一个优化过程,其中我们计算目标对象检测器的对抗梯度方向(第3.2节),并迭代地对输入潜在向量执行梯度更新,直到找到合适的对抗补丁。此外,我们对输入特征向量的范数施加阈值,这允许我们控制真实主义和攻击性能之间的权衡(第3.3节)。Ltv=(Pi+1,j-Pi,j)2+(Pi,j+1-Pi,j)2,⑵i、j其中子索引i和j指的是块P的像素坐标。我们使用λtv=0。1在本文的所有实验中。3.2. 对抗梯度生成器依赖于对抗梯度来引导它合成可以欺骗目标对象检测器的图像为了获得这些对抗梯度,我们首先将对抗补丁渲染到场景上然后,我们把它馈送给一个对象7851∇objCLSobjCLSN×个obj×个CLS检测器并计算盒子检测的对抗性损失。场景渲染。 对于物理攻击,我们无法控制相对于捕获图像的adversar- ial补丁的视角、位置和规模。因此,为了使我们的对抗补丁对各种可能性都具有鲁棒性,我们将其渲染在人类的衣服上,并在不同的设置下模拟不同的我们还对我们生成的对抗补丁P执行几个变换,例如旋转和遮挡,以模拟我们的对抗补丁在实际场景中可能采取的不同外观接下来,我们使用对象检测器来获得给定图像I中的人的位置。我们在每个人的衣服区域周围创建一个面具,并将我们的对抗贴片P放置在这些面具上。我们将包含我们的对抗补丁的新渲染图像表示为I’。对抗检测损失。对象检测器,如YOLO,输出任意数量的框或检测。对于每个检测j,我们感兴趣的是攻击两个量:其对象性概率Dj和其类概率Dj。最小化目标概率-攻击性能更多细节可参考实验部分。与PGD相似,我们采用∞范数来约束z。我们使用以下等式更新zzt=κ(zt−1+ηLtotal),(4)κ(z)={zi|zi←min(max(zi,−τ),τ),ziz},(5)其中,t是时间步长,η是步长,L总是目标的梯度,并且κ是在等式2中定义的限幅函数5,其中zi是z的第i个元素。4. 实验结果在本节中,我们首先描述所提出的方法的实施细节,然后是针对数字(即,数字)环境中所提出的对抗性贴片的各种定性和定量实验。、INRIA人数据集[9]和MPII人姿势数据集[2])和物理(即,我们在不同场景中录制的视频)环境。此外,我们还提供了不同参数的各种消融研究,以获得更自然的物理外观。ityDj使得第j个对象不被检测到。迷你-攻击性能相当的对抗补丁最小化类概率Dj导致第j个对象被分类到错误的类中(例如,人被分类为狗)。在本文中,我们专注于针对人类。因此,我们最小化了对象Dj和类别概率Dj属于人员类别。对于更快的迭代,我们不计算所有检测到的框上的损失。相反,我们只使用具有最高对象和类概率的检测到的框[42]。我们的对抗性检测损失定义如下:对生成的斑块的自然度进行主观评价。4.1. 实现细节整个优化使用Adam优化器以0.01的学习率,β1=0执行。5和β2=0。999 如果损失的变化在至少50个epoch中始终低于1e-4,则我们降低学习率。 批量大小为8,总历元为1000。除非另有说明,否则我们设置τ= 50。我们使用BigGAN2与一个out-1Ldet=Σmax ΣDj (I′)Dj (I′)Σ,(3)在ImageNet上预先训练128×128的分辨率NJi=1目标iCLSI1k数据集,以及输出分辨率为512×512在动漫角色数据集上进行预训练,作为我们的其中Ii’是具有大小N的批次中的第i个图像。迭代优化Eq.3将最高得分检测推低,因此,鼓励所有目标对象不可见或被检测器错误分类3.3. 现实主义与攻击性能的权衡在没有任何约束的情况下,该模型可以针对不包含在由生成器学习的高密度区域内的潜在向量z进行优化,因此我们不能再期望生成的图像看起来逼真。由于generator是通过从标准正态分布中采样随机向量来训练的,因此我们希望高密度区域以原点为中心因此,如果z更接近原点,则生成逼真图像的概率更高为了保持真实性,我们确保潜在向量z将不具有大于阈值τ的范数。调整范数阈值τ允许我们权衡现实性以获得发电机3.此外,由于我们使用的BigGAN生成器是一个类条件生成器,它可以保证生成的补丁是某个类。我们简单地将类向量设置为dog,并将在下一节测试更多的类。对于潜在向量z的维度d,我们使用120用于BigGAN,512用于StyleGAN2。对于对象检测器,我们使用YOLOv24,YOLOv35,YOLOv3tiny5,YOLOv46,YOLOv4tiny6和FasterRCNN,输入图像的分辨率为416 416。在没有明确说明的情况下,我们使用YOLOv4tiny为实验生成对抗为了评估物理粘性,我们将所生成的尺寸为40cm × 30cm的贴片打印到T恤上。2预训练模型:https://github.com/anvoynov/GANLatentDiscovery3预训练模型:https://github.com/justinpinkney/awesome-pretrained-stylegan 24https://gitlab.com/EAVISE/adversarial-yolo5https://github.com/Tianxiaomo/pytorch-YOLOv4https://github.com/eriklindernoren/PyTorch-YOLOv37852×个受害者YOLOv2培训YOLOv3YOLO3tinyYOLOv4YOLOv4tinyFasterRCNN(P1)我们的YOLOv212.0643.5032.1250.5624.8952.54(P2)我们的YOLOv356.6734.9341.4656.2937.4661.78(P3)我们的-YOLOv 3 tiny31.6128.8110.0265.1318.6155.08(P4)我们的-YOLOv 444.2756.5956.6122.6350.0459.42(P5)我们的-YOLOv 4 tiny34.6837.7921.6946.808.6759.97(P6)我们的-FasterRCNN28.2639.0537.0651.4629.0642.47(P7)我们的整体†49.4235.4625.2951.7118.5161.28灰色72.6674.1767.5266.5264.7461.54(P8)随机75.0373.7578.9176.7175.7473.00白色69.6374.9366.4572.4859.6665.40(第9页)敌对补丁*[42]2.1322.518.7412.893.2539.41(P10)刚果爱国者联盟**[19]48.62 54.40 63.82 64.21 57.93†在YOLOv2+YOLOv3+YOLOv4tiny上训练* 在YOLO上训练 ** 在FasterRCNN表1.使用BigGAN对INRIA数据集进行的不同贴片评估(mAP(%))。P1至P10表示相应的补丁,显示在此表的底部所提出的补丁不仅攻击检测器有效,但也是自然的。(a) 训练数据bbox-rate图3.每个人边界框的面积相对于INRIA数据集的图像大小的比率,其中y轴表示比率,X轴表示按比率的升序排序的每个人边界框的索引我们可以发现INRIA人数据集的大小变化很大。4.2. 数据集对于所提出的方法的训练和评估它由614张训练图像和288张测试图像组成。所有图像首先被调整大小为416 416的分辨率。由于输出(即检测到的边界框的大小和紧密度由于各种对象检测器的检测结果彼此略有不同,因此我们通过将它们替换为在干净图像上具有最大交集(IoU)得分的每个检测器的对应输出来重新归一化地面实况边界框,以进行公平比较。如图3所示,每个人的边界框的面积相对于整个图像的比率我们还使用MPII人体姿势数据集进行了跨数据集评估,以测试所提出的方法的泛化。我们选择了“跑步”、“散步”和“跳舞”类的图片这导致总共1,646张图像,我们将其分为1,317张训练图像和329张测试图像。同样,所有图像都将缩放到416 ×416。4.3. 评价4.3.1数据集内评价:INRIA我们评估了我们的自然对抗补丁与三个标准补丁和两个最先进的基线(对抗补丁[42]和UPC [19])的比较。我们使用平均精度(mAP)作为我们的主要评价指标。遵循[ 42 ]的实验设置,我们使用每个检测器在干净数据集上的框检测作为地面实况框(即,如果不存在对抗补丁,则检测器的mAP将是100%)。并报告使用对抗性贴片评估时的平均精度(AP)。我们在对抗贴片面向前方的设置上进行评估,即,在训练和测试上没有额外的转换。表17显示了INRIA数据集的评价结果。我们利用六个不同的检测器来训练补丁。此外,我们还集成其中的一些,以联合训练补丁。P1至P10表示探测器和相应的贴片。7与初始版本不同,我们增加了两个新的检测器(Faster- RCNN和合奏YOLO)。我们还进一步优化了每个补丁以获得更好的性能。7853当然,当训练期间的受害者检测器与测试期间的受害者检测器相匹配时,我们实现了非常好的攻击性能。但令人惊讶的是,我们的方法也可以很好地执行其他检测器,尽管没有任何直接监督他们。请注意,尽管对抗补丁[42]实现了最佳的攻击性能,但其生成的补丁看起来并不自然,并且非常引人注目。另一方面,我们提出的方法可以生成非常自然的对抗补丁,同时仍然实现合理的攻击性能。4.3.2跨数据集评价:MPII数据集此外,我们还使用MPII数据集来评估攻击性能。YOLOv4tiny结果如表2所示。由于每个数据集的性质不同,我们使用不同的初始点来优化每个补丁。可以看出,所提出的方法也可以工作在不同的数据集。然而,我们观察到,如果我们使用INRIA和MPII来训练补丁,它并没有实现更好的性能。我们推测这是由于这两个数据集之间的分布差异。试验列车INRIAMPII混合INRIA8.670.512.69MPII22.057.9214.12混合18.456.3211.68表 2. 使 用 YOLOv4tiny 在 不 同 数 据 集 中 的 攻 击 性 能(mAP%)。4.3.3不同对抗性斑块自然度的主观评价所提出的方法的焦点是生成的对抗补丁对人类的自然性和显著性。因此,我们进行了一组正式的主观评价,以估计我们提出的补丁与基线和真实图像相比的自然度。我们进行了两项主观调查,每项调查都有自己独立的24名参与者。在第一次主观调查中,我们以随机顺序向参与者展示斑块。为了比较,我们生成了3个对抗补丁,并收集了[42]和[45]生成的12个现成的对抗补丁。我们要求参与者对每个看起来自然的补丁进行投票。我们计算自然度分数作为每个补丁的投票百分比。如表3(第1部分)所示,我们提出的补丁具有比其他基线更高的自然度分数在第二次主观调查中,我们展示了6个生成的斑块以及6个真实图像,并询问他们 为自然投票如表3(第2部分)所示,我们生成的对抗补丁相对于真实图像实现了有希望的结果。之间仍有质量差距我们的和真实的,我们推测原因是由于目前GANs的发电能力有限。我们希望这可以在未来通过利用更先进的GAN或其他深度生成模型来实现更逼真和更高保真的生成补丁。4.3.4物理攻击评估我们通过拍摄一个人穿着对抗性衬衫与另一个人穿着普通衬衫并排的视频作为比较的基线,在室内和室外环境下进行身体攻击评估。我们使用了表1(P5)中所示的对抗补丁.我们选择YOLOv4tiny训练的补丁,并利用YOLOv4tiny作为评估检测器。我们量化了基于召回的攻击性能。两名参与者站在彼此旁边,距离摄像机大约两米。我们要求参与者在视频的持续时间内来回移动一步,以及左右移动一步。如表4所示,我们的对抗衬衫可以在室内环境(实验室、客厅、走廊)中将检测召回率降低到大约23.80%,并且在更具挑战性的室外环境(阳台、草地)中降低到4.4. 讨论4.4.1自然性与攻击性能之间的权衡不可避免地存在自然性和粘着性能之间的权衡。对抗性攻击依赖于发现对象检测模型无意识地具有强烈响应的扰动或失真[20,50]。另一方面,对象检测模型希望忽略这些失真,因为它们不应该影响对象的类别通过在大规模数据集上进行训练,这些模型已经可以学会忽略大多数自然发生的失真。这意味着,对于对抗性补丁,增加自然度将导致攻击性能的降低,因为生成的补丁变得更接近检测器已经学会忽略的失真空间我们要注意的是,我们的模型给予用户基于他们的偏好和要求通过调整范数阈值τ来控制这种权衡的自由。为了进一步说明这种权衡,我们生成了五个不同的对抗补丁,它们的潜在代码具有不同的无穷范数此外,我们进行了主观调查,以排名每个补丁的自然我们请十个人对这五个补丁进行排名,并根据平均排名对它们进行排序。图4示出了每个补丁的平均秩、其对应的mAP 以及潜在码的无穷可以看 出,mAP 减小(即,更好的攻击性能),因为补丁变得更少7854图像第一部分第二图像自然度评分(%)8.3 66.7 50.0 75.0 100.0 62.5[42]我们的[45]我们的[1]表3. 对我们的对抗补丁与其他基线的自然度评估的主观测试。 自然度评分为 每个测试图像在整个参与者组中的投票比率。结果显示,我们的投票比其他人多,证明了它的有效性。补充资料中显示了调查中使用的全套斑块。设置实验室客厅走廊阳台草坪检测召回不含对抗性衬衫100% 100% 100% 100% 100% 100%带对抗性衬衫23.80% 24.49% 38.46% 44.33% 43.14%表4.在不同的物理设置下,使用和不使用对抗性衬衫的YOLOv4tiny的检测百分比图4.使用YOLOv4tiny的攻击性能的自然性测试平均得分。看起来很自然。此外,可以看出,潜码的无穷范数与自然度和攻击性能相关。4.4.2不同转换的影响我们探索了场景渲染模块的各种变换方法,以找到可以增强对抗补丁攻击性能的合适变换。表5显示了在不同设置下,使用或不使用每个转换在图块生成期间使用或不使用对应的变换与在评估期间使用或不使用对应的变换的对比。令人惊讶的是,使用许多转换导致不令人满意的性能。我们假设GAN潜在空间可能过于有限,无法找到对所有变换都具有鲁棒性 在考虑的变换,我们观察到,在平面内旋转训练可以提高攻击性能从13。42%比1016%,当使用平面内旋转进行评价时。我们还观察到,使用模糊和遮挡通常会导致训练期间的不稳定性,其中生成的补丁看起来不真实,因此,我们没有在其他实验中使用它们。更多的结果和转换的说明可以在补充材料中找到。4.4.3斑块大小为了评估的补丁大小相对于行人的大小的性能影响如表6的子图所示,补丁的大小越大,其攻击性能越强,这符合我们的预期。除定性样品外,表6中所示的定量结果也证明了一致的发现。此外,为了更精确地评估,我们进一步将INRIA数据集的测试集基于足的大小的比率分成两个集7855译(T)训练的测试不含任何TW/TW/TW/T不含任何T W/T贴片不不没有转换。8.678.678.67平面内旋转15.1110.1613.42随机平移10.7731.6330.15mAP 36.1 34.34 40.24折痕8.6515.0312.77表8.使用StyleGAN2生成的补丁和面外旋转10.427.7726.25YOLOv4tiny(与表1相当)。随机遮挡15.8537.2534.92模糊所有13.1815.0712.92使用不同GAN的14.99 60.44 63.37表5.使用不同的变换()训练补丁它说明了不同变换对INRIA数据集和YOLOv4tiny的性能影响(mAP%)。贴片INRIAINRIAINRIA规模0.0-1.00.0-0.20.2-1.00.31.641.4113.500.255.925.3921.980.217.2716.9127.590.1536.8236.5044.830.174.6075.4855.170.0595.0494.82100.0表6.针对INRIA数据集,具有不同大小设置的YOLOv223.438.4244.47YOLOv3tiny22.1812.5730.79YOLOv4tiny24.3619.125.16表7.由BigGAN生成的不同类别的评估(mAP%)(与表1相当)。相对于整个图像的三角形第一组由比率为0至0.2的样品组成,第二组由比率为0.2至1的样品组成。从表6可以看出,尺寸较大的目标更难攻击。4.4.4不同类使用所提出的方法,我们可以很容易地生成各种物理对抗补丁与不同的类。例如,使用条件BigGAN,我们可以使用指定的类自由生成对抗补丁。我们生成了白头翁,企鹅和豌豆公鸡的对抗补丁。表7中的结果证明了对INRIA数据集的令人满意的在之前的实验中,我们主要利用BigGAN来生成对抗补丁并分析所提出的方法。为了进一步评估所提出的方法并确认它可以生成具有不同GAN的对抗补丁,我们用StyleGAN2代替BigGAN作为生成器。由于我们考虑将补丁打印在衣服上,因此我们使用动漫脸预训练的权重来生成动漫脸补丁。表8显示了结果。我们使用YOLOv4tiny训练三个补丁,并使用YOLOv4tiny进行评估。可以看出,由不同GAN生成的对抗补丁在攻击检测器方面也是有效的。此外,自然性和攻击性能之间的权衡也可以在该表中看到。5. 结论在这项工作中,我们提出了一种方法,通过利用预先训练的GAN模型的学习图像流形来为对象检测器制作自然的物理对抗补丁凭借最先进的GAN模型惊人的图像生成能力,我们的方法可以成功地生成看起来更自然的对抗补丁,同时保持比其他类似方法更有竞争力的攻击性能,这些方法来自数字和物理领域的大量定性和虽然从主观评估的结果来看,我们的图像和真实图像之间仍然存在质量差距,但我们希望未来可以通过利用更先进的GAN或其他深度生成模型来弥合这一差距,以获得更逼真和更高保真的生成补丁。同时,一个更好的非参考感知质量评估方法,可以进一步帮助提高质量的生成补丁超出我们提出的裁剪策略,并将探讨作为未来的工作。致谢本工作部分由台湾科技部(R.O. C)资助,资助项目为MOST-110 - 2221-E-001 - 009-MY2,MOST-110 - 2221-E-001 - 002 , MOST-109 - 2221-E-001 -020,MOST-108 - 2218-E-001 - 004-MY2,MOST-109- 2223-E-009 - 002-MY3 , MOST-109 - 2223-E-009 -002-MY3 , MOST-109 - 2221-E-001 - 002-MY3 ,MOST-109 - 2221-E-001 - 002-MY2 , MOST-109 -2221-E-001 - 002-MY2,MOST-109 - 2221 MOST-110- 2218-E-A49 - 018,MOST-110-2634-F-007-015和MOST-109-2221-E-011-125-MY 3。YOLOv2 YOLOv3tiny YOLO v4 tiny训练的小绿头鹎对企鹅孔雀受害者7856引用[1] TotallyHer Media LLC是一家Evolve Media LLC公司。下 班 时 间 https://dogtime.com/dog-breeds/akita-chow,2021. 七个[2] Mykhaylo Andriluka,Leonid Pishchulin,Peter Gehler,and Bernt Schiele. 2D人体姿态估计:新的基准和最先进的分析。在IEEE计算机视觉和模式识别集,2014年6月。四个[3] 马 丁 ·阿 乔 对 ky , 苏 米 特 ·钦 塔 拉 和 Le'onBottou 。Wasserstein生成对抗网络在机器学习国际会议上,第214PMLR,2017年。三个[4] Anish Athalye、Logan Engstrom、Andrew Ilyas和KevinKwok。合成强大的对抗性示例。国际机器学习会议,第284PMLR,2018。二个[5] 安德鲁·布洛克杰夫·多纳休凯伦·西蒙尼安用于高保真自然图像合成的大规模GAN训练。在学习代表国际会议上,2019年。第1、3条[6] TomBBro wn , DandelionMa ne´ , Aurk oRoy , Mart´ınAbadi , and Justin Gilmer. 对 抗 补 丁 。 arXiv 预 印 本arXiv:1712.09665,2017。二个[7] Pin-Yu Chen,Huan Zhang,Yash Sharma,Jinfeng Yi,and Cho-Jui Hsieh. Zoo:基于零阶优化的黑盒攻击,无需训练替代模型即可对深度神经网络进行攻击。在第10届ACM人工智能和安全研讨会论文集,第15-26页,2017年。二个[8] Shang-Tse Chen , Cory Cornelius , Jason Martin , andDuen Horng Polo Chau.变形者:更快的r-cnn对象检测器的强大物理对抗攻击。在数据库中的机器学习和知识发现联合欧洲会议上,第52-68页。Springer,2018. 二个[9] Navneet Dalal和Bill Triggs。用于人体检测的定向梯度的 直 方 图 在 Proceedings of the IEEE conference oncomputer vision and pattern recognition,pages 7263四个[10] Jiankang Deng,Jia Guo,Yuxiang Zhou ,Jinke Yu,Irene Kotsia,and Stefanos Zafeiriou. Retinaface:在野外的 单 阶 段 密 集 面 部 定 位 。 arXiv 预 印 本 arXiv :1905.00641,2019。一个[11] Yinpeng Dong , Fangzhou Liao , Tanyu Pang , HangSu,Jun Zhu,Xiaolin Hu,and Jianguo Li.给敌对的进攻增加动力。在IEEE计算机视觉和模式识别会议论文集,第9185-9193页,2018年。二个[12] 董银鹏,庞天宇,苏航,朱军。通过平移不变攻击规避对可转移对抗样本的防御。在IEEE/CVF计算机视觉和模式识别会议论文集,第4312-4321页,2019年。二个[13] 段然杰,马兴军,王益森,詹姆斯·贝利,阿开琴,云扬。敌对伪装:用自然风格隐藏物理世界的攻击。在IEEE/CVF计算机视觉和模式识别会议论文集,第1000-1008页二个[14] Kevin Eykholt、Ivan Evtimov、Earlence Fernandes、BoLi 、 Amir Rahmati 、 Chaowei Xiao 、 Atul Prakash 、Tadayoshi Kohno和Dawn Song。对深度学习视觉分类的强大物理世界攻击。在IEEE计算机视觉和模式识别会议论文集,第1625-1634页,2018年。二个[15] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。神经信息处理系统,2014年第27卷三个[16] Ian J Goodfellow,Jonathon Shlens,Christian Szegedy.解释 和 利 用 对 抗 性 的 例 子 。 arXiv 预 印 本 arXiv :1412.6572,2014。二个[17] Ishaan Gulrajani 、 Faruk Ahmed 、 Martin Arjovsky 、Vincent Dumoulin和Aaron C Courville。改进的瓦瑟斯坦甘斯训练。神经信息处理系统进展,第30卷,2017年。三个[18] 杰米·海耶斯可见对抗性扰动数字水印。在IEEE计算机视觉和模式识别会议(CVPR)工作室会议中,2018年6月。二个[19] Lifeng Huang , Chengying Gao , Yuyin Zhou , CihangXie,Alan L Yuille,Chinging Zou,and Ning Liu.对目标探测器的通用物理伪装攻击在IEEE/CVF计算机视觉和模式识别会议论文集,第720-729页,2020年一、二、五[20] Andrew Ilyas 、 Shibani Santurkar 、 Logan Engstrom 、Brandon Tran 和 Aleksander Madry 。 对 抗 性 示 例 不 是bug,而是特性。神经信息处理系统,32,2019。六个[21] 阿莱克西亚·乔利库-马蒂诺。相对论鉴别器:标准GAN中缺少的关键元素。在2019年国际学习代表会议上。三个[22] Tero Karras , Timo Aila , Samuli Laine , and JaakkoLehtinen.GANs的逐步增长,以提高质量,稳定性和变化。在2018年国际学习代表会议上。三个[23] Tero Karras Samuli Laine和Timo Aila一个基于样式的生成器架构,用于生成对抗网络。在IEEE/CVF计算机视觉和模式识别会议论文集,第4401-4410页,2019年。第1、3条[24] Tero Karras , Samuli Laine , Miika Aittala , JanneHellsten,Jaakko Lehtinen,and Timo Aila.分析和改进了扫描仪的图像质量。在IEEE/CVF计算机视觉和模式识别会议论文集,第8110-8119页,2020年。第1、3条[25] Naveen Kodali , James Hays , Jacob Abernethy , andZsolt Kira.关于GANs的收敛性和稳定性,2018。三个[26] 孔泽伦,郭俊峰,李昂,刘聪。Physgan:为自动驾驶生成物理世界弹性对抗示例在IEEE/CVF计算机视觉和模式识别会议论文集,第14254-14263页二个[27] Alexey Kurakin,Ian Goodfellow,and Samy Bengio.物理 世 界 中 的 对 抗 性 例 子 。 arXiv 预 印 本 arXiv :1607.02533,2016。
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- VMP技术解析:Handle块优化与壳模板初始化
- C++ Primer 第四版更新:现代编程风格与标准库
- 计算机系统基础实验:缓冲区溢出攻击(Lab3)
- 中国结算网上业务平台:证券登记操作详解与常见问题
- FPGA驱动的五子棋博弈系统:加速与创新娱乐体验
- 多旋翼飞行器定点位置控制器设计实验
- 基于流量预测与潮汐效应的动态载频优化策略
- SQL练习:查询分析与高级操作
- 海底数据中心散热优化:从MATLAB到动态模拟
- 移动应用作业:MyDiaryBook - Google Material Design 日记APP
- Linux提权技术详解:从内核漏洞到Sudo配置错误
- 93分钟快速入门 LaTeX:从入门到实践
- 5G测试新挑战与罗德与施瓦茨解决方案
- EAS系统性能优化与故障诊断指南
- Java并发编程:JUC核心概念解析与应用
- 数据结构实验报告:基于不同存储结构的线性表和树实现
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功