物理对抗伪装攻击：基于微分变换网络的可伪装变换攻击模式

15305DTA：基于微分变换网络的Naufal Suryanto1，Yong，Yongsu Kim1，2，Yong，Hyoeun Kang1，Harashta Tatimma Larasati1，4，Youngyeo Yun1Thi-Thu-Huong Le1，5，Hunmin Yang3，Se-Yoon Oh3，Howon Kim1，2，1韩国釜山国立大学;2韩国SmartM 2 M;3韩国国防开发署;4印度尼西亚万隆技术学院;5越南洪仁科技教育大学https://islab-ai.github.io/dta-cvpr2022/摘要为了在物理世界中进行对抗性攻击，许多研究提出了对抗性伪装，一种通过在3D对象表面上应用伪装图案来隐藏目标对象为了获得最佳的物理对抗伪装，以前的研究利用了所谓的神经渲染器，因为它支持可微性。然而，现有的神经渲染器不能完全表示各种真实世界的变换，这是由于与传统的照片真实感渲染器相比缺乏对场景参数的控制。在本文中，我们提出了一种可伪装的变换攻击（DTA），这是一种框架，用于在目标对象上生成一个强大的物理对抗模式，以利用各种变换来伪装目标对象它利用了我们的新的可区分变换网络（DTN），该网络在纹理改变时学习渲染对象的预期变换，同时保留目标对象的原始属性。使用我们的攻击框架，广告可以获得传统照片真实感渲染器的优点，包括各种物理世界变换和白盒访问的好处，通过提供区分。我们的实验表明，我们的伪装3D车辆可以成功地逃避最先进的目标检测模型在照片般逼真的环境（即，虚幻引擎上的卡拉）。此外，我们的演示规模特斯拉模型3证明了我们的方法的适用性和可移植性，以现实世界。1. 介绍深度神经网络（DNN）尽管具有解决计算机视觉任务的能力[10，12，19]，但已被证明容易受到对抗性示例的影响[28]。*平等捐款* 通讯作者(a)（b）第（1）款（c）第（1）款图1. （a）先前工作中使用的神经渲染器（双张力抑制（DAS））[32]。虽然它是可微的，但它在物理性质表示方面具有限制（例如，挡风玻璃的透明度）并且缺乏背景混合（例如，阴影），因为对象和背景场景是分开渲染的。（b）我们的差分变换网络。DTN通过在对象的纹理发生变化时学习正确的变换来考虑可微性和照片真实感方面。如图所示，挡风玻璃的透明度以及汽车底部和顶部的阴影都已正确渲染。（c）在真实感环境下使用不同纹理（正常、DAS、随机、DTA）的检测结果的比较。与其他示例不同，由我们的DTA框架生成的对抗伪装成功地逃避了检测。也就是说，精心制作的输入可能会导致DNN模型错误地向人眼呈现看似明显的图像，从而给出错误的预测结果。在过去几年里，一个对手利用这一弱点的蓄意行为，即对抗性攻击，引起了许多人的注意它不仅在数字领域，而且在物理领域的潜在适用性已经引起了极大的兴趣。15306与数字攻击相比，物理对抗性攻击更难以发起，因为它们必须考虑各种物理约束和条件（例如，照明、摄像机姿势和遮挡）。然而，在现实世界中的完全物理攻击实验，如[2，4，15，30]是非常耗时和昂贵的。因此，已经通过使用传统的照片真实感渲染软件（诸如虚幻引擎）在[8] 和AirSim [26]，便于参数控制。制作物理对抗伪装的方法的实例，即，对抗性攻击的变种，重点是隐藏一个对象，通过完全覆盖目标对象，在模拟器中可以找到[34，35]。然而，由于这种模拟器是不可区分的，因此攻击采用黑盒方法，例如利用克隆网络[35]或遗传算法[34]，产生不可避免的比白盒对应物更低的攻击为了获得可微性的优势，最近的方法[7，16，32]提出了使用神经渲染器来生成对抗性伪装。然而，前神经渲染器（例如，[17]）只能支持前景对象的生成;因此，背景图像仍然由传统的照片真实感渲染器处理。因此，它们只是将生成的目标对象附加到背景图像上，产生不准确的前景-背景混合效果，例如阴影投射和光反射，如图1a所示。虽然已经提出了解决方案，例如用于处理遮挡的掩蔽[16]，但使用现有神经渲染器的整体对抗伪装结果在照片真实感属性方面仍然较差。受到先前作品中所面临的挑战的启发，我们开发了一个攻击框架，该框架利用了神经渲染器中的可区分性，而不会影响目标对象的照片真实感特性。特别地，该框架利用了我们新颖的神经渲染技术，该技术学习各种场景属性的表示（例如，对象材质、照明效果和阴影）。其结果是，真正强大的物理对抗伪装，从我们的实验使用照片逼真的模拟和现实世界的例子，可以得到验证。我们的贡献可归纳如下：• 我们提出了微分变换攻击（DTA），一个框架，用于生成强大的物理对抗伪装的3D对象。它结合了照片级真实感渲染引擎的优点和我们新颖的渲染技术的独特性。• 我们提出了微分变换网络（DTN），这是一种全新的神经渲染器，当纹理被在保留其原始参数的同时进行更改，以获得与原始参数相似的真实输出。• 我们的DTN可以作为扩展嵌入，以提供任何渲染软件的差异性（例如，虚幻引擎[8]），使得能够使用任何基于梯度的方法。• 我们证明了从DTA生成的对抗伪装是鲁棒的，适用于在模拟和现实世界中的各种变换下逃避预先训练的• 我们的攻击方法，DTA，优于以前的作品中，我们的目标对象检测模型和可转移到其他模型的评估。2. 相关作品物理对抗性攻击为了在物理世界中发起对抗性攻击，最值得注意的优点之一是对变换的期望（EOT）[2]，它在各种变换下生成鲁棒的对抗性示例，例如观看距离，角度和照明条件。大多数最近的物理对抗攻击方法采用基于EOT的算法，使攻击性能在现实世界中的鲁棒性。对抗性伪装物理扰动[4]和基于补丁的方法[20，22，30]主要针对现实世界的对抗性伪装攻击提出。随后，Huang等人[15]提出了通用物理伪装（UPC）来生成对抗性伪装，该伪装也覆盖非平面和非刚性物体。然而，这些方法只能应用于物体的一部分，并且由于它们的性质，只能在某些视角下攻击。对抗性伪装的一种较新方法涉及操纵目标3D对象的颜色纹理图案以降低对象检测器的检测性能。该技术具有通过覆盖物体的所有部分而从任何视角攻击的能力的优点。最初，黑盒攻击方法被普遍提出，因为渲染过程，包括纹理映射，是不可微的。 例如，Zhang等人[35]提出了CAMOU，这是一种对抗性伪装方法，通过训练克隆网络来隐藏车辆，该克隆网络模仿对车辆进行伪装并检测伪装车辆。与此同时，Wu等人。[34]提出了基于遗传算法的对抗性伪装，应用于车辆表面，使其无法被CARLA模拟器中的探测器识别[6]。为了获得白盒访问，进而提高攻击性能，利用神经渲染器中固有的可区分性用于对抗伪装生成的趋势越来越明显，例如[7，16，32]。例如，[32]提出了15307图2.用于生成鲁棒对抗性纹理的DTA框架双重注意力抑制（DAS）攻击，通过抑制模型和人类注意力，使用神经3D网格渲染器[17]生成自然对抗伪装。然而，现有的神经渲染器对HAN造成了限制注意到2D图像（其包括从渲染过程生成的目标对象），并且作为输出的y表示对应目标对象的检测结果的标签。我们所提出的方法的目标是产生广告-处理场景属性之间的复杂3D交互。在-对抗样本xadv，满足hθ（xadv）y，由不可避免的是，所得到的伪装可能不能适当地解决物理世界的照片逼真效果。为了解决这些问题，我们设计了一个攻击框架，它结合了两个世界的优点;也就是说，它具有神经渲染器的差异性，同时保留了对象的照片真实感属性我们的攻击，即微分变换攻击（DTA），利用我们的新的神经渲染模型称为微分变换网络（DTN），它从传统的照片逼真的渲染器学习各种场景属性的表示，在物理世界中提供更适用的解决方案。3. 方法在本节中，我们首先介绍DTN，我们的微分渲染器，学习预期的转换项目，ING一个特定的模式，从照片级逼真的渲染引擎。此外，我们描述了DTA，攻击框架利用DTN生成强大的对抗伪装。3.1. 问题定义我们提出的方法的最终目标是生成一个强大的对抗模式，应用于模拟物理世界中的3D对象，以显着降低该对象在各种变换中的检测分数，例如对象材料，相机姿势，照明条件和背景交互。设hθ为目标检测任务的假设函数，满足hθ（x）=y。x作为输入，修 改 所 述 目 标 对 象 的 所 述 纹 理 图 案 。 假 设 L （ hθ（x），y）是一个应用于hθ的损失函数，它能将x中的物体检测为y。我们可以通过求解方程来生成xadv1.一、arg maxL（hθ（xadv），y）（1）xadv与我们可以直接修改输入图像像素的2D对抗性示例不同，在3D对象中应用纹理需要具有影响最终图像的许多参数的渲染过程，例如阴影和光反射。假设R是照片中使用的渲染函数真实感渲染引擎g，其满足Eq. 二、R（T，η）=x（2）其中，T是对各种变换进行编码的变换矩阵，诸如相机姿态、光照条件、网格和材料属性，以及目标对象及其位置，而η是将被应用于目标对象的纹理。如果R是可微的，我们可以使用EOT [2]方法找到在各种T中工作的鲁棒对抗纹理ηadv然而，由于R并不总是可微的，我们提出了一个神经网络fω，它通过求解方程来学习纹理变换。3、fω（xref，ηexp）=xren（3）其中Xref是从包含变换信息的渲染函数获得的参考图15308像，15309××图3. DTN体系结构，为学习网络的预期转型。ηexp是预期的纹理变量，并且xren是具有预期纹理的渲染图像。当ηexp与x ref中使用的纹理相同时，则xref= xren。 由于f是可微的，我们可以通过求解等式（1）来生成对抗纹理ηadv，其满足fω（xref，ηadv）=xadv。4.第一章arg maxL（hθ（fω（xref，ηadv）），y）（4）ηadv3.2. DTA框架建议的DTA框架使用DTN，一个神经网络，旨在解决方程中描述的问题。3 .第三章。DTN在给定参考图像xref和预期纹理ηexp的情况下学习xren中的渲染对象的变换。 它依赖于从不可微分渲染器合成的照片级真实感图像，以在应用预期纹理之后产生照片级真实感参考图像的可微分版本。此外，利用DTN的可微性，生成应用于目标对象的鲁棒对抗模式，因此，DTN提供了用于降低比粘性损失的白盒能力如图2所示，DTA框架包括四个组件：照片级真实感渲染引擎、重复纹理投影函数DTN和目标对象检测模型。照片级真实感渲染引擎在我们提出的DTA框架中，照片级真实感渲染引擎是任何可以生成类似于真实物理世界的照片级真实感图像的一个例子是游戏引擎。它可以用于构建一个完全模拟的物理世界和合成照片般逼真的图像-甚至有些还可以合成语义分割图像，这要归功于它的详细功能和交互性。相比之下，在-在现有的可微分呈现器中没有适当地解决交互性。然后，DTN被嵌入作为一个扩展，使可微的纹理空间，允许对抗性纹理生成的目标对象。DTN这种技术使用从渲染引擎合成的照片级真实感RGB图像作为输入参考图像xref。参考图像仅包含其中将应用预期纹理ηexp这种掩蔽的图像使DTN能够只专注于学习和应用目标对象的变换，而忽略背景。在架构方面，DTN主要由变换特征提取器和期望纹理Transformer组成，如图3所示。变换特征提取器是一个卷积自动编码器类神经网络，它学习提取参考图像xref的变换特征，并将其编码为堆叠变换特征TF。然后，它们被切片并用于将预期的纹理ηexp变换为渲染图像xren。转换特征提取器的最终输出是TF。它有一个N N12的形状，其中N是输入和输出图像的分辨率和12是最后一个通道表示senting的四个堆叠的RGB变换功能，用于将预期的纹理的预期纹理Transformer渲染的图像。无论预期的纹理是什么，TF都将具有相同的值。这个想法是为了防止变换特征提取器过度拟合，因为预期的纹理被设计为永远不会直接显示为网络的输入。ηexp到xren的转换使用基本数学运算执行，例如TF的每个切片的减法、加法和乘法。这个预期的纹理Transformer的设计假设覆盖所有15310××图4.重复纹理投影函数中的变换序列各种各样的基本转变。重复纹理投影函数我们提出了一个重复的图案作为我们最终的攻击伪装纹理。重复图案具有几个优点，例如易于应用，因为纹理可以用于覆盖对象而忽略纹理映射。当我们改变观察角度时，重复的模式看起来也会更相似，从而产生更强大的攻击。图在图2和图4中，我们定义了一个n n对抗模式ηadvb，它将被转换为ηadvp，直到它具有与N NDTN输入要求相同的大小。我们提出了一个重复的纹理投影功能，简单地投影重复模式的基础上使用的照片级真实感渲染引擎相同的相机姿态。在生成对抗模式时，我们加入了随机姿态变换，以增加攻击纹理的鲁棒性和防止投影误差。Repeated Texture Projection函数包含一系列用于使用变换矩阵M变换对抗模式的操作。重复纹理投影函数所使用的变换矩阵M涵盖2D图像操作上的移位、缩放和3D旋转。我们可以把它写成Eq。五、ηadv p=M3DRot·Mscale·Mshift·ηadv b（5）其中Mshift是确定图案顺序或初始位置的移位操作，Mscale是确定纹理在调整大小时将有多大的缩放操作，并且M3DRot是确定2D纹理如何沿着3D轴旋转的3D 旋转操作每个矩阵M 基于给定的摄像机姿态θ+θrd来计算或校准，使得投影覆盖目标的平坦表面的大部分图4描述了每个变换序列的结果对于边界外的填充点，我们使用环绕模式，它通过环绕相对的边缘来扩展输出，从而提供重复的纹理效果。3.3. 框架过程DTN模型训练在使用DTA生成对抗模式之前，DTN使用照片级真实感渲染引擎生成的数据集进行训练我们将数据集设置为两个输入，xref和ηexp，以及一个输出，x人。首先，我们选择一组随机的平面颜色纹理和预定义的变换。然后，我们使用渲染引擎来产生照片级真实感图像，这些图像稍后将用作参考图像xref、预期纹理ηexp和渲染图像xren的地面真实值。我们使用平坦的颜色纹理作为期望纹理，这样在训练过程中就不会有纹理映射引起的误差。对于每个训练示例，xref仅包含应用了特定颜色和变换的掩蔽目标对象ηexp包含将应用于目标对象的平面颜色纹理，并具有目标对象的遮罩形状我们将xren的地面实况设置为使用照片级真实感渲染引擎将ηexp中使用的平面颜色纹理应用于目标对象的结果在这种情况下，除纹理外，xref中使用的相同变换将应用于目标对象。此外，我们利用二进制交叉熵损失作为训练DTN的每像素构造损失DTN训练过程的详细算法在补充材料中描述DTA攻击阶段在攻击阶段，攻击目标是最小化原始目标置信度得分，这会阻止对象检测器正确检测目标由于对象检测模型输出多个框和类置信度得分，因此我们仅取最大目标对象置信度得分C，并在将地面真值设置为零时测量我们可以将表示上述过程的攻击损失Latk六、Latk（h（x））=Et <$T[−log（1−max（C（h（x）]（6）ηadv= arg minLatk（h（fw（xref，η）（7）η最小化Latk具有与求解方程（Eq.4.第一章我们可以使用完整攻击管道的可微性来找到最佳对抗模式ηadv，通过基于损失梯度更新ηadv来 当量 7描述了最佳对抗模式ηadv的计算。用于生成鲁棒攻击模式的DTA框架的完整流水线可以在图2和A1中看到。在算法1中，DTNfw是已经完成训练过程的模型。4. 实验4.1. 实现细节DTA框架我们使用TensorFlow 2 [1]来实现我们的DTA框架，除了照片真实感渲染器，其中我们使用虚幻引擎4 [8]上的CARLA [6]模拟器CARLA提供即用型API和数字资产（例如，城市布局、建筑物和车辆）来模拟自动驾驶汽车研究实验所需的物理世界在我们的例子中，我们调整了原来的CARLA代码，允许修改所需的汽车纹理15311--segorig∈←×׬×算法1：使用DTA生成攻击纹理输入：变换集T=t（1），. . .，t（M），基本平坦颜色纹理C，渲染函数R，分割函数S，重复纹理投影函数P，DTNfw输出：攻击纹理ηadvb(1) 从照片级真实感渲染引擎导出X原始、X分段和X参照对于m=1到M，X（m）←R（t（m），C）X（m）←S（t（m））X（m）←X（m）×X（m）图5.使用不同架构[ResNet（红色），DenseNet（橙色），ConvNet（绿色）]和层数k=[2，3，4]进行DTN模型评估。ref端origseg(2) 生成攻击纹理用随机值初始化ηadvb对于训练迭代的次数每个b个样本xref∈Xref的样本小批量，X段X段从T ηadv p<$P（ηadv b，n+nrd）导出对应于每个xref的ηadvηadv pxseg从fw（xref，ηadv）xadv=xadv+（xorigxseg）导出xadv。6更新ηadvb以最小化Latk（h（xadv）），通过反向传播端用于数据集生成和纹理评估。此外，我们em-ploy世界对齐纹理在虚幻的重复纹理的实现，而不是原来的汽车目标对象我们选择丰田凯美瑞作为我们的目标对象，用于对抗伪装生成和评估，奥迪TT用于伪装可转移性评估，特斯拉Model 3用于真实世界评估。数据集对于DTN模型训练和评估，我们在CARLA中选择一个地图，随机选择75个产卵位置用于生成训练和验证数据集，另外50个用于生成测试数据集。我们在每个位置生成目标汽车，并使用5米距离、15度俯仰和每45度旋转的摄像机捕获图像。对于每一个变换，我们顺序地改变汽车纹理与50个随机的平面颜色纹理。我们的训练和测试数据集使用不同的转换和颜色。对于对抗模式生成，我们在同一张地图中选择了250个产卵位置，并在DTN训练期间使用平坦颜色纹理作为参考图像来生成目标对象的数据集。为 了 测 量 DTN 二 进 制 交 叉 熵 ） 和 均 方 误 差（MSE）。图6. DTN预测结果示例。为 了 评 估 我 们 提 出 的 DTA 的 性 能 ， 我 们 使 用AveragePrecision@0.5，这是一种用于评估对象检测模型的常用度量，包括在以前的作品中。此外，由于我们的框架为了便于再现，我们选择了最先进的COCO预训练对 象 检 测 模 型 [14] ， 并 采 用 EfficientDetD 0 [29] 和YOLOv 4 [3]作为目标模型。此外，我们还评估了生成的模式到其他模型的可移植性（即，SSD [21]，FasterR-CNN [25]和Mask R-CNN [9]）。比较方法我们将我们的对抗性摄像机与以前的3D物理攻击作品进行了比较：CAMOU [35]，ER [34]，UPC [15]，DAS [32]和一个广告。随机模式。然而，UPC和DAS在我们的环境中有不同的设置，因此，我们只在可移植性实验中评估它们。DTN参数我们采用32个批次大小，25个epoch，Adam优化器[18]，每次试验使用相同的随机种子作为训练的固定参数所有网络。DTN的输入和输出大小为512×512×3以匹配目标对象检测输入尺寸。DTA框架参数我们选择16 16纹理大小作为对抗伪装以下CAMOU的最佳实现。我们使用32的批量大小在EfficientDetD 0上生成对抗伪装，使用16的批量大小在YOLOv4上生成对抗伪装每一代使用200个epoch。4.2. DTA实验DTN评估我们采用k=[2，3，4]层的变换特征提取器，并利用残差[11]或在编码器上的密集连接[13]除了普通的图5显示，具有剩余连接的DTN具有总体最低的平均测试损耗和MSE，其次是具有密集连接的DTN。在我们的实验中，将层数增加到四层降低了整体模型损失，15312↓图7. DTN纹理绘制结果与检测。从左到右：正常纹理（检测为汽车），随机纹理（检测为汽车），攻击纹理（误检测）。这辆车图8.在照片级真实感模拟器上使用不同相机姿势的各种渲染纹理的平均精度@0.5。第一行：EfficientDetD 0;第二行：YOLOv 4。最好的模型实现了0.05942的平均测试模型损失和0.00068的平均测试MSE，导致如图所示的六、对抗伪装生成在对抗伪装生成期间，我们使用具有ResNet和k为4的DTN我们首先生成一个随机模式纹理，并优化它，以降低攻击损失使用完整的管道的DTA框架。图7示出了如何通过DTA渲染和检测如图所示，在完成攻击伪装生成之后，目标置信度分数低得多，这可能导致误检测。此外，可以看出，单独的随机图案纹理不足以使对象检测器分层。在CARLA模拟器上进行了对抗伪装效果的对比实验。我们从四个不同的SIM卡中生成200个随机位置的具有摄像机设置的城市：距离（5 m、10 m、15 m）、俯仰角（0°、15°、30°）和30度旋转间隔。这还评估生成的对抗伪装是否足够鲁棒，以概括未训练的变换分布上的攻击性能。如Tab.所示。1，我们的攻击模式（粗体）比随机纹理 或 其 他 方 法 （ 如 CAMOU 和 ER ） 更 能 降 低 目 标AP@0.5和置信度得分每个相机姿态的平均性能的细节可以在图中看到。8，这意味着我们的敌对camou-表1.真实感模拟器上的摄影机拍摄时间比较。（）表示相对于正常纹理的性能下降。模型纹理AP@0.5（↓）Conf.（↓）正常0.980.75EffDetD 0随机0.62（0.36）0.39（0.36）卡莫[35]0.53（0.44）0.34（0.41）[29日]ER [34]0.46（0.51）0.31（0.47）DTA0.34（0.63）0.27（0.48）正常0.990.96YOLOv4随机0.89（0.10）0.76（0.20）卡莫[35]0.81（0.18）0.64（0.32）[3]第一章ER [34]0.77（0.22）0.60（0.35）DTA0.76（0.23）0.57（0.38）表2.真实感模拟器的可移植性比较纹理平均精度@0.5（↓）美国[21][25]第九届全国政协副主席正常0.850.940.94随机0.52（0.34）0.69（0.25）0.74（0.19）UPC [15]0.66（0.20）0.82（0.11）0.90（0.03）DAS [32]0.79（0.06）0.89（0.04）0.97（-0.03）卡莫[35]0.27（0.59）0.55（0.39）0.65（0.29）ER [34]0.27（0.59）0.56（0.38）0.64（0.30）DTA0.18（0.67）0.41（0.53）0.56（0.37）Flage在所有相机姿势上的AP得分最低。此外，图9示出了在照片级真实感模拟器上进行不同变换的对抗模式评估的示例。我们进一步进行了一个比较实验，以评估我们的对抗伪装到另一辆车的可转移性（即，Audi TT）、其他转换以及攻击阶段中未使用的目标模型。我们使用与先前实验中使用的相同的相机设置。具体来说，UPC和DAS的目标是其原始纸张的如表所示2、在可转移性设置上，我们的攻击也优于值得注意的是，UPC和DAS，这是基于补丁的伪装方法，显示较低的性能相比，重复的图案伪装，其中涵盖了汽车真实世界中的物理模拟我们通过使用3D打印机制造1：10比例的特斯拉Model 3汽车来进行真实世界的实验。由于有限的生产时间和资源，我们只制15313作了两个比例模型：一个是针对EfficientDetD 0的DTA纹理的模拟车辆，另一个是代表标准车辆以供参考。为了实现逼真的实验，我们将缩放车辆放置在室内和室外的真实位置。我们随机选择十个地方，以相似的距离15314图9.基于真实感模拟器的对抗伪装评估相机角度每列增加30度角，每行增加15度角边界：红色=误检测;黄色=部分正确（也检测到其他标签）;绿色=正确（检测为汽车）。图10.使用特斯拉Model 3的两个3D打印缩放模型进行真实世界评估。上面的行是标准模型，而下面的行是攻击模型。三星Galaxy Note 20 Ultra图10示出了我们的伪装如何能够从对象检测模型中隐藏汽车或导致误检测，而与此相反，标准车辆和背景对象被正确检测。评估时，每个车型的EfficientDetD 0和YOLOv4结果见表1。3，这表明我们生成的伪装即使在现实世界中也可以成功地进行对抗性攻击。5. 讨论含义DTN作为一种渲染方法可以很容易地扩展到纹理传输中，例如，[5，24，33]，使其具有潜在的广泛适用性，但对公众相对无害。另一方面，DTA作为一种攻击，如果实施的话，肯定会造成潜在的危险后果。首先，攻击模式更鲁棒，因为它考虑了照片般逼真的效果，导致攻击成功率增加。这是令人担忧的，特别是在未来的自动驾驶汽车时代。其次，在车辆上而不是在交通标志上印刷对抗性图案的方法也增加了其危险性，因为油漆汽车可以合法完成[35]，而后者是违法行为，更有可能被当局删除。在汽车上，对手更容易发动攻击，甚至可以与其他对手的汽车协同作战。对于缓解，一个可能的解决方案是通过对抗训练来加强目标检测模型[23，31]。表3.真实世界中车辆模型的纹理评价模型纹理AP@0.5（↓）Conf.（↓）[29]第二十九话 正常DTA0.940.34（0.60）0.830.35（0.48）YOLOv4 [3]正常DTA0.960.61（0.35）0.940.53（0.41）DTN利用简单的投影而不是更复杂的映射来将纹理传输到目标对象。因此，对于具有复杂形状的对象，可能产生不准确的纹理。为了缓解，我们目前使用随机缩放、移位和旋转来生成模式，此外，目前的方法没有考虑图案的自然性，因此它看起来不可疑，这对某些情况可能很重要。这可以通过实现额外的损失来实现，例如[27]中介绍的平滑损失在未来，我们计划进一步研究内部纹理映射和自然的对抗伪装的方法。6. 结论在本文中，我们提出了DTA，这是一个框架，它在其对抗模式生成中考虑了可微性以及照片真实感方面，在任何视角下都提供了强大的对抗伪装。特别地，我们利用了我们的新的渲染技术，即DTN，它可以提取渲染对象的预期变换并保留其原始属性。我们的 实 验 包 括 与 以 前 的 作 品 （ 即 ， UPC [15] ， DAS[32]，CAMOU [35]和ER [34]）在真实感模拟器中以及在现实世界中的演示中，显示了我们方法的适用性和可移植性。致谢本工作得到了韩国政府（MSIT）资助的信息通信技术规划评估研究所（IITP）资助15315引用[1] Mart´ın Abadi，Ashish Agarwal，Paul Barham，EugeneBrevdo，Zhifeng Chen，Craig Citro，Greg S. Corrado，Andy Davis ， Jeffrey Dean ， Matthieu Devin ， SanjayGhemawat ， Ian Goodfellow ， Andrew Harp ， GeoffreyIrving ， MichaelIsard ， YangqingJia ， RafalJozefowicz，Lukasz Kaiser，ManjunathKudlur，JoshLevenber g，DanishMane' ，RajatMong a， Sherry Moore，Derek Murray ， Chris Olah ， Mike Schuster ， JonatheShlens ， Benoit Steiner ， Ilya Sutskever ， Kunal Tal-war ， PaulTucker ， VincentVanhoucke ， VijayVasudevan， Fer-nandaVie'gas，OriolVinyals，PeteWarden ， MartinWatten-berg， Martin Wicke ， YuanYu，and Xiaoqiang Zheng.张量流：异构系统上的大规模机器学习，2015年。软件可从tensorflow.org获得。5[2] Anish Athalye、Logan Engstrom、Andrew Ilyas和KevinKwok。合成强大的对抗性示例。国际机器学习会议，第284PMLR，2018。二、三[3] Alexey Bochkovskiy，Chien-Yao Wang，and Hong-YuanMark Liao. Yolov4：目标检测的最佳速度和准确性。CoRR，abs/2004.10934，2020。六七八[4] Shang-Tse Chen ， Cory Cornelius ， Jason Martin ， andDuen Horng Chau.对更快的R-CNN对象检测器进行强大的物理对抗攻击。CoRR，abs/1804.05810，2018。2[5] Huong Quynh Dinh，Anthony Yezzi，and Greg Turk.形状变换过程中的纹理转移。ACM事务处理图表，24（2）：289-310，Apr 2005. 8[6] Alexey Dosovitskiy 、 German Ros 、 Felipe Codevilla 、Antonio Lopez和Vladlen Koltun。卡拉：一个开放的城市驾驶模拟器。在第一届机器人学习年会论文集，第1-16页，2017年。二、五[7] Yexin Duan，Jialin Chen，Xingyu Zhou，Junhua Zou，Zhengyun He，Wu Zhang，and Zhisong Pan. Dpa：为目标检测 器学习鲁棒的 物理对抗性 算法arXiv预印本arXiv：2109.00124，2021。2[8] Epic Games.虚幻引擎，2019年。二、五[9] 何凯明、乔治亚·吉克萨里、彼得·多勒和罗斯·吉尔希克 。 面 具 R-CNN 。 在 IEEE 计 算 机 视 觉 国 际 会 议（ICCV）的会议记录中，2017年10月。六、七[10] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and patternrecognition，第770-778页，2016中。1[11] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。2016年IEEE计算机视觉和模式识别会议（CVPR），第770-778页，2016年。6[12] Andrew G Howard，Menglong Zhu，Bo Chen，DmitryKalenichenko，Weijun Wang，Tobias Weyand，MarcoAn- dreetto，and Hartwig Adam. Mobilenets：用于移动视觉应用的高效卷积神经网络。arXiv预印本arXiv：1704.04861，2017。1[13] 高煌，刘庄，劳伦斯·范德马腾，和Kilian Q.温伯格密集连接 的 卷 积 网 络 。 在 IEEE 计 算 机 视 觉 和 模 式 识 别 会 议（CVPR）上，2017年7月。615316[14] Jonathan Huang ， Vivek Rathod ， Chen Sun ，Menglong Zhu，Anoop Korattikara，Alireza Fathi，Ian Fischer，Zbigniew Wo-jna，Yang Song，SergioGuadarrama，and Kevin Murphy.现代卷积对象检测器 的 速 度 / 精 度 权 衡 。 CoRR ， abs/1611.10012 ，2016。6[15] 黄 立 峰 ， 高 成 英 ， 周 玉 银 ， 谢 慈 航 ， Alan L.Yuille，Chongqing Zou，and Ning Liu.对目标探测器的通用物理伪装攻击在IEEE/CVF计算机视觉和模式识别会议（CVPR）的论文集中，第720-729页，2020年6月二、六、七、八[16] 蒋廷松，孙嘉良，周伟恩，张晓雅，龚志强，姚文，陈晓倩，等. FCA：学习多视角物理对抗攻击的3D 全 覆 盖 车 辆 伪 装 。 arXiv 预 印 本 arXiv ：2109.07193，2021。2[17] Hiroharu Kato、Yoshitaka Ushiku和Tatsuya Harada。神经三维网格渲染。在IEEE计算机视觉和模式识别会议论文集，第3907- 3916页二、三[18] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。6[19] 亚历克斯·克里热夫斯基、伊利亚·萨茨克弗和杰弗里·E·辛顿。使用深度卷积神经网络的图像网分类。神经信息处理系统进展，25：1097-1105，2012。1[20] Mark Lee和J.济科·科尔特关于物体检测的物理对抗CoRR，abs/1906.11897，2019。2[21] Wei Liu ， Dragomir Anguelov ， Dumitru Erhan ，Christian Szegedy，Scott Reed，Cheng-Yang Fu，andAlexander C Berg. Ssd：单发多盒探测器。在欧洲计算机视觉会议上，第21-37页。施普林格，2016年。六、七[22] Xin Liu，Huanrui Yang，Linghao Song，Hai Li andYiran Chen. Dpatch：使用对抗补丁攻击对象检测器。CoRR，abs/1806.02299，2018。2[23] Aleksander Madry 、 Aleksandar Makelov 、 LudwigSchmidt、Dimitris Tsipras和Adrian Vladu。迈向抵抗对抗性攻击的深度学习模型。arXiv预印本arXiv：1706.06083，2017。8[24] Yifang Men ， Zhouhui Lian ， Yingmin Tang ， andJianguo Xiao.交互式纹理转换的通用框架。在IEEE计算机视觉和模式识别会议论文集（CVPR），2018年6月。8[25] 任少卿、何开明、罗斯·格尔希克、孙健。Faster r-cnn ： Towards real-time object detection with regionproposal networks.神经信息处理系统的进展，28：91-99，2015。六、七[26] Shital Shah、Debadeepta Dey、Chris Lovett和AshishKapoor。Airsim：用于自动驾驶车辆的高保真视觉和物理模拟。在Marco Hutter和Roland Siegwart，编辑 ， Field and Service Robotics ， 第 621- 635 页 ，Cham，2018年。施普林格国际出版社. 2[27] Mahmood Sharif，Sruti Bhagavatula，Lujo Bauer，and Michael K.瑞特辅助犯罪：对最先进的面部识别进行真实和隐秘的攻击InProceedings of153172016年ACM SIGSAC计算机和通信安全，CCSNew York，USA.计算机协会8[28] Christian Szegedy，Wojciech Zaremba，Ilya Sutskever，Joan Bruna，D.作者：Ian J.Goodfellow和Rob Fergus。神经网络的迷人特性。CoRR，abs/1312.6199，2014年。1[29] Mingxing Tan ， Ruoming Pang ， and Quoc V. 乐Efficientdet ： 可 扩 展 且 高 效 的 对 象 检 测 。 2020 年IEEE/CVF计算机视觉和模式识别会议（CVPR），第10778-10787页，2020年。六七八[30] SimenT hys，WiebeVanRanst，andToonGoedem e'. 伪造自动监控摄像机：攻击