伪装对抗：自然风格隐藏物理世界攻击

10000伪装对抗：用自然风格隐藏物理世界攻击0Ranjie Duan 1 Xingjun Ma 2† Yisen Wang 3 James Bailey 2 A. K. Qin 1 Yun Yang 101 Swinburne理工大学 2墨尔本大学 3上海交通大学0摘要0已知深度神经网络（DNN）容易受到对抗样本的攻击。现有的工作主要集中在通过微小且不可察觉的扰动创建的数字对抗样本，或者通过大型且不太真实的扭曲创建的物理世界对抗样本，这些扭曲很容易被人类观察者识别。在本文中，我们提出了一种新颖的方法，称为AdversarialCamou�age（Advcam），将物理世界对抗样本制作成看起来合法的自然风格，以欺骗人类观察者。具体而言，Advcam将大型对抗扰动转化为定制风格，然后“隐藏”在目标对象或背景上。实验评估表明，在数字和物理世界场景中，Advcam制作的对抗样本具有良好的伪装性和高度隐秘性，同时仍然能够欺骗最先进的DNN图像分类器。因此，Advcam是一种灵活的方法，可以帮助制作隐秘的攻击来评估DNN的鲁棒性。Advcam还可以用于保护深度学习系统检测到的私人信息。01. 引言0深度神经网络（DNN）是一类强大的模型，广泛应用于各种人工智能系统，并在许多应用领域取得了巨大成功，如图像分类[13]，语音识别[26]，自然语言处理[33]和自动驾驶[6]。然而，DNN已被证明对对抗样本（或攻击）容易受攻击，这些攻击是通过在正常样本上添加精心设计的扰动来制作的[25，12，20，2，27，28]。这引发了对安全关键应用的严重担忧[23，8，10，15，21]。例如，如图1所示，添加了一种类似污渍、雪花和褪色的精心设计的扰动在停车标志的表面上。配备最先进分类器的自动驾驶汽车以非常高的置信度将修改后的停车标志检测为其他物体（我们将在后面介绍如何创建这种扰动）。0†通讯作者：Xingjun Ma（xingjun.ma@unimelb.edu.au）0图1：通过提出的AdvCam攻击制作的伪装对抗样本。给定目标图像（a），攻击者可以从（b）中选择不同的伪装风格，制作出在（c）中自然出现的对抗样本，这些样本可以以高置信度欺骗深度神经网络分类器，使其做出错误的预测。0对抗攻击可以应用于两种不同的环境：1）数字环境，攻击者可以直接将数字图像输入DNN分类器；2）物理世界环境，DNN分类器只接受来自相机的输入，攻击者只能向相机呈现对抗性图像。有三个属性可用于描述对抗攻击：1）对抗强度，表示欺骗DNN的能力；2）对抗隐蔽性，指的是对抗扰动是否可以被人类观察者检测到；3）伪装灵活性，指的是攻击者可以控制对抗图像的外观程度。大多数攻击方法都是针对数字环境开发的，例如投影梯度下降（PGD）[22]，Carlini和Wagner（CW）攻击[4]以及使用生成对抗网络（Advgan）制作的对抗性示例[30]。对于数字攻击，通常只需要微小的扰动。然而，物理世界攻击需要大型甚至无限制的扰动[17，1]，因为在复杂的物理世界环境中，相机很难捕捉到微小的扰动。已经存在的10010(a) RP20(b) AdvCam0(c) AdvPatch0(d) AdvCam0图2：成功的物理世界攻击示例。AdvCam指的是我们提出的对抗伪装。0存在一些超越小扰动的攻击方法，例如对抗性贴片（AdvPatch）[3]和鲁棒物理扰动（RP2）[10]。现有攻击的特性总结如表1所示，其中��表示优于�。总结一下，隐蔽性可以通过小扰动实现，这只在数字设置中有用。此外，现有攻击需要确切的扰动大小才能实现隐蔽性，而在物理设置中很难确定适合视觉上不可察觉性和对抗性强度的适当扰动大小。此外，当前方法的生成过程难以控制，例如，攻击者无法决定对抗性样本的外观。因此，这些方法的伪装灵活性相当有限。对于大扰动而言，灵活（但强大和隐蔽）的伪装机制仍然是一个需要解决的开放问题。表1：现有攻击和我们的AdvCam的总结。0PGD √ × �� � AdvPatch × √ � � RP2 × √ � �0AdvCam √ √ �� ��0为了弥补这一差距，本文提出了一种新颖的对抗伪装方法（AdvCam），利用风格迁移技术将对抗性样本制作成自然风格。图像的风格是一个抽象概念，通常指的是其视觉外观，如颜色和纹理，而不是其结构信息[16]。在AdvCam中，攻击者可以根据不同的攻击场景自定义伪装风格和攻击区域。例如，图1展示了我们的AdvCam攻击制作的几个对抗交通标志。图2中可以快速比较AdvCam与现有的物理世界攻击。虽然图2中的所有对抗性样本都成功攻击了DNN，但我们可以看到，与RP2生成的人工涂鸦相比，AdvCam能够在停止标志上生成具有自然污渍的对抗扰动，或者在产品标签上生成伪装的产品标签，而不是AdvPatch生成的具有突兀图案的贴片。我们提出的AdvCam能够生成高度隐蔽的对抗性样本，同时对各种物理世界条件具有鲁棒性。0总之，AdvCam不是一种受扰动限制的攻击，因此不会受到现有受扰动限制技术通常所需的有限扰动量的困扰。我们定义了一种灵活的机制，可以产生自然外观的扰动，这是与以前的攻击完全不同的范式。正是这种工作原理的内在差异使得AdvCam能够产生比现有方法更逼真的图像。本文的主要贡献如下：0•我们提出了一种灵活的对抗伪装方法AdvCam，用于制作和伪装对抗性样本。0•AdvCam允许生成大的扰动，可定制的攻击区域和伪装风格。它非常灵活，对于评估DNN对大扰动的脆弱性以进行物理世界攻击非常有用。0•在数字和物理世界场景上的实验表明，AdvCam伪装的对抗性样本在保持对最先进的DNN图像分类器具有欺骗性的同时，具有很高的隐蔽性。02. 相关工作02.1. 对抗性攻击0对抗性攻击是通过最大化目标模型（即被攻击的模型）的分类错误来生成对抗性样本的[25]。攻击可以是有目标的或无目标的。有目标攻击是让网络将对抗性样本误分类为攻击者期望的类别，而无目标攻击是让网络将对抗性样本误分类为任意错误的类别[12]。对抗性攻击可以直接在目标模型上进行数字设置，也可以在物理世界中进行，即将对抗性样本的重新拍摄照片输入到目标模型中[17]。02.1.1 数字攻击0通过遵循对抗性梯度的方向，可以通过一步或多步的扰动来制作对抗性示例。这包括经典的快速梯度符号方法（FGSM）[12]，基本迭代方法（BIM）[17]，最强的一阶方法投影梯度下降（PGD）[22]，以及用于可转移攻击的跳过梯度方法（SGD）[29]。这些攻击可以是有目标的或无目标的，并且它们的扰动受到小范数球∥∙∥p ≤�的限制，其中L2和L∞是最常用的范数。基于优化的攻击，如Carlini和Wagner（CW）攻击[4]和弹性网络（EAD）攻击[7]，直接最小化扰动作为对抗性损失的一部分。̸10020还存在一些无限制的对抗性攻击。这些攻击在保留图像的关键组成部分的同时，搜索可替换组件（属性）的修改，例如颜色[14]、纹理和物理参数[34,18]。然而，这些攻击要么产生大量不自然的扭曲，要么依赖具有语义注释的训练数据。此外，这些攻击无法生成复杂的对抗性模式，因此在复杂的真实场景中受到很大限制。对抗性示例也可以通过生成对抗网络（GANs）[30,24]来生成。然而，使用GANs为给定的测试图像制作有针对性的攻击是困难的，因为生成过程很难控制。大多数现有的攻击通过制作小的扰动或修改目标图像的语义属性来实现隐蔽性。然而，文献中仍然缺乏一种能够有效隐藏具有自然风格的对抗性示例的灵活伪装机制。在本文中，我们通过提出一种方法来填补这一空白。02.1.2 物理世界攻击0一项研究表明，通过使用手机相机进行打印和重新捕捉，数字对抗性示例仍然有效[17]。然而，后续研究发现，在物理世界条件下实现此类攻击并不容易，由于视角变化、相机噪声和其他自然变换[1]。因此，强大的物理世界攻击需要大幅度的扰动，并且需要对包括光照、旋转、透视投影等在内的变换分布进行特定的适应。AdvPatch攻击允许大幅度的扰动，并且对缩放或旋转具有免疫性，因此可以直接应用于物理世界攻击[3]。对抗性贴纸和涂鸦也被用于攻击物理世界场景中的交通标志分类器和ImageNet分类器[10]。其他物理世界攻击包括对抗性眼镜框架[23]、车辆[35]或T恤[32]，可以欺骗人脸识别系统或物体检测器。所有这些物理世界攻击都会产生大幅度的扰动，以增加对抗性强度，这不可避免地导致大量且不真实的扭曲。如图2所示，这大大降低了它们的隐蔽性。02.2. 神经风格转移0神经风格转移起源于纹理转移问题，其目标是将源图像的纹理转移到目标图像上，同时保留目标图像的结构信息。传统的纹理转移方法主要集中在非参数算法上，通过从源纹理中重新采样像素[9]。然而，这些方法受到像素替换的基本限制，即无法处理复杂的风格。神经风格转移展示了显著的0图像风格化的结果[11]。其中，通过卷积神经网络（CNN）学习到的特征表示可以将图像的内容和风格信息分离。然后，将风格图像的风格信息重新组合到目标图像中，实现风格转移。这种技术吸引了一些后续工作来改进不同方面的问题[5,19]。在本文中，我们将利用这些技术来进行对抗性示例的伪装。03.我们的对抗伪装方法0在本节中，我们首先概述对抗攻击问题和我们提出的伪装方法。然后介绍我们提出的方法使用的损失函数以及针对物理世界条件的适应性。03.1.概述0给定一个类别标签为y的测试图像x∈Rm，一个将图像像素映射到离散标签集{1, ..., k}的DNN分类器F: Rm → {1, ...,k}，以及一个目标类别yadv ≠y，对抗攻击是通过解决以下优化问题找到目标图像x的对抗性样本x'：0minimize D(x, x') + λ ∙ Ladv(x') such that x'∈ [0, 255]^m, (1)0其中，D(x,x')是定义对抗样本隐蔽性的距离度量，Ladv是对抗性损失，[0,255]表示有效的像素值，λ是调整对抗强度的参数。注意，隐蔽性和对抗强度之间存在权衡。在所有实验中，我们将所有其他参数固定为常数[19]，只调整对抗强度参数λ。我们的目标是开发一种机制，将具有大幅扰动的对抗样本伪装成定制的样式，并且攻击区域或样式可以由攻击者灵活定义。我们使用样式转移技术实现伪装目标，并使用对抗性攻击技术实现对抗强度。最终的损失是对抗伪装损失L = Ladv +Ls + Lc + Lm的组合。0L = (Ls + Lc + Lm) + λ ∙ Ladv, (2)0其中方括号中的三个损失函数共同实现伪装的目的。我们的方法概述如图3所示。攻击者定义目标图像、目标攻击区域和期望的目标样式。我们提出的AdvCam会在期望的区域上生成具有期望样式的对抗性扰动，如右侧所示。,(3),(4)10030图3：所提出方法的概述。0图3。为了使对抗样本对各种环境条件（包括光照、旋转等）具有鲁棒性，我们在每一步中为生成的 x'添加了额外的物理适应训练。03.2.对抗伪装损失03.2.1 样式损失0对于传统攻击，隐蔽性度量由D(x, x') = ∥x -x'∥p定义，其中∥∙∥p是Lp范数，通常使用L2和L∞。这是为了限制扰动的“大小”。对于我们提出的伪装方法，隐蔽性由对抗性样本x'和样式参考图像xs之间的样式度量定义。两个图像之间的样式距离可以通过它们在样式表示上的差异来定义：0D s = �0∥G(�Fl(xs)) - G(�Fl(x'))∥20其中，� F是一个特征提取器（如公共DNN模型），可以与目标模型不同，G是在一组样式层中提取的深层特征的Gram矩阵[11]。由于不同的样式可以在不同的层次上学习，我们使用网络的所有卷积层作为样式层。为了在目标图像的预期区域生成样式化的扰动，我们用 M 和 M分别表示定义攻击区域和非攻击区域的掩码。在生成过程的每一步之后，我们通过 M 对对抗性图像 x'进行掩码，使只有攻击区域可以被修改，而非攻击区域保持不变（x 被 M 掩码）。03.2.2 内容损失0上述样式损失可以在参考样式中制作对抗图像，然而，对抗图像的内容可能与原始图像的内容非常不同。原始图像的内容可以通过内容保留损失来保留：0��� � Fl(x) − � Fl(x′) ��� 20Lc = ∑0请注意，当攻击仅发生在不包含任何特定内容的小区域时，内容损失是可选的。然而，如果攻击区域包含语义内容，内容损失可以帮助减少对抗图像与其原始版本之间的语义差异。0其中Cl表示用于提取内容表示的内容层的集合。这是为了确保对抗图像在深度表示空间中与原始图像具有非常相似的内容。我们使用特征提取器网络的更深层作为内容层。0通过减少相邻像素之间的变化，可以改善对抗图像的平滑性。对于对抗图像x′，平滑损失定义如下：03.2.3 平滑损失0其中x′i,j是图像x′上坐标（i，j）处的像素。直观地说，这将鼓励图像具有低方差（例如平滑）的局部补丁。我们注意到，如果目标图像和样式图像的表面已经很平滑，平滑损失在提高隐蔽性方面的作用有限。但我们仍建议在物理环境中添加它，因为Sharif等人指出[23]，平滑项对于提高对抗性样本的鲁棒性是有用的。0Lm = ∑((x′i,j − xi+1,j)2 + (x′i,j − xi,j+1)2)1/2, (5)0对于对抗性损失，我们使用以下交叉熵损失：For the adversarial loss, we use the following cross-entropyloss:100403.2.4 对抗性损失0Ladv =0∑ log(pyadv(x′)), 对于有目标的攻击-log(py(x′)), 对于无目标的攻击, (6)0其中pyadv()是目标模型F对类别yadv的概率输出（对logits进行softmax）。我们注意到，所提出的伪装攻击并不限于对抗性损失的特定形式，可以与现有的攻击方法结合使用。03.3. 适应物理世界条件0为了使AdvCam生成的对抗样本在物理上可实现，我们在生成伪装对抗样本的过程中模拟了物理条件。由于物理世界环境经常涉及视点变化、相机噪声和其他自然变换等条件波动[1]，我们使用一系列的适应方法来适应这些不同的条件。特别地，我们采用了类似于期望转换（EOT）[1]的技术，但没有期望值。在Xie的工作[31]中，他们也采用了EOT来提高对抗性样本的可迁移性。然而，我们的目标是在各种物理条件下改进对抗性样本的适应性。因此，我们考虑模拟物理世界条件波动的变换，包括旋转、缩放、颜色偏移（模拟光照变化）和随机背景。0min x′ ∑(Ls + Lc + Lm) + maxT∈T λ ∙ Ladv(o + T(x′)),(7)0其中，o代表我们在物理世界中采样的随机背景图像，T代表旋转、缩放和颜色偏移的随机变换。原则上，"视觉"是人类观察者和DNN模型的主要感知方式。通过根据原始图像x和背景图像o调整样式参考图像xs，所提出的伪装攻击可以制作出高度隐蔽的对抗性样本，可以欺骗人类观察者和DNN模型。04. 实验评估0在本节中，我们首先概述了实验设置。然后通过消融研究分析了我们的AdvCam攻击。然后，我们通过人类感知研究评估了AdvCam的伪装性能，以及通过AdvCam制作的高隐蔽性的几个对抗样本。最后，我们进行了物理世界的攻击。04.1. 实验设置04.1.1 基准攻击0我们将我们的AdvCam攻击与两种现有的代表性方法进行比较：PGD[22]和对抗贴片（AdvPatch）[3]。PGD代表数字攻击，是最强的一阶攻击。AdvPatch代表无限制的攻击，可以直接应用于物理世界环境。其他一些物理世界的攻击，如RP2，需要逐案例手动设计，因此在大规模生产中受到限制。我们从攻击成功率和视觉效果两个方面比较这些方法。对于AdvCam攻击，我们使用与[19]中相同的网络层来提取风格和内容（如果需要）表示。04.1.2 威胁模型0我们在数字和物理世界环境中进行有针对性和无针对性的攻击测试。威胁模型采用灰盒设置：源网络和目标网络都是在ImageNet上单独训练的VGG-19网络。在物理世界测试中，我们首先使用GooglePixel2智能手机拍摄目标物体的照片，然后在数字环境中制作一个针对源网络的对抗性图像，然后我们打印出对抗性图像以替换或放置在目标物体上，然后我们使用同一部智能手机从不同的视角和距离重新拍摄物体。物理世界的攻击成功率通过目标网络对重新拍摄的对抗性图像的预测准确率来衡量。04.2. 消融研究0在这里，我们在ImageNet上进行了一系列实验，分析了我们的AdvCam攻击的以下几个方面：1）伪装区域的形状和位置，2）伪装损失（如风格损失、内容损失和平滑损失），以及3）对抗强度参数λ和区域大小。04.2.1 伪装区域：形状和位置0在这里，我们展示了伪装区域的形状和位置选择如何影响制作的对抗样本的对抗强度。给定一个选择的攻击区域的形状和大小，我们将强度参数λ从1000增加到10000，间隔为1000，直到攻击成功。该范围是根据广泛的实验选择的，[1000,10000]是一个有效的范围，可以找到具有高对抗强度和隐蔽性的对手。图4显示了使用不同区域制作的伪装对抗样本。我们发现，无论伪装区域是在目标物体的中心还是离目标物体的中心，攻击都可以以高置信度成功。我们将在本小节的最后一部分展示，攻击可以伪装成甚至在目标物体之外的区域，秘密隐藏在背景中。(a)(b)(c)(d)(e)(b) Ls(c) Ls+Lc10050图4：消融区域形状和大小，对两个有针对性的攻击进行了测试：“背包”→“坦克”（顶部行）和“雨披”→“交通灯”。(a)：原始干净图像，左下角为预期的风格。(b) -(e)：左：选择的攻击区域，右：制作的伪装对抗样本，图像底部给出了top-1预测类别和置信度。0(a) 原始0(d) 全部0图5：消除3种伪装损失：(a)：原始图像，右下角为预期的伪装风格；(b) -(d)：使用不同损失函数制作的伪装对抗样本。04.2.2 伪装损失（Ls，Lc，Lm）0图5展示了三组伪装的对抗样本，包括使用或不使用两种可选增强（内容保护Lc和平滑增强Lm）。当加入一种增强时，其损失函数直接添加到最终的目标函数中，按照公式（2）进行计算（Ladv中的λ设置为2000）。可以观察到，内容保护可以帮助保留原始内容，如“traf�csign”示例（第三列）所示，而平滑增强可以帮助产生平滑的物体表面。这些增强是可选的，因为它们只能稍微改善一些对抗样本的视觉效果，例如“tablelamp”示例（第三行）中的内容保护或所有示例中的平滑增强。04.2.3 对抗强度（λ）和区域大小0我们对随机选择的2000个ImageNet测试图像进行了针对性和非针对性的伪装攻击，这些图像来自50个类别，λ的取值范围为[1000,10000]。对于针对性攻击，目标类别是随机选择的，并且与真实类别不同。0图6：对抗强度λ和区域大小的消融实验：非针对性攻击的成功率（左）和针对性攻击的成功率（右）。0对于攻击，目标类别是随机选择的，并且与真实类别不同。为了测试λ在不同攻击区域下的影响，我们还将区域的大小从40*40变化到120*120。图6显示了按照目标类别是否在前5个类别中来衡量的前1/5的成功率。如图所示，当区域固定时，较大的对抗强度λ可以将成功率提高多达20%；当λ固定时，较大的攻击区域可以将成功率提高多达40%。与针对性攻击相比，非针对性攻击更容易成功。在前1和前5的成功率之间，前1的针对性攻击更难实现（实线低于虚线）。不同对抗强度和区域大小的标准误差在0.07%到1.13%之间。需要注意的是，在这些实验中，攻击区域的伪装样式和位置是随机选择的，这可能会降低伪装效果和成功率。然而，这并不影响较大的λ和区域大小可以帮助制作更强的攻击的结论。04.3. 数字攻击04.3.1 攻击设置0我们从ImageNetILSVRC2012测试集的5个类别中随机选择了150个干净图像。然后，我们应用10060对于每个干净图像，我们使用三种方法（PGD，AdvPatch和我们的AdvCam）来生成一个针对性的对抗样本。所选的源类别和目标类别对分别是：“ashcan”→“robin”，“backpack”→“waterjug”，“cannon”→“folklift”，“jersey”→“horizontal bar”，“mailbox”→“entertainmentcenter”。对于PGD和AdvCam，我们攻击通过手动选择获得的主要物体区域，而对于AdvPatch，我们在物体区域内进一步选择一个圆形攻击区域。对于PGD，我们使用最大扰动� = 16 /255（表示为PGD-16）。对于AdvCam，我们随机选择与样式图像相同类别的第二个图像，并逐渐增加λ从1000增加到10000，直到找到一个对抗样本。为了公平比较，我们过滤掉了失败的对抗样本。最后，我们分别收集了132个、101个和122个PGD、AdvPatch和AdvCam的对抗样本。图7显示了我们用这三种方法制作的用于进行人类感知研究的一些对抗样本。0(a) 原始图像0(b) PGD-160(c) AdvPatch0(d) AdvCam0图7：由PGD-16、AdvPatch和我们的AdvCam攻击制作的原始图像和对抗图像。04.3.2 人类感知研究结果0我们在Amazon MechanicalTurk（AMT）上进行了一项人类感知研究，要求人类评估者选择一个显示的图像是“自然和逼真”还是“不自然或不逼真”。为了模拟真实世界场景中的对抗样本，我们以随机顺序和个别方式向用户呈现三种类型的对抗图像，而不是成对呈现。最后，我们从130名参与者那里收集了1953个选择。19.0±1.68%的时间选择AdvPatch为“自然和逼真”，77.3±1.53%的时间选择PGD，而80.7±1.53%的时间选择我们的AdvCam。我们将这些统计数据总结为三种方法的隐蔽性得分，并在图8中展示。这证实了我们提出的AdvCam攻击能够制作出与小扰动PGD-16方法一样隐蔽的对抗样本，尽管AdvCam攻击的扰动大小没有限制。0图8：AdvPatch、PGD-16和Advcam的隐蔽性。04.3.3定制示例0在这里，我们展示了Advcam如何制作极其隐蔽的伪装，特别是针对非目标的伪装。图9展示了一些这样的例子。第一行展示了目标伪装的例子，第二行展示了非目标伪装的例子，这些例子是通过攻击一个精心选择的背景区域制作的。对于目标伪装，Advcam在目标物体的表面上生成自然而隐蔽的扰动。对于非目标伪装，第一个非目标示例（第二行中的左两个图像）中，我们将攻击隐藏在价格标签中，以欺骗VGG-19分类器将左轮手枪误分类为卫生纸。在第二个示例（第二行中的中间两个图像）中，Advcam通过在背景中添加花朵，成功地将布伦海姆斯潘尼尔犬伪装成熊皮。在第三个示例（第二行中的右两个图像）中，我们将攻击伪装成背景中的墙海报，这导致停在墙前的小型货车被错误地识别为交通灯。这些例子不仅展示了Advcam攻击的隐蔽性和灵活性，还表明深度学习系统面临的威胁是普遍存在的，而且在许多情况下，甚至人类观察者也很难察觉到。04.4.物理世界的攻击0我们进一步设计了三个物理世界的攻击场景来测试我们的Advcam攻击的伪装能力。我们还进行了AdvPatch和PGD攻击进行比较。对于PGD攻击，我们测试了不同的ε值（16/255、32/255、64/255、128/255），并展示了具有最小ε值的成功对抗性样本。我们将对抗性模式打印在A3或A4纸上，然后在各种观察角度和距离下拍摄20张照片。第一个场景是将野生图案伪装成街道标志，这可能会给自动驾驶汽车带来问题。图10的顶部一行展示了由PGD-128（ε=128/255）、AdvPatch和Advcam制作的一些成功模式。可以看到，Advcam将攻击完美地伪装成树木的纹理。虽然PGD在数字环境中具有很高的隐蔽性，但在物理环境中需要较大的扰动（ε=128/255）。因此，Advcam的对抗模式比PGD和AdvPatch的隐蔽性要低得多。第二个场景是通过伪装成时尚标志“皮卡丘”（见图10的底部一行）来保护穿着球衣的人的身份。我们模拟了这样一个场景，所有三种攻击都对“球衣”进行了“爱尔兰梗犬”攻击。值得注意的是，即使在最大的扰动测试下，PGD也无法成功攻击。这显示了Advcam具有定制伪装风格的高灵活性，可以灵活地创建满足各种攻击场景的隐蔽性。我们还使用Advcam进行了“街道标志”到“理发店”的攻击，使用了三种不同的自然风格（见图5. Conclusion and Future Work10070图9：由我们的Advcam攻击制作的伪装对抗图像及其原始版本。0（a）AdvPatch0（b）PGD-1280（c）Advcam0图10：顶部：被识别为街道标志的对抗木纹。底部：T恤上的对抗性标志。0图11：带有3种污渍风格的对抗性交通标志。0使用Advcam进行三种不同自然风格的“街道标志”到“理发店”的攻击（见图011）。Advcam的模式平滑自然，几乎无法被人类观察者检测到，但可以成功欺骗分类器并具有高置信度。总之，Advcam生成的高隐蔽性对当前基于深度神经网络的系统构成了普遍威胁。因此，Advcam可以成为评估物理世界中使用的深度神经网络鲁棒性的有用工具。0在本文中，我们研究了对抗样本的隐蔽性，并提出了一种新颖的方法，称为对抗伪装（AdversarialCamouflage，Advcam），它结合了神经风格转移和对抗攻击技术，将对抗样本制作成具有隐蔽自然外观的风格。Advcam是一种灵活的方法，可以帮助制作用于评估深度神经网络模型鲁棒性的隐蔽攻击。除了攻击的角度，所提出的Advcam还可以成为一种有意义的伪装技术，用于保护对象或人类免受人类观察者和基于深度神经网络的设备的检测。目前，所提出的Advcam仍然需要攻击者手动指定攻击区域和目标风格，我们计划在未来的工作中探索语义分割技术来自动实现这一点。此外，我们还将探索将Advcam应用于其他计算机视觉任务，包括目标检测和分割。此外，有效的防御策略来对抗伪装攻击将是另一个重要且有前景的方向。0致谢0YunYang受澳大利亚研究理事会发现项目DP180100212的支持。我们还感谢Swinburne University ofTechnology的Sheng Wen博士的早期讨论。[22] Aleksander Madry, Aleksandar Makelov, Ludwig Schmidt,Dimitris Tsipras, and Adrian Vladu. Towards deep learningmodels resistant to adversarial attacks. In ICLR, 2018. 1, 2,5[23] Mahmood Sharif, Sruti Bhagavatula, Lujo Bauer, andMichael K Reiter. Accessorize to a crime: Real and stealthyattacks on state-of-the-art face recognition. In CCS, 2016. 1,3, 4[24] Yang Song, Rui Shu, Nate Kushman, and Stefano Ermon.Constructing unrestricted adversarial examples with genera-tive models. In NIPS, 2018. 3[25] Christian Szegedy, Wojciech Zaremba, Ilya Sutskever, JoanBruna, Dumitru Erhan, Ian Goodfellow, and Rob Fergus. In-triguing properties of neural networks. In ICLR, 2013. 1,2[26] Yisen Wang, Xuejiao Deng, Songbai Pu, and ZhihengHuang. Residual convolutional ctc networks for automaticspeech recognition. arXiv preprint arXiv:1702.07793, 2017.1[27] Yisen Wang, Xingjun Ma, James Bailey, Jinfeng Yi, BowenZhou, and Quanquan Gu. On the convergence and robustnessof adversarial training. In ICML, 2019. 1[28] Yisen Wang, Difan Zou, Jinfeng Yi, James Bailey, XingjunMa, and Quanquan Gu. Improving adversarial robustnessrequires revisiting misclassified examples. In ICLR, 2020. 1[29] Dongxian Wu, Yisen Wang, Shu-Tao Xia, James Bailey, andXingjun Ma. Skip connections matter: On the transferabilityof adversarial examples generated with resnets.In ICLR,2020. 2[30] Chaowei Xiao, Bo Li, Jun-Yan Zhu, Warren He, MingyanLiu, and Dawn Song. Generating adversarial examples withadversarial networks. In IJCAI, 2018. 1, 3[31] Cihang Xie, Zhishuai Zhang, Yuyin Zhou, Song Bai, JianyuWang, Zhou Ren, and Alan L Yuille. Improving transferabil-ity of adversarial examples with input diversity. In CVPR,2019. 5[32] Kaidi Xu, Gaoyuan Zhang, Sijia Liu, Quanfu Fan, MengshuSun, Hongge Chen, Pin-Yu Chen, Yanzhi Wang, and XueLin. Adversarial t-shirt! evading person detectors in a phys-ical world. arXiv preprint arXiv:1910.11099, 2019. 3[33] Min Zeng, Yisen Wang, and Yuan Luo. Dirichlet latent vari-able hierarchical recurrent encoder-decoder in dialogue gen-eration. In EMNLP, 2019. 1[34] Xiaohui Zeng, Chenxi Liu, Yu-Siang Wang, Weichao Qiu,Lingxi Xie, Yu-Wing Tai, Chi-Keung Tang, and Alan LYuille.Adversarial attacks beyond the image space.InCVPR, 2019. 3[35] Yang Zhang, Hassan Foroosh, Philip David, and BoqingGong. Camou: Learning physical vehicle camouflages toadversarially attack detectors in the wild. In ICLR, 2019. 310080参考文献0[1] Anish Athalye，Logan Engstrom，Andrew Ilyas和KevinKwok。合成稳健的对抗性示例。在ICLR，2017年。1，3，50[2] Yang Bai，Yan Feng，Yisen Wang，Tao Dai，Shu-TaoXia和YongJiang。基于希尔伯特的生成防御对抗性示例。在ICCV，2019年。10[3] Tom B Brown，Dandelion Man´e，Aurko Roy，Mart´ınAbadi和Justin Gilmer。对抗贴片。在NIPSWorkshop，2017年。2，3，50[4] Nicholas Carlini和DavidWagner。评估神经网络的鲁棒性。在IEEE S&P，2017年。1，20[5] Alex JChampandard。语义风格转移和将二位涂鸦转化为精美艺术品。在ICLR，2016年。30[6] Chenyi Chen，Ari Seff，Alain Kornhauser和JianxiongXiao。深度驾驶：学习自主驾驶的感知能力。在ICCV，2015年。10[7] Pin-Yu Chen，Yash Sharma，Huan Zhang，Jinfeng Yi和Cho-JuiHsieh。通过对抗性示例进行弹性网络攻击深度神经网络。在AAAI，2018年。20[8] Yinpeng Dong，Hang Su，Baoyuan Wu，ZhifengLi，Wei Liu，Tong Zhang和JunZhu。基于决策的高效黑盒对抗攻击人脸识别。在CVPR，2019年，第7714-7722页。10[9] Alexei A Efros和William TFreeman。用于纹理合成和转移的图像拼贴。在PACMCGIT，2001年。30[10] Ivan Evtimov，Kevin Eykholt，Earlence Fernandes，TadayoshiKohno，Bo Li，Atul Prakash，Amir Rahmati和DawnSong。对深度学习模型的强大物理世界攻击。在CVPR，2018年。1，2，30[11] Leon A Gatys，Alexander S Ecker和MatthiasBethge。使用卷积神经网络进行图像风格转移。在CVPR，2016年。3，40[12] Ian J Goodfellow，Jonathon Shlens和ChristianSzegedy。解释和利用对抗性示例。在ICLR，2014年。1，20[13] Kaiming He，Xiangyu Zhang，Shaoqing Ren和JianSun。用于图像识别的深度残差学习。在CVPR，2016年。10[14] Hossein Hosseini和RadhaPoovendran。语义对抗性示例。在CVPR Workshop，2018年。30[15] Linxi Jiang，Xingjun Ma，Shaoxiang Chen，JamesBailey和Yu-Gang Jiang。对视频识别模型的黑盒对抗攻击。在ACMMM，2019年。10[16] Sergey Karayev，Matthew Trentacoste，Helen Han，AseemAgarwala，Trevor Darrell，Aaron Hertzmann和HolgerWinnemoeller。识别图像风格。arXiv预印本arXiv:1311.3715，2013年。20[17] Alexey Kurakin，Ian Goodfellow和SamyBengio。物理世界中的对抗性示例。在ICLR，2016年。1，2，30[18] Hsueh-Ti Derek Liu，Michael Tao，Chun-Liang Li，DerekNowrouzezah