基于对象的多样化输入：有效的对抗性攻击方法

15244通过基于对象的多样化输入Junyoung Byun Seungju Cho Myung-Joon Kwon Hee-Seon Kim Changick Kim韩国科学技术高等研究院（KAIST）{bjyoung，joyga，kwon19，hskim98，changick} @ kaist.ac.kr摘要对抗性样本的可转移性使得黑盒模型上的欺骗成为可能，基于转移的定向攻击由于其实用性而引起了人们的极大兴趣。为了最大限度地提高传输成功率，对抗性示例应该避免对源模型的过拟合然而，先前的作品利用简单的图像变换，如限制输入多样性的图像变换为了解决这个问题，我们提出了基于对象的多样性输入（ODI）方法，该方法在3D对象上绘制一个敌对图像，并将渲染的图像分类为目标类。我们的动机来自人类对3D物体上打印的图像的卓越感知。如果图像足够清晰，人类可以在各种观看条件下识别图像内容。同样，如果一个对抗性的例子看起来像是模型的目标类，模型也应该将3D对象的渲染图像分类为目标类。ODI方法通过利用多个源对象的集合和随机化观看条件来有效地使输入多样化。在我们对ImageNet兼容数据集的实验结果中，与最先进的方法相比，该方法将平均目标攻击成功率从28.3%提高到47.0%我们还证明了ODI方法在人脸验证任务中对对抗性示例的适用 性 及 其 优 越 的 性 能 改 进 。 我 们 的 代 码 可 在https://github.com/dreamflake/ODI上获得。1. 介绍深度学习模型在各个领域都表现出了出色的性能，并且已经渗透到我们的日常生活中[6，10，13]。然而，对抗性的例子表明，这些模型容易受到恶意制作的小输入扰动[7，35]。有趣的是，生成的攻击网络的敌对示例也可能这个有趣的特性图1. 我们的动机的插图。如果一个目标对抗性样本确实看起来像模型的目标类，模型还应该将投影在3D对象上的对抗性样本分类为目标类。图2. 有针对性的对抗性攻击的框架，提出了基于对象的多样化输入（ODI）方法。请注意，ODI方法仅在生成阶段利用3D对抗对象。最终提高了2D对抗性示例的可移植性对抗性例子被称为可转移性[21，26，37]。这个属性允许攻击者在不知道其内部的情况下攻击黑盒在黑盒模型上，与非目标攻击相比，有针对性的攻击明显更具挑战性，非目标攻击简单地导致受害者模型故障而不指定目标类别[21，43]。有针对性的攻击需要进一步的探索，因为它们可以通过欺骗模型来预测指定的有害目标类别，从而导致更对这些基于传输的目标攻击的研究是重要的，因为它可以帮助服务提供商准备他们的模型来对抗这些潜在的威胁，并评估他们的模型的鲁棒性。15245L根据源模型和目标模型之间的差异，传输成功率会有很大差异。已经提出了各种方法来提高可转移性，例如引入动量[7，22]和不同的损失函数[21，43]以更好地优化，输入数据增强[41，44]以及利用多个源模型的集合[23]。在这些策略中，我们重点介绍了基于输入转换的方法及其局限性。 这些方法创建了对抗性示例，这些示例对图像变换（如随机平移[41，44]和平移[8]）具有鲁棒性，以防止对源模型的过拟合。然而，由于这些方法使用简单的图像变换，它们限制了输入的多样性。我们解决这个限制的动机来自于人类通常在活动摊位处分发的促销商品）。当将2D图像投影到3D对象上时，原始图像会弯曲，颜色会因照明而看起来不同，并且图像的某些部分根据视点而不可见然而，如果图像足够清晰，人类可以在各种观看条件下识别3D对象上的图像内容。同样，如果一个对抗性的例子看起来确实像源模型的目标类，那么模型也应该识别出打印在3D对象上的图像中的目标类我们的动机如图所示。1.一、从这个动机出发，我们提出了基于对象的多样化输入（ODI）方法，以提高目标对抗性示例的可移植性。具体来说，我们介绍了3D对象和项目上的ob-tail '表面的对抗性的例子然后，我们诱导渲染对象被归类为目标类在各种渲染环境，包括不同的照明和视点。这种现实的输入多样化可以概括攻击能力，提高对抗性示例的可移植性。总体方案在图1中示出。二、我们的贡献可以列举如下。• 我们提出了基于对象的多样性输入（ODI）方法，以增强有针对性的对抗性示例的可移植性。据我们所知，这是3D对象第一次在优化过程中用作2D对抗性示例的画布。• 我们发现攻击成功率取决于3D对象（例如，一个枕头和一个杯子）。我们的实验结果还表明，精心选择的源对象的合奏可以进一步提高可移植性。• 在ImageNet数据集上的四个源模型和十个目标模型的实验结果中，所提出的ODI方法提高了目标的平均值-与最先进方法的组合相比，钉扎成功率从28.3%提高到47.0%。• 我们还展示了ODI方法在人脸验证任务中对抗性示例的适用性及其压倒性的性能改进。2. 相关工作2.1. 黑盒环境在黑盒设置中，由于对手无法访问目标模型的内部，因此无法使用反向传播直接计算图像的梯度。基于查询的攻击[3然而，它们是基于不合理的假设，即目标模型的输出可以通过查询获得。相比之下，基于转移的攻击[21，24，38]可以生成欺骗目标模型的对抗性示例具体来说，基于转移的攻击方法通过对代理模型的白盒攻击生成对抗性示例，攻击者期望对抗性示例的可转移性，并试图用生成的图像欺骗目标模型[26，27]。因此，我们需要生成高度可转移的对抗性示例，这些示例能够使用白盒代理模型欺骗未知模型。白盒场景中的对抗性攻击利用了损失函数相对于图像的梯度。标准算法的∞范数约束对抗扰动利用梯度的符号，这被称为快速梯度符号法（FGSM）[11]。形式上，让f是分类器，是针对目标攻击的损失函数。然后，给定图像x和目标标签yt，通过求解以下优化问题可以找到目标对抗示例xadv。xadv=x−·sign（xL（f（x），yt）），（1）其中，m表示步长。它更新图像x以最小化针对性攻击的损失它可以进一步优化迭代更新x方程。（1）具有较小的步长α，并且这种迭代版本被称为迭代FGSM（I-FGSM）[19]。为了帮助避免局部最小值，以改善可转移性，Dong等人。[7]在优化中引入动量项，称为动量迭代FGSM（MI-FGSM）。除了这些基本的对抗性攻击之外，还提出了各种技术来通过帮助图像避免陷入局部最小值并防止过度拟合特定源模型来提高可传输性一个常见的办法是投入多样化。不同输入（DI）方法[41]应用随机采样，15246L图3.基于对象的多样化输入（ODI）方法的流水线。对于迭代攻击中的每个推断，以概率p填充到图像，以最小化对源模型的过拟合。调整大小的多样化输入（RDI）方法[44]类似于DI方法，但它在DI的最后一步将扩展和填充的图像调整回其原始大小与随机应用图像变换的DI不同，RDI总是应用随机图像变换（即，p=1）。不变量（TI）攻击方法[8]计算来自一组trans-focus的梯度的加权平均值广泛使用的交叉熵损失问题，这导致迭代目标攻击中的梯度消失问题。为了解决这个问题并提高可转移性，他们使用庞加莱距离来调整梯度的大小。Zhao等人[43]指出先前的工作在目标对抗性示例的优化中使用了不适当的少量迭代。他们强调，以下针对目标攻击的简单logit损失logit可以通过足够的迭代实现最先进的性能。在指定范围内对图像进行缩放，为较小的位移提供较高的权重。最小化计算Llogit（f（xAdv），yt）=−t（f（xAdv）），（2）时间，TI通过对原始梯度应用高斯模糊来近似梯度的加权平均值。用获得的梯度更新图像减轻了对抗性示例Wu等[39]强调了启发式图像变换的局限性，如[41] ， 并 提 出 了 adversar- ial transformation-enhancedtransfer attack（ATTA）。他们训练了一个对抗性转换网络，在对抗性学习框架内中和对抗性示例。然后，他们构建了一个更强大的对抗性示例，该示例可以抵抗经过训练的对抗性变换。然而，由于他们的对抗变换网络是基于2层CNN的，因此该网络只能执行简单的图像变换，例如模糊和锐化。尺度不变（SI）攻击方法[22]通过改变像素值的尺度并计算每次迭代的梯度来生成图像的几个这通过最小化对源模型的过拟合来促进对抗性示例的可移植性。最近提出的方差调整（VT）方法[37]专注于梯度方差，定义为图像的梯度和附近图像的平均梯度之间的差异通过减小梯度方差，这可以稳定更新方向。另一方面，已经提出了各种方法来通过针对目标攻击使用不同的损失函数来提高可转移性。Li等[21]识别其中，logit是对应于tar_get类的logit输出。2.2. 具有可微重排的对抗攻击可微分渲染将3D对象投影到2D图像上，并且通过使内部过程可微分，它允许计算3D对象属性的梯度这种可微分渲染能够通过数字模拟优化3D对象，并且通常用于生成在各种视点下稳健的物理适用的对抗性示例[2，40，42]。这些方法与ODI方法之间最显著的区别在于，以前的作品将对抗网格视为目标，但ODI方法将其视为提高2D对抗图像可转移性的工具3. 方法基于对象的多样化输入方法在对抗性示例的迭代优化期间将图像馈送到源网络之前对图像进行预处理由于ODI方法使用可微分渲染器，因此即使将渲染图像馈送到网络中，也可以经由反向传播来计算相对于输入图像的广告的客观损失的梯度ODI方法的总体流水线在图3中示出，并且ODI方法的详细分配在图3中描述。15247L0→−·t+1t不电话+1不(a)默认视图（b）仰角+25度（c）方位角+25度（d）+25（e）所有角度+25（f）距离×1。2算法1ODI-MI-TI-FGSM输入：一个干净的例子x;一个目标标签yt;一个分类器f。输入：Adhesive输出：一个对抗性的例子xadv1：g0=0;xadv=x2：对于t=0T1do3：计算梯度gt+1应用ODIgt+1=xadvL（f（ODI（xadv）），yt）（3）不4：g=µg+gt+12017年1月1日不应用MI5：gt+1=Wgt+1应用TI6：xadv=xadv−α·sign（gt+1）应用FGSM7：xadv=剪辑长度（xadv）(g)无漫射光（h）左侧有光（i）右侧灯图4.使用不同渲染参数渲染的图像。材料。ODI方法的整个过程可以分为三个阶段，我们将在电话+1第八章： 端9：xadv=xadv10：returnxadvxt+1详细对抗性3D网格的准备 ODI方法采用3D对象作为画布来绘制对抗性示例。因此，对象在迭代过程中是否发生更改并不重要这就是ODI方法与以前的研究[2，40，42]显著不同的地方，这些研究采用3D网格来生成物理对抗性示例。首先，我们从源对象池中随机选择一个对象。选定的对象有一个三角形网格、一个纹理贴图和一个边界框，该边界框指示将在纹理贴图中绘制对抗示例的画布区域接下来，我们用随机纯色填充纹理贴图，然后调整大小并将对抗示例插入纹理贴图在框架区域内，我们也可以利用现有的投入多样化技术，如RDI，但我们排除了它们，以清楚地证明ODI与现有方法相比的有效性。渲染环境设置。渲染环境包括渲染3D对象所需的照明和摄像机。对于摄像机，我们固定摄像机的内参数，调整摄像机的外参数。我们改变三个摄像机角度：仰角、方位角和倾斜角。请参考图。图3用于定义每个摄像机角度，图4用于演示每个角度如何改变视点。在ODI方法中，3D网格最初被缩放，使得投影图像在默认视图中占据渲染图像的约85%三个摄像机角度和摄像机距离在预设范围内随机采样。照明模型有两种主要类型的光源-平行光和点光源。我们采用点光源在我们的工作，但方向灯也可以采用我们在预设范围内随机调整环境光和漫射光的亮度。此外，我们通过向其基础位置添加随机位移来改变灯光的位置图4示出了具有不同照明的渲染图像的示例。渲染和与背景混合。最后，我们在采样环境中渲染对抗3D网格该图像将被馈送到源网络中，这有助于优化输入图像，以在各种各样的上下文中作为目标类出现，。算法1给出了ODI-MI-TI-FGSM方法的算法。4. 实验与讨论4.1. 实验设置数据集和常规设置。我们利用了ImageNet-Compatible数据集1的DEV集，该数据集已在以前的工作中广泛使用[21，43]。该数据集提供了1，000张299×299大小的图像及其目标类别。我们采用了广泛使用的∞-范数扰动约束=16/255在[43]之后，我们使用步长α=2/255进行迭代攻击。我们的方法和所有基线都利用了简单的logit损失（等式10）。（2）在1https://github.com/cleverhans- lab/cleverhans/tree/master/cleverhans_v3.1.一、0/examples/nips17_adversarial_competition/dataset15248IR-v2IR-v2IR-v2IR-v2来源：RN-50目标模型攻击VGG-16 RN-18 DN-121 Inc-v3 Inc-v4 Mob-v2 IR-v2 Adv-Inc-v3Ens-adv-每个图像的计算时间（秒）DI-MI-TI 62.2 54.9 71.4 10.5 9.0 28.5 4.5 0.0 0.0 2.7RDI-MI-TI 67.8 73.4 82.9 32.4 24.6 44.5 17.4 0.0 0.0 2.3RDI-MI-TI-SI 71.2 81.7 88.5 56.6 42.8 58.0 36.6 0.2 0.9 11.2RDI-MI-TI-VT 70.3 78.7 82.5 44.6 39.1 54.4 33.7 0.2 1.7 14.1ODI-MI-TI 76.8 77.0 86.8 67.4 55.4 66.8 48.0 0.7 1.7 6.0ODI-MI-TI-VT81.6 84.4 89.2 74.5 65.9 75.6 62.3 4.6 8.757.2来源：VGG-16目标模型攻击RN-18 RN-50 DN-121 Inc-v3 Inc-v4 Mob-v2 IR-v2 Adv-Inc-v3Ens-adv-每个图像的计算时间（秒）DI-MI-TI 7.6 12.7 0.6 2.3 6.3 0.2 0.0 0.0 6.1RDI-MI-TI 28.7 31.5 35.9 6.6 9.5 18.0 3.7 0.0 0.0 5.4RDI-MI-TI-SI 48.0 45.6 55.2 20.1 21.0 28.4 9.9 0.0 0.0 26.2RDI-MI-TI-VT 42.5 35.5 44.3 13.4 19.0 23.4 8.3 0.0 0.0 31.8ODI-MI-TI 60.8 64.3 71.1 37.0 38.0 47.0 21.1 0.0 0.0 9.0ODI-MI-TI-VT72.3 72.0 76.6 48.7 47.9 57.6 34.7 0.4 0.771.9来源：DN-121目标型号攻击VGG-16 RN-18 RN-50 Inc-v3 Inc-v4 Mob-v2 IR-v2 Adv-Inc-v3Ens-adv-每个图像的计算时间（秒）DI-MI-TI 38.3 30.1 43.6 7.1 7.7 13.7 4.5 0.0 0.0 2.8RDI-MI-TI 41.9 45.3 55.9 21.0 19.1 21.8 12.9 0.0 0.0 2.5RDI-MI-TI-SI 44.2 54.5 59.7 34.7 24.9 26.9 22.6 0.2 0.5 12.1RDI-MI-TI-VT 49.1 56.1 63.3 32.1 28.8 29.4 25.6 0.3 0.8 15.2ODI-MI-TI 64.5 63.4 71.6 53.5 46.4 44.2ODI-MI-TI-VT70.7 74.6 79.1 64.1 57.5 57.8 53.0 2.3 5.071.7来源：Inc-v3目标模型攻击VGG-16 RN-18 RN-50 DN-121 Inc-v4 Mob-v2 IR-v2 Adv-Inc-v3Ens-adv-每个图像的计算时间（秒）DI-MI-TI 4.2 2.2 3.6 5.4 4.3 2.4 3.6 0.0 0.0 2.2RDI-MI-TI 3.2 4.4 4.4 6.9 8.3 3.0 5.5 0.0 0.0 1.9RDI-MI-TI-SI 4.2 7.2 6.3 10.3 10.5 5.0 11.4 0.2 0.3 9.2RDI-MI-TI-VT 4.8 8.5 8.9 11.9 14.6 6.2 12.8 0.2 0.0 11.8ODI-MI-TI 15.7 14.7 17.4 30.4 32.1 14.1 26.9 0.3 0.6 5.5ODI-MI-TI-VT26.7 29.1 34.0 52.5 50.8 25.4 45.8 1.93.3表1.针对九个黑盒目标模型和四个源模型的目标攻击成功率（%）。对于每个攻击，我们还报告了生成对抗性示例的平均计算时间。60504030201000 50100150200250300迭代60504030201000 50100150200250300迭代在工作中，我们采用了[43]中使用的四个模型作为我们实验中的源和目标模型- ResNet-50（RN- 50）[13]，Inception-v3（Inc-v3）[34]，DenseNet-121（DN-121）[35]。121）[14]和VGG-16 bn（VGG-16）[32]。此外，我们在目标模型集合中添加了六个额外的模型，以进行更全面的比较- ResNet- 18（RN-18）[13]，Inception-v4（Inc-v4）[33]，MobileNet-v2（Mob-v2）[30]，Inception ResNet-v2（IR-v2）[33]，adver-图5.根据迭代次数确定的目标攻击成功率（%）。[43] 这在有针对性的攻击中是优越的。在[43]之后，每个迭代攻击方法运行300次迭代（即，T=300）。每次迭代攻击都使用单个NVIDIA RTX 2080Ti GPU执行。源模型和目标模型。与现有的公平比较-VGG-16（资料来源）Mob-v2（目标）DI-MI-TIRDI-MI-TIRDI-MI-TI-VTODI-MI-TI-VTInc-v3（源代码）DN-121（目标）DI-MI-TIRDI-MI-TIRDI-MI-TI-VTODI-MI-TI-VT攻击成功率（%）攻击成功率（%）15249sarially trained Inc-v3（Adv-Inc-v3）[20]和ensemble-adversarially trained IR-v2（Ens-adv-IR-v2）[20]。本文重点讨论基于单源模型的传输攻击，以证明ODI方法然而，我们相信源模型的集成可以进一步提高传输成功率。基线。 我们采用了四种基本攻击方法，15250IR-v2--××−××来源：DN-121目标型号源对象池VGG-16 RN-18 RN-50 Inc-v3 Inc-v4 Mob-v2 IR-v2 Adv-Inc-v3Ens-adv-{Package}59.8 54.8 65.6 43.5 37.6 35.8 29.8 0.10.5{Cup}34.2 45.7 47.9 37.8 29.8 28.5 26.70.51.2{枕头}64.1 57.6 68.6 44.9 40.6 39.4 30.5 0.10.6{T恤}23.5 36.4 38.1 31.2 23.5 19.3 19.40.51.0{球}46.1 26.3 36.7 17.1 16.6 17.7 10.6 0.00.0电话：+86-510 - 8888888传真：+86-510 - 88888881.0{所有6个对象}60.2 59.5 66.3 48.8 42.7 42.4 35.7 0.40.9{包装、枕头、书}64.5 63.4 71.6 53.5 46.4 44.2 38.30.40.7表2. ODI-MI-TI针对具有不同源对象池的9个黑盒目标模型的目标攻击成功率（%）。多个源对象的集合优于它们的单个对象对应物。ODI方法的设置。我们利用PyTorch 3D库[28]在ODI方法中进行可微渲染。对于ODI方法的参数，我们将源对象池构造为Package、Pillow和Book，如图6所示。的范围 固体纹理颜色、摄像机角度和距离被设置为(a) 包装（b）杯子（c）枕头(d)T恤（e）球（f）书图6.在我们的实验中使用了六个源对象。一个图像被打印在他们身上，以可视化对抗纹理的区域。这是六种现有技术的各种组合：DI [41]，RDI [44]，MI [7]，TI [8]，SI [22]和VT [37]。请注意，先前报告的最先进方法是DI-MI-TI，具有简单的logit损失[43]。然而，我们进一步改进了这种方法，用RDI代替DI最大放大图像尺寸DI和RDI分别设为330 330和340 340。在[43]之后，TI的卷积核大小设置为5，DI的p设置为0。7，而MI的衰减因子μ设置为1.0。SI和VT的量表和样本数量设置为5，VT的β设置为1。五、我们还实现了ATTA-MI-TI，但ATTA [39]最初是为非目标攻击设计的，迭代次数很少，因此性能很差。虽然我们改变了ATTA，使用logit损失进行训练，但其结果并不具有可比性。我们假设重复使用固定转换限制了可转移性。为了进行丰富的比较，我们在补充材料中包括了MI-TI和ATTA-MI-TI的结果[0。1，0。[ 35]，[ 35]，[35]，[0。八，一。2）分别。灯的非故障位置被设置为[0，0，4]，其最大位移被设置为2.环境光的亮度范围被设置为[0. 6，0。9]，漫射光的亮度范围为[0，0. 5]。最后，我们将连接到材质反射率的反光度设置为0。五、4.2. 实验结果传输成功率。表1显示了针对九个黑盒目标模型和四个源模型的定向攻击成功率。与基线的最佳性能相比，ODI-MI-TI-VT 将 平 均 攻 击 成 功 率 从 28.3% 提 高 到47.0%。当源模型为VGG-16时，ODI方法与DI-MI-TI（这是先前最先进的技术）相比，ODI-MI-TI和ODI-MI-TI-VT将平均转移成功率从4. 5%至37。7%（8）和45。7%（10）。 图5显示了两种情况下的目标攻击成功率，其余的图可以在柔软的材料中找到。计算时间。在表1中，我们还报告了生成对抗示例所需的平均时间。由于渲染开销，ODI方法需要比DI和RDI更多的计算成本。然而，当与RDI-MI-TI-VT和RDI-MI-TI-SI兼容时，ODI-MI-TI切割时间减半，攻击成功率提升10。平均8%。当使用VT或SI时，所需的计算量显著增加，因为每个循环需要与尺度和样本数量成比例的更多推理。攻击对抗训练模型。对 抗性15251−45◦∼45◦0的情况。8×101。2×15.415.614.116.914.1 17.930.131.626.030.513.212.922.224.90.20.30.10.4来源：Inc-v3目标模型消融值VGG-16RN-18RN-50DN-121Inc-v4 Mob-v2IR-v2Adv-Inc-v3Ens-adv-IR-v2角度−5◦∼5◦−15◦∼15◦−25◦∼25◦5.49.113.44.17.711.94.810.914.28.119.428.77.8 3.720.7 7.428.6 11.37.016.722.70.2 0.00.0 0.10.2 0.0−35◦∼35◦15.614.117.931.630.512.924.90.3 0.4距离背景0的情况。9×101。电话： +86-21 - 8888888传真：+86-21 - 888888881 .一、电话：+86-10 - 8888888传真：+86-10 - 88888888无规固体15.7 13.416.930.7 27.9 12.5 22.3 0.2 0.3图像模糊15.812.5 17.031.628.5 12.3 22.10.30.3黑色固体14.7 13.1 16.2 28.1 28.413.1 21.90.30.1表3.针对具有不同相机参数和背景的九个黑盒目标模型的有针对性的攻击成功率（%）。对于这些实验，我们使用Pillow作为源对象。训练被广泛认为是最有效的对抗性防御之一。在黑盒环境中，对经过对抗训练的模型[25，36因此，先前报道的最先进的方法DI-MI-TI在Adv上记录了0%的攻击成功率Inc-v3 [20，25]和Ens-adv-IR-v2 [20，36]。令人惊讶的是，ODI-MI-TI-VT显示高达4。6%和8. 7%的攻击成功率。考虑到源模型和目标模型之间的显著架构差异，这种改进是值得注意的。4.3. 消融研究在本节中，我们对所提出的方法进行了广泛的消融研究，并描述了我们的发现。源对象池的变体。由于ODI方法中的3D源对象就像对抗示例的画布，因此可以从各种3D对象中自由选择对象。作为候选源模型，我们选择了我们日常生活中经常观察到的六个对象2 在图6中。基于这些模型，我们进行了基于单对象和基于多对象的攻击。结果总结在表2中。有趣的是，在基于单个对象的攻击中，Pillow对VGG-16的攻击成功率最高，而Book对Inc-v3的攻击成功率最高。这意味着对象的可转移性增强取决于目标模型。此外，基于多对象的攻击的结果表明，每个3D对象的可转移性增强相辅相成。最后，三个对象的集合优于所有对象的集合，突出了仔细组装源对象池的重要性对象数量的变化而不是呈现一个2我们在补充材料中引用了这些3D模型(a) 一个球（b）两个球（c）三个球（d）四个球图7.不同数量球的渲染图像。(a) 随机像素(b)随机固体(c)模糊图像图8.不同背景的插图。单个对象，我们可以可视化多个对象以使输入多样化。使用图7所示的球，我们研究了对抗性示例的可转移性作为对象数量的函数。即使使用相同的3D对象，每个目标模型的攻击成功率也可以基于源对象的数量而变化。当源模型为VGG-16时，在大多数情况下，三个球显示出最高的成功率，但对抗训练的模型最容易受到四个球而不是三个球的影响。详细结果见补充材料。相机角度和距离的变化。我们进行了实验，以评估相机角度和距离变化的影响。攻击成功率随着摄像机角度的变化而成比例增加，但超过一定范围后下降。这一发现表明，过度的图像变换可能会恶化可移植性，因为对抗性示例过度拟合源模型表3显示了攻击成功率随着摄像机距离范围的扩大而增加。因此，我们期望更多的渲染参数随机像素15.614.1 17.9 31.6 30.512.924.9 0.3 0.415252−×假冒攻击目标模型][12]第十二话][12]第十二话(b) 模仿攻击图9.使用ODI方法对人脸验证任务进行对抗性攻击的说明。在一定的范围内，转移性越好。不同的背景最后，我们研究了背景的影响在这个实验中，我们采用了随机的固体背景，随机的像素值，和一个模糊的图像。所有随机值均在0和1之间均匀采样对于模糊图像，我们对输入图像进行具有核大小为50且σ为15的高斯核。根据实验结果，以上三种背景的表现都优于纯黑色背景.其中，具有随机像素值ob-保持了最高的攻击成功率。4.4. 人脸识别所提出的技术不限于图像分类。它也可以用于其他任务的对抗攻击，包括人脸识别[6]和物体检测[29]。作为一个例子，我们将我们的方法应用于人脸验证模型的对抗攻击。人脸验证模型比较两张照片，看看它们是否属于同一个人[6]。通过改变一对照片中的图像，攻击者可以发起两种类型的攻击，这会导致同一个人被归类为不同的人（躲避攻击）或不同的人被归类为同一个人（模仿攻击）。这两种类型的攻击与ODI方法如图所示。9 .第九条。我们在Labeled Faces in the Wild（LFW）数据集中试验了500个人脸对[15]，该数据集广泛用于相关作品[6，16，31]。我们使用一对面部特征之间的平方Δ2-距离作为对手我们使用Pillow作为源对象，并将相机角度范围更改为[ 25°，25°]。我们使用相同的ImageNet数据集设置，表4.面部验证模型上的转移攻击成功率（%）。源模型是ArcFace ResNet-50 [6]。其它参数来表明无需昂贵的参数搜索就可获得显著的性能来自Ar-cFace ResNet-50源模型[6]的三个黑盒模型的定位成功率如表4所示。ODI-MI-TI-VT使增强和闪避攻击的攻击成功率平均提高12。0%，7。2%，分别。4.5. 讨论局限性。 我们的技术适用于足够大的图像，能够保留原始图像内容的3D模型。很难将ODI方法应用于小图像，例如CIFAR-10数据集中的32 32大小的图像[18]，除非我们扩展输入图像。潜在的社会影响。如果所提出的ODI方法被恶意利用，则可能会通过在世界上感知基于AI的商业服务而引起社会混乱。然而，我们的研究提高了服务提供商和研究人员对这种潜在威胁的认识，并有助于开发更强大的深度学习模型。今后的工作。虽然这项工作的重点是刚性物体的形状不会改变，更多样化的增强是可以通过改变对象在这个概念上还需要做更多的工作，以进一步提高可转移性。此外，这种基于3D模型的数据增强可用于提高深度学习模型在其他任务上的性能。当训练数据量有限时，这种技术可能5. 结论在本文中，我们提出了基于对象的多样性输入方法作为一种新的数据增强技术，以提高目标对抗性示例的可移植性。图像分类和人脸验证的实验结果表明，该方法提高了对各种黑盒目标模型的攻击成功率。方法CurricularFace[16][13]第十三话美国[6]AceNet [31]DI-MI-TI57.047.265.2RDI-MI-TI58.447.868.0RDI-MI-TI-VT61.451.471.4ODI-MI-TI71.861.880.6ODI-MI-TI-VT73.063.084.2闪避攻击目标模型(a)闪避攻击方法CurricularFace[16][13]第十三话美国[6]AceNet [31]DI-MI-TI97.262.490.8RDI-MI-TI96.268.490.6RDI-MI-TI-VT97.071.292.0ODI-MI-TI99.283.095.215253引用[1] Maksym Andriushchenko ， Francesco Croce ， NicolasFlam-marion，and Matthias Hein. Square Attack：一种通过随机搜索的查询高效黑盒对抗攻击。2020. 2[2] Anish Athalye、Logan Engstrom、Andrew Ilyas和KevinKwok。合成强大的对抗性示例。国际机器学习会议，第284PMLR，2018。三、四[3] 威兰·布伦德尔乔纳斯·劳伯和马蒂亚斯·贝斯格。基于决策的对抗性攻击：对黑盒机器学习模型的可靠攻击。在2018年国际学习代表大会上。2[4] Pin-Yu Chen，Huan Zhang，Yash Sharma，Jinfeng Yi，and Cho-Jui Hsieh. Zoo：基于零阶优化的黑盒攻击，无需训练替代模型即可对深度神经网络进行攻击。在第10届ACM人工智能和安全研讨会的会议记录中，第15-26页，2017年。2[5] Minhao Cheng，Simranjit Singh，Patrick H Chen，Pin-Yu Chen，Sijia Liu，and Cho-Jui Hsieh. Sign-opt：一种查询高效的硬标签对抗攻击。在2019年国际学习代表大会上。2[6] 邓健康，贾国，薛念南，Stefanos Zafeiriou。Arcface：用于深度人脸识别的附加角度余量损失。在IEEE计算机视觉和模式识别会议论文集，第4690- 4699页，2019年。1、8[7] Yinpeng Dong ， Fangzhou Liao ， Tanyu Pang ， HangSu，Jun Zhu，Xiaolin Hu，and Jianguo Li.给敌对的进攻增加动力。在IEEE计算机视觉和模式识别会议论文集，第9185-9193页，2018年。一、二、六[8] 董银鹏，庞天宇，苏航，朱军。通过平移不变攻击规避对可转移对抗样本的防御。在IEEE/CVF计算机视觉和模式识别会议论文集，第4312-4321页，2019年。二、三、六[9] Yinpeng Dong，Hang Su，Baoyuan Wu，Zhifeng Li，Wei Liu，Tong Zhang，and Jun Zhu.基于决策的黑盒对抗性攻击在人脸识别中的应用。在IEEE计算机视觉和模式识别会议论文集，第7714-7722页，2019年。8[10] AndreEsteva、AlexandreRobicquet、BharathRamsundar 、 Volodymyr Kuleshov 、 Mark DePristo 、Katherine Chou、Claire Cui、Greg Corrado、SebastianThrun 和 Jeff Dean 。 医 疗 保 健 中 的 深 度 学 习 指 南 。Nature medicine，25（1）：24-29，2019. 1[11] Ian J Goodfellow，Jonathon Shlens，Christian Szegedy.解释 和 利 用 对 抗 性 的 例 子 。 arXiv 预 印 本 arXiv ：1412.6572，2014。2[12] Kai Han ， Yunhe Wang ， Qi Tian ， Jianyuan Guo ，Chunjing Xu，and Chang Xu. Ghostnet：廉价操作带来更多功能。在IEEE/CVF计算机视觉和模式识别会议论文集，第1580- 1589页，2020年。8[13] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。进行中-IEEE计算机视觉和模式识别会议的论文集，第770-778页，2016年。一、五、八[14] Gao Huang，Zhuang Liu，Laurens Van Der Maaten，andKilian Q Weinberger.密集连接的卷积网络。在IEEE计算机视觉和模式识别会议论文集，第4700-4708页，2017年。5[15] 加里湾Huang，Manu Ramesh，Tamara Berg，and ErikLearned-Miller. 在野外贴上标签的脸：数据库用于研究无约束环境中的人脸识别。技术报告07-49，马萨诸塞大学阿默斯特，2007年10月。8[16] Yuge Huang，Yuhan Wang，Ying Tai，Xiaoming Liu，Pengcheng Shen ， Shaoxin Li ， Jilin Li ， and FeiyueHuang. Curricularface：深度人脸识别的自适应课程学习损失。在IEEE/CVF计算机视觉和模式识别会议论文集，第5901-5910页8[17] Hiroharu Kato、Deniz Beker、Mihai Morariu、TakahiroAndo、Toru Matsuoka、Wadim Kehl和Adrien Gaidon。微 分 渲 染 ： 一 个 调 查 。 arXiv 预 印 本 arXiv ：2006.12057，2020。3[18] Alex Krizhevsky，Geoffrey Hinton等人，从微小图像中学习多层特征。2009. 8[19] Alexey Kurakin，Ian Goodfellow，Samy Bengio等人。物理世界中的广告实例，2016年。2[20] Alexey Kurakin，Ian J. Goodfellow，Samy Bengio，Yin-peng Dong，Fangzhou Liao