没有合适的资源?快使用搜索试试~ 我知道了~
Hadi Salman*MIThady@mit.eduSaachi Jain*MITsaachij@mit.eduEric Wong*MITwongeric@mit.eduAleksander M ˛adryMITmadry@mit.edu151370通过平滑的视觉变换器实现认证补丁鲁棒性0摘要0认证补丁防御可以保证图像分类器对有界连续区域内的任意变化具有鲁棒性。但是,目前这种鲁棒性是以降低的标准准确性和较慢的推理时间为代价的。我们展示了如何使用视觉变换器实现更好的认证补丁鲁棒性,这种鲁棒性在计算上更加高效,并且不会导致标准准确性的大幅下降。这些改进源于视觉变换器优雅地处理大部分遮蔽图像的固有能力。01. 引言0高风险场景需要开发出确保对一组变换具有鲁棒性的可认证模型。这些技术开始在现实世界中找到应用,例如验证飞机控制器在接近飞机的情况下的安全行为[19],以及确保汽车系统对传感器噪声的稳定性[54]。我们研究了在对抗性补丁的背景下的鲁棒性——一类包含在一个小的连续区域内的任意变化。对抗性补丁捕捉了一系列恶意设计的物理对象的本质,例如对抗性眼镜[44],贴纸/涂鸦[12]和服装[55]。研究人员使用对抗性补丁来欺骗图像分类器[4],操纵物体检测器[18,24]和破坏光流估计[38]。对抗性补丁防御可能很难评估——最近的研究使用更强大的自适应攻击[6,48]打破了几种经验防御[1,16,35]。这促使了认证防御,它可以提供经过证明的鲁棒模型,而无需依赖经验评估。然而,认证保证往往是适度的,并且代价高:标准准确性较差,推理速度较慢。0*平等贡献。我们的代码可在https://github.com/MadryLab/smoothed-vit获得。0例如,最近提出的一种表现最好的方法将标准准确性降低了30%,推理时间增加了两个数量级,同时只对ImageNet上占图像2%的补丁进行了13.9%的鲁棒准确性认证。这些缺点通常被接受为认证的代价,但严重限制了认证防御的适用性。认证鲁棒性真的需要付出如此高的代价吗?0我们的贡献0在本文中,我们展示了如何利用视觉变换器(ViTs)[10]创建具有比以前的工作更高的鲁棒性保证的认证补丁防御。此外,我们还展示了使用ViTs的认证补丁防御实际上可以保持与标准(非鲁棒)模型相当的标准准确性和推理时间。在核心上,我们的方法利用了ViTs中使用的基于令牌的注意力模块的特性,以优雅地处理认证补丁防御中使用的消除图像。具体而言,我们证明了以下内容:0通过平滑的视觉变换器改进保证。我们发现,使用ViTs作为去随机化平滑防御[25]的骨干,可以显著提高认证补丁的鲁棒性。事实上,仅凭这一改变,ImageNet上的认证准确性可以提高多达13%,CIFAR-10上可以提高5%,而模型大小相似的ResNets。0与标准架构相当的标准准确性。我们证明,使用ViTs可以实现具有与标准非鲁棒模型相当的标准准确性的认证防御。特别是,我们最大的ViT在保持类似于非鲁棒ResNet(>70%)的标准准确性的同时,提高了ImageNet上最先进的认证鲁棒性。02. 带有平滑和变换器的可靠补丁防御…Figure 1. Examples of column ablations for the left-most imagewith column width 19px.̸151380更快的推理。我们修改了ViT架构以去除不必要的标记,并将平滑过程简化为...02.1. 准备工作0平滑方法是一类通用的可靠防御方法,它将一个分类器对输入的多个变体的预测组合起来,以创建可靠的预测[7,26]。其中一种获得对抗性补丁鲁棒性的方法是去随机化平滑[25],它将分类器在遮盖了大部分图像的各种图像消融上的预测进行聚合。这些方法通常使用CNNs来评估图像消融,CNNs是计算机视觉任务的常见默认模型。我们的方法的起点是问:卷积架构是否是这个任务的正确工具?我们方法的关键是利用视觉变换器,我们证明它们更能够优雅地处理去随机化平滑中出现的图像消融。0图1.左侧图像的列消融示例,列宽为19像素。0图像消融。图像消融是图像的变体,其中除了一个小部分图像外,其余部分都被遮盖[25]。例如,列消融遮盖整个图像,除了一个固定宽度的列(见图1的示例)。我们主要关注列消融,并在附录G中探索更一般的块消融。0对于一个大小为h×w的输入图像x,我们用Sb(x)表示所有可能的宽度为b的列消融的集合。列消融可以从任意位置开始并绕过图像,因此Sb(x)中总共有w个消融。0去随机化平滑。去随机化平滑[25]是一种常用的用于可靠补丁防御的方法,它构建了一个由两个主要组件组成的平滑分类器:(1)基分类器,(2)用于平滑基分类器的图像消融集合。然后,得到的平滑分类器返回最频繁的预测:0基分类器在消融集合Sb(x)上的预测数量。具体来说,对于输入图像x、消融集合Sb(x)和基分类器f,平滑分类器g定义为:0g(x) = arg max c n_c(x) (1)0其中n_c(x) = ...0x' ∈ Sb(x) I { f(x') =c }0表示被分类为类别c的图像消融的数量。我们将平滑分类器正确分类的图像的比例称为标准准确率。如果最频繁类别的消融数量超过第二频繁类别的数量差距足够大,那么平滑分类器对于输入图像是可靠的。直观地说,较大的差距使得对抗性补丁无法改变平滑分类器的预测,因为补丁只能影响有限数量的消融。具体来说,令Δ为补丁能够同时与消融集合Sb(x)相交的最大消融数量(例如,对于大小为b的列消融,一个m×m的补丁最多能与Δ=m+b-1个消融相交)。然后,如果对于预测类别c的输入x,平滑分类器满足以下条件,则平滑分类器在输入x上是可靠的:0n_c(x) > max c' ≠ c n_c'(x) + 2Δ. (2)0如果满足这个阈值,即使对抗性补丁破坏了它所交叉的每个消融,最频繁的类别也保证不会改变。我们将平滑分类器的预测中既正确又可靠(根据方程2)的比例称为可靠准确率。0视觉变换器。我们方法的一个关键组成部分是视觉变换器(ViT)架构[10]。与卷积架构不同,ViTs使用自注意力层而不是卷积层作为其主要构建模块,并受到自注意力在自然语言处理中的成功启发[49]。ViTs通过三个主要阶段处理图像:01.标记化:ViTs将图像分割成p×p个补丁。然后,每个补丁被嵌入到一个位置编码的令牌中。02.自注意力:然后,一组令牌通过一系列多头自注意力层[49]。03.分类头:将得到的表示输入到全连接层进行分类预测。151390图2.平滑的视觉变换器示意图。对于给定的图像,我们首先生成一组消融。我们将每个消融编码为令牌,并丢弃完全遮蔽的令牌。然后,每个消融的剩余令牌被输入到一个视觉变换器中,为每个消融预测一个类别标签。我们预测在所有消融中预测最多的类别,并使用与第二名类别的差距来进行鲁棒性认证。0最近的研究探讨了ViTs在各种环境中是否能提高鲁棒性。ViTs最初似乎比CNN对自然和对抗扰动更鲁棒[36]。然而,最近的研究表明这可能并非如此[2]。在附录B中,我们证明了标准的ViTs和CNN都可以轻松地被简单的补丁攻击破坏。02.2.平滑的视觉变换器0视觉变换器的两个核心特性使得ViTs在处理去随机平滑中出现的图像消融时特别有吸引力。首先,与CNN不同,ViTs将图像处理为一组令牌。因此,ViTs具有从输入中简单丢弃不必要令牌和“忽略”图像大区域的自然能力,这可以大大加快图像消融的处理速度。此外,与局部操作的卷积不同,ViTs中的自注意机制在每一层都在全局范围内共享信息[49]。因此,人们会期望ViTs更适合分类图像消融,因为它们可以动态地关注小的、未被遮蔽的区域。相比之下,CNN必须逐渐在多个层上建立其感受野并处理被遮蔽的像素。基于这些直觉,我们的方法利用ViT架构作为处理去随机平滑中使用的图像消融的基础分类器。我们首先证明这些平滑的视觉变换器能够在不损失太多标准准确性的情况下大大提高鲁棒性保证(第3节)。然后,我们修改ViT架构和平滑过程,大大加速平滑ViT的推理成本(第4节)。我们在图2中概述了我们的方法。0设置。我们主要关注列平滑设置,并将块平滑结果推迟到附录G。我们考虑CIFAR-10[22]和ImageNet[9]数据集,以及0我们在三种尺寸的视觉变换器上进行分析,分别是ViT-Tiny(ViT-T)、ViT-Small(ViT-S)和ViT-Base(ViT-B)模型[10,51]。我们与类似规模的残差网络进行比较,分别是ResNet-18、ResNet-50[17]和WideResNet-101-2[60]。我们的实验设置的更多细节请参见附录A。探索数据增强的进一步实验请参见附录C。03.改进ViTs的认证和标准准确性0回想一下,尽管经过认证的补丁防御可以保证对补丁攻击的鲁棒性,但这种鲁棒性通常并非免费。实际上,与典型的(非鲁棒性)模型相比,经过认证的补丁防御往往具有较低的标准准确性,同时提供了相对有限的(认证的)鲁棒性。0在本节中,我们展示了如何使用ViTs显著提高认证贴片防御的标准和认证准确性。为此,我们首先通过实验证明,与传统的卷积网络相比,ViTs更适合用于分类去随机平滑中使用的图像消融(第3.1节)。具体而言,仅仅通过这种架构的改变就可以得到标准和认证准确性显著提高的模型。然后,我们展示了如何通过精选的平滑参数使平滑后的ViTs具有与典型(非鲁棒)模型相当的标准准确性,而不会牺牲太多的认证性能(第3.2节)。0我们的ImageNet和CIFAR-10结果总结如表1和表2所示。我们还包括了评估一批图像的推理时间,使用了第4节中描述的修改方法。更多实验范围的表格请参见附录H。ResNet-50 (b = 19)51.522.818.315.3149.5ViT-S (b = 19)63.536.831.627.914.0WRN-101-2 (b = 19)61.433.328.124.1694.5ViT-B (b = 19)69.343.838.334.331.5ViT-B (b = 37)73.243.038.234.158.7ViT-B (b = 19, s = 10)68.336.936.931.43.2CBN [63]84.244.29.3DS [25]*83.968.956.2PG [56]†84.7†69.2†57.7†ResNet-50 (b = 4)86.471.659.0ViT-S (b = 4)88.475.063.8WRN-101-2 (b = 4)88.273.962.0ViT-B (b = 4)90.878.167.6151400表1. 我们的ImageNet结果总结以及与文献中的认证贴片防御方法(Clipped Bagnet (CBN)、B AG C ERT、Derandomized Smoothing(DS)和PatchGuard (PG))的比较:Time表示推理1024张图像的时间,b是消融尺寸,s是消融步长。附录H中有扩展版本的表格。0ImageNet上的标准和认证准确率(%)0标准 1%像素 2%像素 3%像素 时间(秒)0基准模型0标准 ResNet-50 76.1 — — — 0.67 WRN-101-2 78.9 — — — 3.1 ViT-S 79.9 —— — 0.4 ViT-B 81.8 — — — 0.95 CBN [ 63 ] 49.5 13.4 7.1 3.1 3.05 B AG C ERT[ 32 ] ‡ 45.3 — 22.9 — 8.60 DS [ 25 ] * 44.4 17.7 14.0 11.2 149.5 PG [ 56 ] † 55 .1 † 32 . 3 † 26 . 0 † 19 . 7 † 3 . 050平滑模型0表2.我们的CIFAR-10结果总结以及与文献中的认证贴片防御方法(ClippedBagnet (CBN)、Derandomized Smoothing (DS)和PatchGuard(PG))的比较:这里,b是32像素中的列消融尺寸。附录H中有扩展版本的表格。0CIFAR-10上的标准和认证准确率(%)0标准 2 × 2 4 × 40基准模型0平滑模型03.1. ViTs在图像消融上优于ResNets。0我们首先独立地研究了使用ViT而不是ResNet作为去随机平滑的基分类器的效果。具体来说,我们保持所有平滑参数不变,只改变基分类器。根据[25]的方法,我们使用列消融宽度为b=4进行实验。0对于CIFAR-10,我们使用b=4的列消融宽度,对于ImageNet,我们使用b=19的列消融宽度进行训练和认证。0消融准确性。去随机平滑的性能完全取决于基分类器能否准确分类消融图像。因此,我们测量了ViTs和ResNets在不同消融尺寸下对列消融图像进行分类的准确性,如图3所示。我们发现,与相同尺寸的ResNets相比,ViTs在这些消融上的准确性显著更高。例如,在ImageNet上,ViT-S在消融上的准确性比ResNet-50高出多达12%。0认证贴片鲁棒性。接下来,我们测量改进的消融准确性对认证准确性的影响。我们发现,在去随机平滑中使用ViT作为基分类器可以大幅提高认证准确性,相比之下0*我们发现,如果我们使用基于早停的模型选择,ResNets可以实现比[25]报告的更高的认证准确率。我们在附录A中进一步阐述。†PatchGuard防御使用特定的掩码大小,保证对小于该掩码的补丁具有鲁棒性,并且对较大的补丁没有保证。在这个表格中,我们报告了它们的最佳结果:每个补丁大小对应一个单独的模型,对较大的补丁实现0%的认证准确率。有关各个模型之间的比较,请参见附录H。‡没有可用的代码,所以我们从论文中提取了数据。210406080153530405013110255075020801000204060151410消融大小(像素)0消融准率%0(基准分类器)0ViT-TResNet-18ViT-SResNet-50ViT-BWRN-1010(a)CIFAR-100消融大小(像素)0消融准率%0(基准分类器)0ViT-TResNet-18ViT-SResNet-50ViT-BWRN-1010(b)ImageNet0图3.CIFAR-10和ImageNet上模型在列消融图像上的准确率。模型在宽度为b = 19的ImageNet和b =4的CIFAR-10上进行训练,并在一系列消融大小上进行评估。ViTs在图像消融上的表现优于ResNets。0补丁大小(像素)0认准率%0(平滑分类器)0ViT-TResNet-18ViT-SResNet-50ViT-BWRN-1010(a)CIFAR-100补丁大小(像素)0认准率%0(平滑分类器)0ViT-TResNet-18ViT-SResNet-50ViT-BWRN-1010(b)ImageNet0图4.ViT和ResNet模型在CIFAR-10和ImageNet上的认证准确率对比,针对不同的对抗性补丁大小。认证是使用固定的消融大小b =4对CIFAR-10和b = 19对ImageNet进行的(如[25]中所述)。0如图4所示,在模型大小和对抗性补丁大小的范围内,ViTs相对于ResNets表现出更好的性能。例如,在ImageNet上的32×32对抗性补丁(图像的2%)上,平滑的ViT-S相比平滑的ResNet-50提高了14%的认证准确率,而更大的ViT-B达到了标准准确率。039%的认证准确率,远高于最高报告的26%的基准[56]。0标准准确率。我们进一步发现,平滑的ViTs可以缓解先前提出的认证防御中标准准确率的急剧下降,特别是对于更大的架构和数据集。实际上,平滑的ViT-B在ImageNet上仍然保持69%的准确率,比最佳先前工作的标准准确率高出14.2%(表1)。在附录H中可以找到平滑模型和非鲁棒模型性能之间的全面比较。03.2. 消融大小很重要0在前一节中,我们将列消融的宽度固定为b =19,用于在ImageNet上进行去随机平滑,遵循[25]的方法。我们现在证明,正确选择消融大小可以进一步提高标准准确率,即在ImageNet上提高4%,而不会牺牲认证性能。具体来说,我们采用在宽度为b =19的列消融上训练的ImageNet模型,并在测试时改变平滑过程使用的宽度。我们在图5中报告了相应的标准和认证准确率,并将有关在训练过程中改变消融大小的其他实验推迟到附录D.1中进行。尽管[25]发现CIFAR-10中认证准确率和标准准确率之间存在陡峭的权衡(我们在附录D.2中验证了这一点),但我们发现对于ImageNet的CNN和ViTs来说并非如此。因此,我们可以显著增加消融大小以提高标准准确率,而不会显著降低认证性能,如图5所示。例如,将列消融的宽度增加到b =37,将平滑的ViT-B模型的标准准确率提高近4%至73%,同时对32×32的补丁保持38%的认证准确率。除了比最佳先前工作的标准准确率高12%之外,该模型的标准准确率仅比非鲁棒的ResNet-50低3%。因此,使用平滑的ViTs,我们可以在ImageNet设置中实现最先进的对补丁攻击的认证鲁棒性,同时获得与非鲁棒ResNets更具可比性的标准准确率。04.使用ViTs进行更快的推断。0使用列消融的去随机平滑是一种昂贵的操作,特别是对于大图像而言。事实上,一个具有h×w像素的图像有w个列消融,因此平滑模型的前向传播比正常前向传播慢w倍——在ImageNet上慢两个数量级。为了解决这个问题,我们首先修改了ViT的架构。15352030401535506070151420消融尺寸(像素)0认准率%0(平滑分类器)0ViT-TResNet-18ViT-SResNet-50ViT-BWRN-1010消融尺寸(像素)0标准率%0(平滑分类器)0ViT-TResNet-18ViT-SResNet-50ViT-BWRN-1010图5:在ImageNet上使用固定消融尺寸b=19训练的一组平滑模型的认证(左)和标准(右)准确率,并在不同的消融尺寸下进行评估。认证准确率在一定范围的消融尺寸下保持稳定,而标准准确率随着消融尺寸的增大而显著提高。0为了避免对掩码像素进行不必要的计算(第4.1节),我们通过跳跃减少消融数量来进一步加速推断(第4.2节)。这两个(互补的)修改大大提高了平滑ViTs的推断时间,使其在速度上与标准(非鲁棒)卷积架构相当。04.1:丢弃掩码令牌。0回想一下,ViT的第一个操作是将输入图像拆分并编码为一组令牌,其中每个令牌对应图像中的一个补丁。然而,对于图像消融,其中许多令牌对应于图像的完全掩码区域。我们的策略是仅传递包含原始图像的未掩码部分的子集令牌,从而避免对完全掩码令牌进行计算。具体而言,给定一个图像消融,我们修改ViT架构执行以下步骤:01:将整个消融图像进行位置编码,得到一组令牌。02:丢弃与输入的完全掩码区域相对应的任何令牌。03:通过自注意力层传递剩余的令牌。0丢弃掩码令牌的算法在算法1中描述,平滑ViT的整体推断过程在算法2中概述。正如人们所预期的那样,由于位置编码保持了剩余令牌的空间信息,当我们丢弃完全掩码令牌时,ViT在图像消融上的准确性几乎不会改变。我们将对这一现象进行详细分析,推迟到附录E中。0计算复杂度。我们现在对该过程的计算复杂度进行一个非正式的总结,并将正式的渐近分析推迟到附录中。0算法1:使用大小为p×p的令牌的ViT对图像消融z∈R3×h×w和掩码m进行处理的机制。ViT被分解为位置编码器E和注意力层V。01:处理消融(z,m)的函数2:T={},初始化一组用于消融的令牌03:对于i,j∈[h/p]×[w/p],执行以下04:如果mip:(i+1)p,jp:(j+1)p=0,则0i+1)p,jp:(j+1)p,i,j)06:结束如果07:结束循环08:返回V(T)09:结束函数0算法2:对输入图像x上的平滑ViT进行前向传播,针对k个类别和消融集合S(x),其中z、m∈S(x)是图像消融z及其对应的掩码m。01:平滑ViT的函数2:对于i∈[k],ci=0,初始化计数为零03:对于z,m∈S(x):04:y = PROCESS A BLATION(z, m)05:c y = c y + 1 // 更新计数06:结束循环07:返回arg max y c y08:结束函数0E.1. 令牌化后,ViT的主要操作类型包括:0•注意力运算符,其成本随令牌数量的平方增长,但随隐藏维度线性增长。0•全连接运算符,其成本随令牌数量线性增长,但随隐藏维度的平方增长。0因此,减少令牌数量直接降低了注意力和全连接运算符的成本,成本以二次和线性速率降低。20600.00.5151430表3.使用消除令牌的平滑ViT相对于平滑ResNet的推理乘法加速,基于1024个图像的批处理,b = 19。0ResNet-18 ResNet-50 WRN-1010ViT-T 5.85x 21.96x 101.99x ViT-S 2.85x10.68x 49.62x ViT-B 1.26x 4.75x 22.04x0对于令牌数量较少的情况,全连接运算符的线性缩放往往占主导地位。因此,处理列消融的成本与列的宽度成线性关系,我们在图6中进行了实证验证。有关如何计时这些模型的更多细节,请参见附录A.4。0消融大小(像素)0前向传时()0(基础分类器)0ViT-T ViT-SViT-B 删除令牌所有令牌0图6.计算ViT在1024个列消融图像上进行前向传递的平均时间,消融大小不同,有无删除掩码令牌。不删除掩码令牌的完整图像处理成本对应于最大的消融大小b = 224。04.2. 平滑ViT的实证加速0平滑分类器必须处理大量的图像消融才能进行预测和验证鲁棒性。因此,直接使用我们的ViT(带有删除的令牌)作为去随机平滑的基础分类器可以加快推理时间。在本节中,我们探讨了平滑的ViT在实践中有多快。我们首先测量了平滑的ViT和平滑的ResNet可以处理的每秒图像数量。我们使用大小为b =19的ImageNet列消融,参考[25]。在描述我们的结果的表3中,我们发现平滑的ViT相对于相似大小的平滑的ResNet具有5-22倍的加速,较大的架构显示出更大的增益。值得注意的是,使用我们最大的ViT(ViT-B)作为基础分类器比使用ResNet-18快1.25倍,尽管参数数量增加了8倍。因此,删除掩码令牌可以大大加快平滑的ViT的推理时间,以至于使用大型ViT的速度与使用小型ResNet的速度相当。0跨步消融。我们现在考虑一种补充手段来加速平滑分类器:通过跨步消融直接减小消融集的大小。具体而言,我们可以对给定步幅s,对每个第s个消融进行子采样。跨步消融可以将消融的总数(从而加快推理速度)减少s倍,而不会对标准或认证准确性造成实质性的损害(表1)。我们在附录F中对此进行了更详细的研究。跨步消融结合第4.1节中的删除令牌优化,使得平滑的ViT的推理时间与标准(非鲁棒)模型相当。例如,当使用步幅s =10和删除掩码令牌时,平滑的ViT-S仅比标准ResNet-50的单个推理步骤慢2倍,而平滑的ViT-B仅慢5倍。我们在表1中报告了这些模型的推理时间以及它们的标准和认证准确性。05. 相关工作0认证防御。大量研究已经研究了对抗扰动的认证或可证明的防御方法。这一研究领域主要分为三类:更严格或准确的验证器[11,21,31,46,57],基于凸松弛的防御[14,15,33,37,43,50,52,53,62]和基于平滑的防御[7,23,25,27,28,41,42,58]。在补丁的情况下,最早的认证防御使用了凸松弛的一个实例(区间边界)来推导对对抗性补丁的可证明保证[6]。随后的工作[26]集中在随机平滑上。这种方法通过随机噪声平滑分类器,但使用起来非常昂贵(比标准的非鲁棒模型慢4-5个数量级)[7,26]。最近,[29]提出了一种基于随机裁剪的变体,其性能与[25]相似,但在最坏情况下的补丁变换下具有更好的保证。0确定性平滑。为了减轻随机平滑的昂贵推理时间,[25]提出了去随机化平滑,它使用有限的一组消融来平滑基础分类器。这大大减少了平滑的计算要求,但仍比标准模型慢两个数量级。其他几种防御措施,包括Clipped BagNet[63],BAGCERT [32]和PatchGuard[56],依赖于限制模型的感受野。这些方法比去随机化平滑更快,但有其他限制。ClippedBagNet(CBN)的鲁棒性保证明显较弱,低于去随机化平滑。BAGCERT的鲁棒性保证高于CBN,但标准准确性较低。PatchGuard的保证更高,但易碎:防御模型是最佳防御的。151440针对特定补丁尺寸进行防御,并且对于稍微大于所考虑的补丁的补丁几乎没有任何鲁棒性。0经验方法:攻击和防御。另一方面的研究探讨了生成对抗性补丁和设计经验性防御的经验方法。已经为下游任务开发了对抗性补丁,例如图像分类[20],目标检测[5,13,30]和人脸识别[3,44,45]。其中几种攻击在物理领域中起作用[4,5,13],并且可以成功地针对诸如交通标志识别[5,13]之类的任务。对这些攻击的启发式防御包括水印[16]和梯度平滑[35];然而,这些防御措施被证明容易受到自适应攻击的攻击[6]。最近,[39]提出了一种对抗性训练方法,[34]提出了一种强大的注意力模块,以提高对补丁攻击的经验鲁棒性。0视觉变换器。我们的工作利用了视觉变换器(ViT)架构[10],该架构将语言环境中的流行注意力模型调整为视觉环境。最近的工作[47]发布了更高效的训练方法以及预训练的ViT,使这些架构更容易被广大研究社区使用。06. 结论0我们展示了在平滑框架中应用视觉变换器(ViTs)如何显著提高对对抗性补丁的认证鲁棒性,同时保持与常规(非鲁棒)模型相当的标准准确性。此外,我们提出了对ViT架构和相应的平滑过程进行的改进,大大加快了与之前的平滑方法相比的推理时间,速度提高了两个数量级,只比常规ResNet慢2-5倍。我们相信,这些改进最终确立了对对抗性补丁具有可证明鲁棒性的模型作为标准(非鲁棒)模型的可行替代方案。0局限性。与其他认证防御方法类似,我们的方法专门针对贴片攻击,并不能保证对超出此威胁模型范围的攻击具有鲁棒性。此外,尽管我们的方法比其他平滑模型快得多,但平滑的ViT模型仍然比标准(非鲁棒)模型稍慢。最后,如果图像中的预测信号仅来自图像的一个小区域,那么我们的模型的标准准确性可能会受到影响,因为该区域可能在许多图像消融中不存在。0潜在的负面影响。我们的工作可能会给模型带来过度自信的负面影响。在测试时,我们的鲁棒性保证确保预测是稳定的,但可能不一定正确,从而产生虚假的自信感。此外,用户可能会错误地从我们对贴片鲁棒性的保证中推断出其他形式的鲁棒性。本文提出的保证是鲁棒性保证,而不是正确性保证,即我们的模型可以保证在某个图像区域被操纵时预测是稳定的,但不能保证预测是正确的。因此,我们鼓励用户在使用我们的技术之前注意这些细微差别。07. 致谢0本工作部分得到了NSF资助的CCF-1553428和CNS-1815221以及OpenPhilanthropy的支持。本材料基于国防高级研究计划局(DARPA)根据合同号HR001120C0015的支持进行的工作。研究得到了美国空军研究实验室和美国空军人工智能加速器的赞助,并在合作协议号FA8750-19-2-1000下完成。本文件中包含的观点和结论是作者的观点,不应被解释为代表美国空军或美国政府的官方政策,无论是明示还是暗示。尽管有版权声明,但美国政府有权为政府目的复制和分发再版。0参考文献0[1] Mitali Bafna,Jack Murtagh和Nikhil Vyas.阻挠对抗性示例:一种l_0-稳健稀疏傅立叶变换。arXiv预0[2] Yutong Bai, Jieru Mei, Alan Yuille, and Cihang Xie.Transformers是否比CNN更具鲁棒性?arXiv预印本arXiv:0[3] Avishek Joey Bose和Parham Aarabi.使用基于神经网络的约束优化对人脸检测器进行对抗性攻击。在2018年IEEE第20届多媒体信号处理国际研讨会(MMSP)中,2018. 80[4] Tom B. Brown, Dandelion Mané, Aurko Roy,Martín Abadi, and Justin Gilmer. Adversarial patch,0[5] Shang-Tse Chen,Cory Cornelius,JasonMartin和Duen Horng Polo Chau.Shapeshifter:对更快的R-CNN目标检测器进行稳健的物理对抗攻击。在机器学习和数据库知识发现的联合欧洲会议上,页码52-68。Springer,2018. 8151450[6] Ping-yeh Chiang, Renkun Ni, Ahmed Abdelkader,Chen Zhu, Christoph Studor, and Tom Goldstein.Certified defenses for adversarial patches. arXiv0[7] Jeremy M Cohen,Elan Rosenfeld和J Zico Kolter.通过随机平滑实现认证的对抗性鲁棒性。在国际机器学习会议(ICML)上,2019. 2, 70[8] Ekin D Cubuk, Barret Zoph, Jonathon Shlens, andQuoc V Le. Randaugment: Practical dataaugmentation with no separate search. arXiv preprint0[9] Jia Deng,Wei Dong,Richard Socher,Li-JiaLi,Kai Li和Li Fei-Fei.ImageNet:一个大规模的分层图像数据库。在计算机视觉0[10] Alexey Dosovitskiy,Lucas Beyer,AlexanderKolesnikov,Dirk Weissenborn,Xiaohua Zhai,ThomasUnterthiner,Mostafa Dehghani,MatthiasMinderer,Georg Heigold,Sylvain Gelly等.一幅图像相当于16x16个单词:用于图像识别的Transformer模型. 在国际学习表示会议(ICLR)上,2021年. 1, 2, 3, 8, 120[11] Rüdiger Ehlers. 对分段线性前馈神经网络的形式验证.在自动化技术用于验证和分析会议上,2017年. 70[12] Ivan Evtimov,Kevin Eykholt,EarlenceFernandes,Ta- dayoshi Kohno,Bo Li,AtulPrakash,Amir Rahmati和Dawn Song.对机器学习模型的物理世界的强健攻击.0[13] Kevin Eykholt,Ivan Evtimov,EarlenceFernandes,Bo Li,Amir Rahmati,FlorianTramer,Atul Prakash,Tadayoshi Kohno和Dawn Song.0[14] Sven Gowal,Krishnamurthy Dvijotham,RobertStan- forth,Rudy Bunel,Chongli Qin,JonathanUesato,Relja Arandjelovic,TimothyMann和Pushmeet Kohli.关于区间边界传播在训练可验证鲁棒模型中的有效性.0[15] Sven Gowal,Krishnamurthy DjDvijotham,Robert Stanforth,Rudy Bunel,ChongliQin,Jonathan Ue- sato,Relja Arandjelovic,TimothyMann和Push- meet Kohli.可扩展的验证训练以实现可证明的鲁棒图像分类.在IEEE/CVF国际计算机视觉会议论文集中,2019年. 70[16] Jamie Hayes. 关于可见对抗扰动和数字水印的研究.在IEEE计算机视觉和模式识别会议研讨会论文集中,页1597-1604,2018年. 1, 80[17] Kaiming He,Xiangyu Zhang,ShaoqingRen和Jian Sun. 深度残差学习用于图像识别. 在0计算机视觉和模式识别会议(CVPR),2016年. 3, 120[18] Shahar Hoory,Tzvika Shapira,AsafShabtai和Yuval Elovici.用于规避目标检测模型的动态对抗性补丁.0[19] Kyle D Julian和Mykel J Kochenderfer.为基于神经网络的飞行器防撞系统提供安全保证.在2019年IEEE/AIAA第38届数字航电系统会议上,页1-10.IEEE,2019年. 10[20] Danny Karmon,Daniel Zoran和Yoav Goldberg.Lavan: 本地化和可见的对抗性噪声.在国际机器学习会议上,页2507-2515. PMLR,2018年. 80[21] Guy Katz,Clark Barrett,David Dill,KyleJulian和Mykel Kochenderfer. Reluplex:用于验证深度神经网络的高效SMT求解器.在计算机辅助验证国际会议上,2017年. 70[22] Alex Krizhevsky. 从微小图像中学习多层特征.0[23] Mathias Lecuyer,Vaggelis Atlidakis,RoxanaGeam- basu,Daniel Hsu和Suman Jana.具有差分隐私的对抗性示例的认证鲁棒性.0[24] Mark Lee和Zico Kolter.关于物理对抗性补丁用于目标检测的研究.0[25] Alexander Levine和Soheil Feizi.(de)随机平滑以对抗修补攻击进行可证明的防御.arXiv预印本arXiv:2002.10733, 2020. 1, 2, 4, 5, 7, 12, 13,0[26] Alexander Levine和Soheil Feizi.通过随机消融实现稀疏对抗攻击的鲁棒性证书.在AAAI人工智能会议论文集中,卷34,页4585-4593,2020年. 1, 2, 7, 130[27] Alexander Levine和SoheilFeizi。Wasserstein平滑:对Wasserstein对抗性攻击的认证鲁棒性。在人工智能和统计国际会议上,页3938-3947。PMLR,2020年。70[28] Bai Li,Changyou Chen,Wenlin Wang和LawrenceCarin。通过添加噪声进行认证的对抗性鲁棒性。arXiv预印0[29] Wan-Yi Lin,Fatemeh Sheikholeslami,jinghaoshi,Leslie Rice和J ZicoKolter。通过随机裁剪对抗性贴片攻击的认证鲁棒性。在ICML 2021对抗机器学习研讨会上,2021年。70[30] Xin Liu,Huanrui Yang,Ziwei Liu,Linghao Song,HaiLi和YiranChen。Dpatch:对物体检测器的对抗性贴片攻击。arXiv预印本151460arXiv:1806.02299,2018年。80[31] Alessio Lomuscio和LalitMaganti。用于前馈ReLU神经网络的可达性分析方法。在ArXiv预印本arXiv:1706.07351,2017年。70[32] Jan Hendrik Metzen和MaksymYatsura。对图像分类器的贴片攻击的高效认证防御。在学习表
下载后可阅读完整内容,剩余1页未读,立即下载
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 京瓷TASKalfa系列维修手册:安全与操作指南
- 小波变换在视频压缩中的应用
- Microsoft OfficeXP详解:WordXP、ExcelXP和PowerPointXP
- 雀巢在线媒介投放策划:门户网站与广告效果分析
- 用友NC-V56供应链功能升级详解(84页)
- 计算机病毒与防御策略探索
- 企业网NAT技术实践:2022年部署互联网出口策略
- 软件测试面试必备:概念、原则与常见问题解析
- 2022年Windows IIS服务器内外网配置详解与Serv-U FTP服务器安装
- 中国联通:企业级ICT转型与创新实践
- C#图形图像编程深入解析:GDI+与多媒体应用
- Xilinx AXI Interconnect v2.1用户指南
- DIY编程电缆全攻略:接口类型与自制指南
- 电脑维护与硬盘数据恢复指南
- 计算机网络技术专业剖析:人才培养与改革
- 量化多因子指数增强策略:微观视角的实证分析
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)