可认证补丁防御中的视觉Transformer方法及其在补丁攻击下的准确率改进

15148×用视觉Transformer实现实用的可认证补丁防御陈兆宇1*李波2*<$徐江河2吴爽2丁守宏2张文强1<$1复旦大学工程技术研究院2腾讯优图实验室{zhaoyuchen20，wqzhang} @ fudan.edu.cn{ libraboli，jankosxu，calvinwu，ericshding} @tencent.com摘要补丁攻击是对抗性样本中最具威胁性的物理攻击形式之一可认证补丁防御可以保证分类器不受补丁攻击的影响现有的可认证补丁防御牺牲了分类器的干净准确性，并且仅在玩具数据集上获得低认证此外，这些方法的清洁和认证的准确性仍然显着低于正常分类网络的准确性，这限制了它们在实践中的应用。为了实现实用的可认证补丁防御，我们将视觉转换器（ViT）引入去随机平滑（DS）框架中。具体来说，我们提出了 一 个 渐 进 的 平 滑 图 像 建 模 任 务 来 训 练 视 觉Transformer，它可以捕获图像的更具辨别力的局部上下文，同时保留全局语义信息。为了在现实世界中进行有效的推理和部署，我们创新地将原始ViT的全局自注意结构在Ima-geNet上，在2%面积补丁攻击下，我们的方法达到了41.70%的认证准确率，比以前的最佳方法（26.00%）提高了近1倍。同时，我们的方法达到78.58%的清洁精度，这是相当接近正常的ResNet-101精度。大量的实验表明，我们的方法在CIFAR- 10和ImageNet上有效地推断，获得了最先进的干净和认证的准确性。1. 介绍尽管在各种计算机视觉任务上取得了出色的性能[18，19，22补丁攻击是最具威胁性的对抗形式之一，*表示平等捐款。†表示通讯作者。其可以任意修改连续区域中的像素，并且可以经由自治系统的感知组件对自治系统实施物理攻击例如，在交通信号灯上放置贴纸会使模型预测错误[10]。虽然提出了几种实用的补丁防御[12，30]，但它们仅对已知的攻击具有鲁棒性，而对未来可能开发的更强大的攻击没有鲁棒性[5，35]。因此，我们专注于可认证的防御补丁攻击在本文中，它允许保证鲁棒性对所有可能的攻击给定的威胁模型。近年来，这个社区受 到 了 极 大 的 关 注 。 例 如 ， Chiang 等 人 通 过 在CIFAR10上扩展区间边界传播（IBP）[5]随后的工作引入了小感受野或随机平滑，以改进CIFAR10的认证并扩展到ImageNet。然而，可认证的补丁防御和正常模型之间的精度差距例如，PatchGuard [39]可以在CIFAR10上的4 4个补丁下实现84.7%的清洁准确率和57.7%的认证然而，当Patch- Guard [39]扩展到大规模数据集（如Ima-geNet）时，它只能在2%的补丁下获得54.6%的干净准确率和26.0%的认证准确率，远低于正常的ResNet-50 [13]（76.2%）。 因此，迫切需要一个突破，以缩小差距，走向实用的可认证补丁防御。最近，Transformer [36]在语音识别和自然语言处理方面取得了重大成就。受此启发，Vision Transformer（ViT）[9]已被提出，并在计算机视觉中获得了潜在的性能，例如图像分类[1，9]，对象检测[4]和语义分割[1]。ViT模型的背景下，不同的补丁，并获得长期依赖性的自我注意。与卷积神经网络（CNN）相比，ViT已经取得了令人鼓舞的性能，这有可能改善认证。此外，去随机平滑（DS）[21]是一种基于随机平滑鲁棒性方案的经典可认证补丁防御，并通过结构化消融提供高置信度的认证鲁棒性。也可以推广到15149其他网络架构。因此，将ViT整合到DS中是一种潜在的可认证补丁防御。然而，用ViT直接替换DS中的CNN结构会导致微不足道的结果：（1）分类精度仍低于常规分类网络，（2）推理时间过长限制了该方法在实际中的应用。为了解决这些问题，走向实用的可认证补丁防御，我们提出了一个有效的可认证补丁防御与ViT，以提高准确性和推理效率。首先，我们引入了一个渐进的平滑图像建模任务来训练ViT。具体地，训练目标是基于平滑的图像带逐渐恢复原始图像令牌。通过逐步重构，基分类器可以显式地捕获图像的局部上下文，同时保留全局语义信息。因此，通过非常有限的图像信息（薄的平滑图像带）可以获得然后，我们翻新的全局自注意结构的原始ViT到孤立的带单元的自注意。将输入图像划分为多个波段，分别计算每个波段单元的自关注度，为多波段的并行计算提供了可行性。最后，我们的方法在ImageNet上实现了78.58%的干净准确率，在2%区域补丁攻击下的有效推理中实现了41.70%的认证准 确率。清洁精 度非常接近正 常的ResNet-101精度。大量的实验表明，我们的方法在CIFAR- 10和ImageNet上有效地推断，获得了最先进的干净和认证的准确性我们的主要贡献如下：• 我们将ViT引入到可认证补丁防御中，并提出了一种渐进平滑的图像建模任务，该任务使模型在保留全局语义信息的同时捕获图像的更多可区分的局部上下文• 我们将ViT的全局自注意结构更新为孤立的带单元自注意，从而大大加快了推理速度。• 实验结果表明，该方法在CIFAR-10和ImageNet上的推理效果良好，具有最高的准确率。此外，我们的方法实现了78.58%的清洁准确率在Ima-geNet和41.70%的认证准确率在2%的面积补丁攻击下的有效清洁精度非常接近正常的ResNet-101精度。2. 相关工作2.1. 补丁攻击补丁攻击是最具威胁性的物理攻击形式之一，其中对手可以任意修改-使小的连续区域内的像素变小。GAP [3]首先在现实世界中创建通用的，鲁棒的，有针对性的对抗图像补丁，并使分类器输出任何目标类。然后LaVAN [17]表明，可以学习仅覆盖图像中2%像素的可见和局部对抗补丁，并导致图像分类器错误分类为数字域中的任意标签。由于补丁攻击可以以贴纸的形式在物理世界中实现，因此对视觉系统带来了极大的危害，如目标检测[16，38]和视觉跟踪[8]。2.2. 可认证补丁防御提出了几种实用的补丁防御方法，如数字水印[12]和局部梯度平滑[30]。然而，Chiang等人[5]证明了这些防御可以很容易地被白盒攻击破坏，白盒攻击是优化过程中的预处理步骤。这意味着实际的补丁防御只能获得对已知攻击的鲁棒性，而不能抵抗未来可能开发的更强大的因此，重要的是要保证在面对最坏情况的对抗补丁时的鲁棒性。最近的工作[27]侧重于针对补丁攻击的认证防御，这允许针对给定威胁模型的所有可能攻击的 保 证 鲁 棒 性 。 Chiang 等 人 。 [5] 通 过 在 MNIST 和CIFAR10上扩展区间边界传播（IBP），提出了第一个针 对 补 丁 攻 击 的 可 认 证 防 御 然 而 ， 很 难 扩 展 到ImageNet。Levine等人提出了去随机化平滑（DS）[21]，它通过平滑图像训练基本分类器，并通过多数投票确定最终分类。与ImageNet上的IBP相比，该方法提供了显着的准确性提高，但其推理计算量很大。一些工作是基于使用具有小感受野的CNN，例如ClippedBagNet （ CBN ） [43] ， Patch- guard [39] 和 BagCert[29]。2.3. 视觉TransformerTransformer [36]是自然语言处理领域的主流方法，它通过自我注意捕获远程依赖性并实现最先进的性能。Vision Transformer（ViT）[9]是第一个实现与仅由自注意块构建的传统CNN架构相当的结果的工作。该算法将图像划分为一系列固定大小的块，并对不同块之间的上下文进行建模，通过多头自注意获得长距离依赖关系。现有的可认证补丁防御的准确性和认证的鲁棒性我们将ViT引入可认证的补丁防御与渐进平滑的图像建模任务。利用孤立波段单元自注意，我们的方法在准确性和推理效率上都有显著的提高15150∈Σ∈−×......波段平滑(a) 带平滑（b）去随机化平滑图1.介绍去随机平滑（DS）。红色斑块表示对抗斑块，蓝色条带表示（a）中的条带平滑之后的保留图像。(b)描述了DS的流水线。首先，DS在带平滑中平滑图像，并且从不同位置获得平滑图像。然后将平滑后的图像输入到基分类器fc中，通过阈值θ得到分类结果。最后，DS对结果进行计数并应用等式2来判断图像是否被认证。算法1渐进平滑图像建模任务输入：图像x、标签Y、标记器Z、变换器编码器f、加权因子λ、MLP头mlp和级数Ns输出：f，mlp1：对于i [1，Ns]，2：平滑图像x并获得平滑图像xs3：确定预期的重建图像xe4：通过符号化器Z用x计算视觉符号z5：通过Transformer编码器f计算输出表示HO与xe6：通过MLP头mlp计算具有HO的logitsl7：通过等式3和等式4选择重构的令牌HR和对应的视觉令牌ZR8：通过公式5或公式6计算损失L9：从L向后更新f和mlp10：结束11：返回f，mlp这实现了实际的可认证补丁防御。3. 方法在本节中，我们首先回顾DS的认证机制。其次，我们提出了一个渐进的平滑图像建模任务，以帮助ViT捕获图像的更具辨别力的局部上下文，同时保留全局语义信息。最后，我们提出了隔离带单元的自我注意力，以加速推理，走向实用的可认证的补丁防御。3.1. 预赛去随机平滑中的平滑意味着保持连续图像的一部分并且平滑连续图像的其他部分。形象例如，如图1（a）所示，带平滑意味着平滑除固定宽度bDS用平滑的图像训练基本分类器。对于输入图像x Rc×h ×w，让基本分类器表示为fc（x，b，p，θ），其中x是输入图像，b是频带的宽度，p是保留频带的位置，θ是用于投票的阈值，c是类别标签。对于每个类c，如果类c的logits大于阈值θ，则fc（x，b，p，θ）为1，否则为0。为了计算经认证的鲁棒性，DS对基础分类器应用于每个类别的频带的数量进行计数。Wn c（p）=fc（x，b，p，θ）.（一）p=1仅当最高类别的统计数据（例如，标签c）大于下一个最高类别c′的裕度。对抗补丁的形状假设为mm。带和这个补丁之间的交叉点的数量最多是m=m+b1。因此，当图像满足以下条件时，图像被认证：nc（x）>maxnc′（x）+2 π。（二）c′C当阈值θ被确定时，已经保证最高类别不受对抗补丁的影响因此，我们将干净准确度定义为投票后分类正确的准确度认证的准确度是分类正确并且在投票后满足等式2的准确3.2. 渐进平滑图像建模由于基本分类器只能使用非常有限的信息（如波段），因此我们需要基本分类器具有分类结果……保证金计数基地分类器认证等级15151∈∈∈我我i=1我i=1p2我原始图像视觉令牌预计重建图像光滑分词器……重建的令牌选择分类损失重建令牌MLP头平滑图像图像块输出表述展平补片[S](a) 渐进平滑图像建模中的单阶段训练嵌入第一阶段第二阶段第三阶段(b) 渐进平滑图像建模中的重建比图2.渐进平滑图像建模技术简介。(a)描述了渐进平滑图像建模中的单阶段平滑训练。我们期望平滑图像被重建为期望的重建图像。(b)描述了多阶段训练中的重构比率。蓝色框表示平滑之后的条带，红色框表示预期的重构条带。更好地捕捉可辨别特征的能力。具体而言，在自然语言处理中，掩蔽语言建模（MLM）训练范式（如BERT [7]）已被证明在学习更具区分性的特征和提高模型性能方面是有效的。受MLM的启发，我们提出了一个平滑的图像建模任务来训练ViT。然而，与作为词语之间具有密集语义相关性的人类创建的信号的语言不同，作为自然信号，图像中不同部分的视觉内容具有高度的自由度。因此，很难使用宽度为在ViT中，图像被分割成一系列的补丁作为输入。形式上，我们需要将图像x Rc× h × w平坦化为（N=hw/p2）个补丁xpRN×p2c，其中图像x的形状为（h，w），通道数为c，（p，p）为面片的形状（例如p= 16）。补片{xp}N被投影以获得补丁嵌入{Ex}N，其中E Rpc×d，d是嵌入维数。像Bert [7]一样，我们连接类标记E[s]来修补嵌入Exp。同时，为了编码位置信息，我们需要将1D可学习位置嵌入Epos添加到补丁嵌入Exp。 然后，输入向量，tor H= [E，Exp，.，Ex p] +E馈入Transformerb（b）（h，w）重新─和[s]iN阳性在一个阶段中覆盖全尺寸图像令牌。因此，我们使用称为渐进平滑图像建模的多级平滑图像建模任务来训练基类，如图2所示。通过逐步重构平滑后的图像部分，基分类器可以显式地捕获图像的局部上下文，同时保留全局语义信息。因此，可以通过非常有限的图像信息获得更多的区分性局部表示，这提高了基本分类器的性能。H O= [h[s]，h i，.，h N]被用作图像块相对于x的输出表示。在这里，我们首先在渐进平滑图像建模中引入单阶段训练，如图2（a）所示。基于BERT的训练已经在视觉任务中进行了探索困难在于，在计算机视觉中恢复令牌并非易事。为了加速收敛，我们引入了一个标记器作为重构的监督有两种类型的监督重建：VAE和蒸馏。对于VAE，我们使用预先训练的VAE [31]进行su-令牌重构损失Transformer编码器15152i=1·RR联系我们我.Σi=1我i=1我i=1我i=1透视对于蒸馏，我们使用预先训练的ViT [9]的输出进行监督。给定一个平滑图像xs，我们将其分割成N个图像块{x sp}N并获得N个可视代币{z i}N。以xs为中心，我们选择重建频带并生成期望的重建图像。根据期望的重建图像，我们有一个重建令牌选择，以获得重建令牌。 在预期的重建图像中的带亲，p引入对应于补丁x的带掩码{Mb}N这需要建设。因此，重构的标记和对应的视觉标记被改写为：(a) 完全的自我关注HR={hi：Mb= 1}N.（三）ZR={zi：Mb= 1}N.（四）平滑训练的目标是同时最小化分类损失和令牌重建损失。对于VAE，总损失可表示为：(b) 隔离带单元自注意图3.介绍了隔离带单元自注意。(a)描述了平滑部分是冗余的正常训练最小CE（1，Y）cla`ssificcampaigncampaignxloss+λ CE（Z，H）以ke`nrecon.（五）不需要计算。(b)引入了孤立的频带单元自注意力，即平滑部分被丢弃，并且自注意力仅在并行窗口内计算。对于蒸馏，总损失可以表示为：各种平滑图像的推断，这限制了其最小CE（1，Y）cla`ssificcampaigncampaignxloss+λ·||ZR−HR||2符记重建损失.（六）在实践中的应用。平滑图像的平滑部分引入冗余信息和无效计算。如图-这里，l是传递MLP头和Y后的输出logits是x的标签。λ= 1000平衡了令牌重构损失和分类损失之间的梯度。图2（b）示出了重建比在每个阶段内变化。蓝色框表示平滑后的条带在第一阶段，我们随机平滑约40%的图像。剩余60%的图像用于重建整个图像。在第二阶段中，我们平滑掉70%的图像，并利用剩余的30%的频带，以重建以30%频带为中心的邻域内的60%的补丁，包括30%频带。在最后一个阶段中，仅保留宽度为b的频带，并且平滑所有其他部分。具有宽度b的带用于重建以带为中心的邻域我们的方法大大缩小了DS模型和正常模型之间的精度差距，使它有可能实现可认证的补丁防御在实践中。3.3. 孤立带单位自我注意为了实现实用的可认证补丁防御，高准确性需要与有效的推理相结合。通过渐进平滑图像建模，DS提高了清洁和认证的准确性，但是，它需要数百个在图3（a）中，正常平滑利用整个平滑图像，但是对于平滑部分不需要其计算ViT的远程依赖性使用这种冗余信息，这损害了它们的准确性并引入了额外的计算成本。此外，对于每个平滑图像计算一次正向计算是低效的。因此，我们创新性地将原有ViT的全局自注意结构改造为孤立的波段单元自注意。具体地，通过滑动窗口将输入图像划分为波段，并分别计算每个波段单元中的自注意力，为多波段并行计算提供了可行性。如图3（b）所示，我们通过平行滑动窗口选择每个频带的补丁，并在一次前向计算内推断多个频带。在隔离带单元自注意中，窗口是一个带，并且仅在窗口内计算隔离自注意。与正常平滑相比，ViT将xs分割成hw/p2块，并且我们仅选择窗口内的N=hb/p2块自注意操作的整个图像输入的时间复杂度为ON2d+Nd2，其中第一项是注意操作的复杂度，第二项是全连接操作的复杂度。与整体图像的输入相比，孤立的自我注意可以降低图像的视觉效果自我注意单个前向自我注意单个前向法线平滑单个前向自我注意孤立的自我吸引孤立的自我吸引孤立的自我吸引单个前向平行平行平行孤立平滑我15153≫⌈ ⌉表1. ImageNet上模型的参数表4.与ILSVRC 2012上的光滑模型相比，清洁和认证的精度型号BagNet33ViT-sResNet50ResNext101维生素B参数18M 22M 26M 88.79M 86M表2.与CIFAR10上最先进的可认证补丁防御基线CBN84.2044.209.30DS83.9068.9056.20PG84.7069.2057.70BagCert86.0073.3364.90平滑模型ViT-S80.4061.5051.78ECViT-S87.5673.8265.10ResNext10185.3469.3260.68维生素B91.2878.1070.78ECViT-B93.4882.8076.38表3.与ILSVRC 2012上最先进的可认证补丁防御方法清洁认证准确度（%）选择不同的网络作为基本分类器，例如ResNet 50[13]，ResNext 101 - 32 x8 d（ResNext 101）[40]，ViT-S/16-224（ViT-S）和ViT-B/16-224（ViT-B）[9]。在平滑模型，这些方法直接将相应的主干应用到DS中，并 且 都 是 从 ImageNet 预 训 练 模 型 中 微 调 的 [37] 。ImageNet上模型的参数如表1所示。我们在ImageNet上训 练 了 120 个 epoch ， 在 CIFAR10 上 训 练 了 600 个epoch。我们的高效可认证ViT（ECViT）的参数与ViT相同我们从相同的培训ECViT计算量为前者的1而且ViT预训练模型。例如，ECViT-B基于ViT-B，ECViT-S基于ViT-S。对于CIFAR10，我们在亲周期期间为每个阶段训练ECViT 150个时期有WW/B回归平滑图像建模任务和微调150b个相邻窗口同时进行推理，窗口的形状为（h，b）。因此，我们将原来的正演计算由w次改为b（wb）次因此，通过有效的推理，可以在实际系统中部署可认证的补丁防御。4. 实验我们在CIFAR10 [20]和ImageNet [6]上进行了广泛的实验首先，我们将我们的方法与两个数据集上最先进的可认证补丁防御进行此外，我们还进行了消融研究，以调查影响清洁和认证精度的因素。4.1. 实验装置在我们的实验中，我们使用Pytorch进行实现，并在NVIDIA Tesla V100 GPU上进行训练我们孤立带单位自我注意的时期。对于ImageNet，我们在渐进平滑图像建模任务中为每个阶段训练ECViT 30个epoch，并在隔离带单元自注意中微调30个epoch。我们报告了ECViT与区间界限传播（IBP）[5]，去随机化平滑（DS）[21]，裁剪BagNet（CBN）[43]，补丁保护[39]（PG）和BagCert [29]的干净和认证准确性这里，DS基于带平滑，Patchguard基于掩码BagNet[2]。对于渐进平滑图像建模或平滑模型中的每个阶段和微调，我们将优化器设置为AdamW，将损失函数设置为交叉熵损失，将批次大小设置为512，将预热时期设置为5，将学习速率设置为2 e-5，将阈值θ设置为0。2，权重衰减为1 e-8。ECViT在CIFAR10和ImageNet上进行了总共600和120个epoch的训练，与CIFAR10和ImageNet一致方法清洁认证准确度（%）准确度（%）2 ×24 ×4方法清洁准确度（%）认证准确度（%）推理时间（s）1%像素2%像素3%像素ResNet50（b=19）62.0329.0323.5319.7769.00ResNet50（b=25）64.6730.1424.7020.88ResNet50（b=37）67.6027.1521.8618.14ViT-S（b=19）63.8833.0827.7823.8487.13ViT-S（b=25）66.4933.9028.5924.57ViT-S（b=37）69.0133.3728.0724.15ECViT-S（b=19）64.6934.3828.8524.749.66准确度（%）1%像素2%像素3%像素CBN49.5013.407.103.10PG（1%）55.1032.30--PG（2%）54.6026.0026.00-PG（3%）54.1019.7019.7019.70DS64.6730.1424.7020.88BagCert46.00-23.00-ECViT-S（b=37）69.8835.0329.7425.74ECViT-B78.5847.3941.7037.26ResNext101（b=19）69.3640.7434.9730.58567.75ResNext101（b=25）71.9641.8636.0332.17ResNext101（b=37）74.8942.7936.6933.24ViT-B（b=19）66.9234.6528.7124.80136.75ViT-B（b=25）70.5736.7231.1326.80ViT-B（b=37）74.6837.6131.8827.44ECViT-B（b=19）73.4946.8340.7236.2916.6315154××× ××网络带宽大小阶段清洁准确度（%）b=19两级扰动b=25两级b=37两级b=19两级VAEb=25两级b=37两级认证准确度（%）百分之三33.3134.6335.6133.8735.5436.4934.6035.4536.3933.6035.1236.2935.1835.9936.2134.2836.3637.2641.7047.3678.58三级40.7346.5378.4038.7844.4977.95一个阶段40.7946.5675.30三级40.4946.3475.4839.5645.5075.15一个阶段40.7246.8373.49三级39.6945.5073.3038.0043.9172.60一个阶段40.8446.4678.05三级39.9445.5477.9839.2444.8978.05一个阶段40.9346.6375.12三级39.9145.6375.0938.3944.1474.48一个阶段40.0345.7872.93三级39.0144.8772.7837.6443.4972.01一个阶段百分之二百分之一表5. ILSVRC 2012上不同阶段和强化者训练的消融研究。平滑模型4.2. CIFAR10认证根据之前工作的设置[21]，我们对CIFAR10验证集的5，000张图像进行了干净和认证的准确性评估。我们选择了两个补丁大小，包括- ing2 2和4 4。在实验中，图像全部从32上采样到224，并且对于带平滑，带大小b在原始大小32上固定为4。表2显示了针对不同尺寸贴片的清洁和经认证的准确度。实验表明，ECViT能有效地提高平滑ViT的精度，达到最高精度。对于ViT-S，在相同的结构下，ECViT-S将清洁精度提高了7.16%，的13%。我们最好的ECViT-B在2 × 2贴片下仍具有82.80%的认证准确度，93.48%的清洁准确度。4.3. ImageNet认证我们在ILSVRC 2012上评估了我们提出的ECViT，图4. ILSVRC 2012上不同贴片尺寸下的认证准确度。斑块大小表示图像中的对侧斑块的比例。表4显示了与ILSVRC2012上的其他平滑模型相比的干净和经认证的准确度。 与ECViT以外的平滑模型相比，在DS中插入骨干。当图像的批量大小为1024时计算推理时间以完成投票以秒为了模拟实际推理过程，推理时间包含了数据预处理和推理的整个过程所需的时间。在条带大小b= 37的情况下，与ViT-B相比，我们的ECViT-B将清洁精度提高了3.9%。在不同的补丁大小下，认证精度提高了约10%，并且在推理时间上比ViT-B加快了4- 8倍。在平滑模型中，我们实现了最快的推理效率。我们的方法在ILSVRC 2012上获得了最先进的认证，同时保持了78.58%的清洁准确率，非常接近正常的ResNet-101。4.4. 消融研究在本节中，我们主要关注研究阶段数量、不同补丁大小和标记器对干净和认证准确性的影响阶段数。为了验证多阶段渐进平滑图像建模的有效性，我们研究了不同阶段对精度的影响。具体来说，以定值集[32]。ILSVRC2012验证集有50，000张图像，我们测试了整个50，000张图像的清洁准确度和认证准确度。在前人工作[21，39]的基础上，我们选择了1%（2323）、2%（3232）和3%（3939）三种斑块大小。 表3显示了ILSVRC 2012上最新技术水平方法的清洁和认证准确度比较ECViT-B比BagCert两阶段作为示例，两阶段表示在前两个阶段的渐进平滑图像建模之后的其中，总训练时期是相同的一个阶段和三个阶段的含义与两个阶段相似。表5显示了ECViT-B的ILSVRC 2012验证集上不同阶段和标记器的训练。表6反映了CIFAR 10上烧蚀实验的不同阶段清洁和认证的准确性基本上随着训练阶段的增加而增加。实验表明，渐进平滑图像模型，15155带尺寸平滑模型清洁认证准确度（%）∼∼图5.在CI-FAR 10上不同贴片尺寸下的认证准确度。斑块大小表示图像中对抗斑块的比例。表6. CI-FAR 10上不同阶段训练的消融研究。清洁和认证的准确性基本上随着训练阶段的增加而增加。网络波段大小阶段b=2ECViT-SB=4b=2ECViT-B一级二级三级一级二级三级一个阶段b=4两阶段三阶段清洁准确度（%）77.9477.8480.5086.5686.3087.5685.6086.0686.4092.4693.1493.48认证准确度（%）2 ×266.3666.5669.0671.2671.3673.8276.4277.2077.8681.5482.4082.804 ×457.8656.8059.5862.6062.3865.1068.6669.0670.2074.5675.9876.38Eling任务允许基本分类器在保留全局语义信息的同时显式地捕获因此，可以通过非常有限的图像信息（平滑的薄图像带）获得更具鉴别力的局部表示，这提高了基础分类器的性能。贴片尺寸。对抗补丁的大小将极大地影响认证。图4和图5分别反映了ECViT-B在ImageNet和CI-FAR 10上的认证精度变化认证的准确性随着补丁大小变得更大而降低。当补丁大小达到10%时，ECViT-B仍然具有17的认证准确度。00%，39。00%在ImageNet和CIFAR10上。Tokenizer 为了验证渐进平滑图像建模对其他标记器也有效，我们表7.与ILSVRC 2012上的其他tokenizer相比，清洁和认证的准确性。VAE比蒸馏酒好。准确度（%）1%像素2%像素3%像素ViT-B（b=19）66.9234.6528.7124.80b=19我们的（蒸馏）72.9345.7840.0335.61Ours（我们的）73.4946.8340.7236.29ViT-B（b=25）70.5736.7231.1326.80b=25我们的（蒸馏）75.1246.6340.9336.49Ours（我们的）75.3046.5640.7936.21ViT-B（b=37）74.6837.6131.8827.44b=37我们的（蒸馏）78.0546.4640.8436.39Ours（我们的）78.5847.3941.7037.26在ECViT-B上进行以下实验表7展示了不同标记器和其他网络架构的比较。我们可以看到，与ViT-B相比，蒸馏分词器有明显的改进，但仍然低于VAE分词器。这也验证了我们的方法可以适用于不同的标记器。5. 结论可认证的补丁防御可以保证针对给定威胁模型的所有可能攻击的鲁棒性。可认证的补丁防御牺牲了分类器的干净准确性，并且仅在玩具数据集上获得较低的认证准确性，这限制了它们在实践中的应用。为了实现实用的可认证补丁防御，我们将ViT引入DS框架。通过渐进的平滑图像建模和孤立波段单元自注意，我们的ECViT在CIFAR-10和ImageNet上获得了最先进的准确性和高效的推理效率。在我们的工作中，我们希望提供一个新的视角，一个合适的网络架构可以提高补丁防御在实践中的上层局限性和更广泛的影响。尽管假设对抗补丁是正方形而不是矩形或不规则形状的限制，但我们相信ECViT引入了一种实用的可认证补丁防御，以帮助物理系统减轻补丁攻击的威胁。确认本 工 作 得 到 了 国 家 自 然 科 学 基 金（No.62072112）、国家重点研发计划（2020 AAA0108301）、上海市科学技术委员会科技创新行动计划（ No.20511103102 ） 、 复 旦 大 学 -CIOMP 联 合 基 金（ No.FC2019-005 ） 、 双 一 流 建 设 基 金（No.XM03211178）的资助。15156引用[1] 包航波，李东，魏福如。Beit：BERT图像变换器的预训练. CoRR，abs/2106.08254，2021。1[2] 维兰德·布伦德尔和马蒂亚斯·贝奇。在imagenet上，用局部特征袋模型来近似cnns的效果出奇的好在第七届国际学习代表大会上，ICLR 2019，美国路易斯安那州新奥尔良，2019年5月6日日。OpenReview.net，2019年。6[3] 汤姆湾布朗，丹娜曼，奥尔科罗伊，马丁阿巴迪和贾斯汀吉尔默。对抗补丁，2017年。2[4] Zhiyang Chen ， Yousong Zhu ， Chaoyang Zhao ，Guosheng Hu ， Wei Zeng ， Jinqiao Wang ， and MingTang. DPT ： 用 于 视 觉 识 别 的 可 变 形 贴 片 式Transformer。CoRR，abs/2107.14467，2021。1[5] Ping-Yeh Chiang ， Renkun Ni ， Ahmed Abdelkader ，Chen Zhu，Christoph Studer，and Tom Goldstein.对抗补丁的认证防御。在第八届国际学习代表大会上，ICLR2020，亚的斯亚贝巴，埃塞俄比亚，2020年4月26日至30日。OpenReview.net，2020年。一、二、六[6] Jia Deng，Wei Dong，Richard Socher，Li-Jia Li，KaiLi，and Fei-Fei Li. Imagenet：一个大规模的分层图像数据库。2009年IEEE计算机协会计算机视觉和模式识别会议（CVPR 2009），2009年6月20- 25日，美国佛罗里达州迈阿密，第248-255页。IEEE计算机学会，2009年。6[7] 雅各布·德夫林张明伟李肯顿和克里斯蒂娜·图塔诺娃。BERT：用于语言理解的深度双向变换器的预训练。在Jill Burstein，Christy Doran和Thamar Solorio，编辑，2019年计算语言学协会北美分会会议论文集：人类语言技术，NAACL-HLT 2019，明尼阿波利斯，MN，美国，2019年6月2日至7日，第1卷（长论文和短论文），第4171- 4186页计算语言学协会，2019年。4[8] Li Ding ， Yongwei Wang ， Kaiwen Yuan ， MinyangJiang，Ping Wang，Hua Huang，and Z.简·王 对单一目标跟踪的通用物理攻击。在第三十五届AAAI人工智能会议，AAAI 2021，第三十三届人工智能创新应用会议，IAAI 2021，第十一届人工智能教育进展研讨会，EAAI 2021 ， 虚 拟 活 动 ， 2021 年 2 月 2 日 至 9 日 ， 第1236AAAI Press，2021. 2[9] AlexeyDosovitskiy、LucasBeyer、AlexanderKolesnikov、Dirk Weissenborn、Xiaohua Zhai、ThomasUnterthiner 、 Mostafa Dehghani 、 Matthias Minderer 、Georg Heigold、Syl-vain Gelly、Jakob Uszkoreit和NeilHoulsby。一张图像值16x16个单词：用于大规模图像识别的变形金刚。在第九届国际会议上学习代表，ICLR2021，虚拟活动，奥地利，2021年5月3日至7日。OpenReview.net，2021年。一、二、五、六[10] Kevin Eykholt、Ivan Evtimov、Earlence Fernandes、BoLi 、 Amir Rahmati 、 Chaowei Xiao 、 Atul Prakash 、Tadayoshi Kohno和Dawn Song。对深度学习视觉分类的强大物理世界攻击。在2018年IEEE计算机视觉和模式识别会议CVPR 2018上，15157美国犹他州盐湖城，2018年6月18日至22日，第1625-1634页。IEEE计算机学会，2018年。1[11] Ian J. Goodfellow，Jonathon Shlens，Christian Szegedy.解释和利用对抗性的例子。在Yoelvic Bengio和YannLeCun，编辑，第三届国际学习表征会议，ICLR 2015年，美国加利福尼亚州圣地亚哥，2015年5月7日至9日，会议跟踪会议记录，2015年。1[12] 杰米·海耶斯可见对抗性扰动数字水印研究。在2018年IEEE计算机视觉和模式识别研讨会会议上，CVPR研讨会2018年，美国犹他州盐湖城，2018年6月18日至22日，第1597-1604页。计算机视觉基金会/ IEEE计算机协会，2018年。一、二[13] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在2016年IEEE计算机视觉和模式识别会议，CVPR 2016，美国内华达州拉斯维加斯，2016年6月27-30日，第770-778页。IEEE计算机学会，2016年。1、6[14] Hao Huang，Yongtao Wang，Zhaoyu Chen，YuhengLi，Zhi Tang，Wei Chu，Jingdong Chen，Weisi Lin，and Kai-Kuang Ma. Cmua-watermark：一种用于对抗deepfakes 的 跨 模 型 通 用 对 抗 性 水 印 。 CoRR ，abs/2105.10872，2021。1[15] Hao Huang ， Yongtao Wang ， Zhaoyu Chen ， ZhiTang ， Wen-qiangZhang ， andKai-KuangMa.Rpattack：对一般对象检测器的改进补丁攻击。在2021年IEEE多媒体和博览会国际会议，ICME 2021，中国深圳，2021年7月5日至9日，第1-6页。IEEE，2021。1[16] 黄立峰，高成英，周玉银，谢慈航，Alan L. Yuille，Chongqing Zou，and Ning Liu. 对目标探测器的通用物理伪装攻击。 2020年IEEE/CVF计算机视觉和模式识别会议，CVPR 2020，美国华盛顿州西雅图，2020年6月13日至19日，第717-726页。计算机视觉基金会/IEEE，2020。2[17