没有合适的资源?快使用搜索试试~ 我知道了~
8190对抗性样本改善图像识别0Cihang Xie 1,2 � Mingxing Tan 1 Boqing Gong 1 Jiang Wang 1 Alan Yuille 2 Quoc V. Le 101 Google 2 约翰霍普金斯大学0摘要0对抗性样本通常被视为ConvNets的威胁。在这里,我们提出了一个相反的观点:如果以正确的方式利用,对抗性样本可以用来改善图像识别模型。我们提出了AdvProp,一种增强的对抗性训练方案,将对抗性样本视为额外的样本,以防止过拟合。我们方法的关键是对对抗性样本使用单独的辅助批量归一化,因为它们与正常样本具有不同的基础分布。我们展示了AdvProp在各种图像识别任务上改进了广泛的模型,并且在模型更大时表现更好。例如,将AdvProp应用于最新的Ef�cientNet-B7[41]在ImageNet上,我们在ImageNet(+0.7%),ImageNet-C(+6.5%),ImageNet-A(+7.0%)和Stylized-ImageNet(+4.8%)上取得了显著的改进。通过增强的Ef�cientNet-B8,我们的方法在没有额外数据的情况下实现了85.5%的ImageNettop-1准确率。这个结果甚至超过了[24]中训练使用了35亿个Instagram图像(�比ImageNet多3000倍)和�比ImageNet多9.4倍参数的最佳模型。模型可在以下链接中找到:0https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet .01. 引言0通过向图像添加不可察觉的扰动来制作的对抗性样本,可以导致卷积神经网络(ConvNets)做出错误的预测。对抗性样本的存在不仅揭示了ConvNets的有限泛化能力,还对这些模型的实际部署构成安全威胁。自从第一次发现ConvNets对对抗性攻击的脆弱性[40]以来,已经做出了许多努力[2,7, 15, 16, 18, 23, 29, 36, 42, 45,50]来提高网络的鲁棒性。在本文中,我们不再专注于防御对抗性样本,而是将注意力转向利用对抗性样本来提高准确性。以前的研究表明,使用对抗性样本进行训练可以0� 在Google实习期间完成的工作。0ImageNet-A 准确率提高0EfficientNet-B7 37.7% +AdvProp(我们的方法) 44.7% (+7.0%)0ImageNet-C mCE降低0EfficientNet-B7 59.4%+AdvProp (我们的方法) 52.9% (-6.5%)0ImageNet 准确率提高0EfficientNet-B7 84.5% +AdvProp(我们的方法) 85.2% (+0.7%)0Stylized-ImageNet 准确率提高0EfficientNet-B7 21.8% +AdvProp(我们的方法) 26.6% (+4.8%)0图1.AdvProp改善图像识别。通过在ImageNet上训练模型,AdvProp帮助Ef�cientNet-B7 [41]在ImageNet[33]上达到85.2%的准确率,在ImageNet-C[9]上达到52.9%的mCE(均方差误差,数值越小越好),在ImageNet-A [10]上达到44.7%的准确率,在Stylized-ImageNet[6]上达到26.6%的准确率,分别比其普通对应模型提高了0.7%,6.5%,7.0%和4.8%。这些样本图像是从“金翅雀”类别中随机选择的。0增强模型的泛化能力,但仅限于某些情况——改进仅在小数据集(例如MNIST)的完全监督设置[7,20]或在较大数据集上的半监督设置[26,30]中观察到。同时,最近的研究[18, 16,45]也表明,在大数据集(例如ImageNet[33])上使用对抗性样本进行监督学习会导致对干净图像的性能下降。总结起来,如何有效地利用对抗性样本来帮助视觉模型仍然是一个开放的问题。8200我们观察到所有先前的方法都在干净图像和对抗性示例上联合训练,尽管它们应该来自不同的基础分布。我们假设干净示例和对抗性示例之间的分布不匹配是导致先前工作性能下降的关键因素。在本文中,我们提出了AdvProp,即AdversarialPropagation,一种新的训练方案,通过简单而高效的双批归一化方法来弥合分布不匹配。具体而言,我们建议使用两个批归一化统计量,一个用于干净图像,一个用于对抗性示例。这两个批归一化可以在归一化层中正确区分这两个分布,以进行准确的统计估计。我们展示了这种分布解耦是至关重要的,使我们能够成功地改善模型在对抗性示例下的性能,而不是降低性能。据我们所知,我们的工作是第一个在大规模ImageNet数据集上展示对抗性示例可以改善模型性能的完全监督设置。例如,使用AdvProp训练的Ef�cientNet-B7在top-1准确率上达到了85.2%,比其普通版本提高了0.8%。当在扭曲图像上测试模型时,AdvProp的改进更为显著。如图1所示,AdvProp使Ef�cientNet-B7在ImageNet-C[9]、ImageNet-A[10]和Stylized-ImageNet[6]上分别获得了9.0%、7.0%和5.0%的绝对改进。由于AdvProp有效地防止了过拟合,并且在较大的网络上表现更好,我们开发了一个更大的网络,名为Ef�cientNet-B8,遵循[41]中的类似复合缩放规则。通过我们提出的AdvProp,Ef�cientNet-B8在ImageNet上实现了最先进的85.5%的top-1准确率,而不需要任何额外的数据。这个结果甚至超过了[24]中报告的最佳模型,该模型在3.5B个额外的Instagram图像上进行了预训练(比ImageNet多�3000倍),并且需要比我们的Ef�cientNet-B8多�9.4倍的参数。02. 相关工作0对抗训练。对抗训练是目前用于防御对抗攻击的最先进技术的基础,它通过对抗性示例训练网络。尽管对抗训练显著提高了模型的鲁棒性,但如何通过对抗训练提高干净图像的准确性仍然未被充分探索。VAT[26]和深度共训练[30]尝试在半监督设置中利用对抗性示例,但它们需要大量额外的无标签图像。在监督学习设置下,对抗训练通常被认为会降低干净图像的准确性[32],例如,在CIFAR-10上降低约10%[23],在ImageNet上降低约15%[45]。Tsipras等人[43]认为这种性能下降是因为对抗训练导致了特征空间的收缩。0对抗鲁棒性和标准准确性之间的权衡是不可避免的,并将这种现象归因于鲁棒分类器学习与标准分类器根本不同的特征表示。其他研究试图从对手的样本复杂性增加的角度[37,25, 28]、训练数据有限[1, 27, 34, 44,48]或网络过度参数化[31]解释这种权衡现象。本文关注标准监督学习而不使用额外数据。尽管使用类似的对抗训练技术,我们与以前的工作持相反的观点,我们的目标是利用对抗性示例来提高清晰图像识别的准确性。0学习对抗特征的好处。许多研究证实,使用对抗性示例进行训练可以为ConvNets带来额外的特征。例如,与干净图像相比,对抗性示例使网络表示与显著的数据特征和人类感知更加一致。此外,这样训练的模型对高频噪声更具鲁棒性。张等人[51]进一步指出,这些通过对抗性学习得到的特征表示对纹理扭曲不太敏感,更注重形状信息。我们提出的AdvProp可以被看作是一种训练范式,充分利用了干净图像和相应的对抗性示例之间的互补性。结果进一步表明,对抗性特征确实对识别模型有益,这与前述研究的结论一致。0数据增强。数据增强是将一组保持标签的变换应用于图像的重要且有效的方法,用于防止网络过拟合[17, 35,8]。除了传统的方法,如水平翻转和随机裁剪,还提出了不同的增强技术,例如在图像的区域上应用遮罩[5]或添加高斯噪声[22],或以凸方式混合图像和标签对[49]。最近的研究还表明,可以自动学习数据增强策略,以在图像分类[3, 4,19, 21, 52]和目标检测[53,4]中实现更好的性能。我们的工作可以被看作是一种数据增强的类型:通过注入噪声来创建额外的训练样本。然而,所有以前的尝试,无论是通过随机噪声增强(例如,[18]中的表5显示了使用随机正态扰动进行训练的结果)还是对抗噪声增强[16, 18, 42],都未能提高干净图像的准确性。03. 提升性能的初步方法0Madry等人[23]将对抗训练形式化为一个极小极大博弈,并仅在对抗样本上训练模型。81.784.578.283.581.584.877787980818283848586arg minθE(x,y)∼D�L(θ, x, y)�,(1)arg minθE(x,y)∼D�maxǫ∈S L(θ, x + ǫ, y)�,(2)arg minθ�E(x,y)∼D�L(θ, x, y) + maxǫ∈S L(θ, x + ǫ, y)��.(3)8210B3 B70ImageNetTop-1准确率(%)0普通训练 Madry的对抗训练Madry的对抗训练+微调0图2.从ImageNet实验中得出的两个要点:(1)仅在对抗样本上进行训练会导致性能下降;(2)在对抗样本和干净图像交替训练可以提高网络在干净图像上的性能。微调细节:我们在前175个epoch中使用对抗样本训练网络,然后在剩余的epoch中使用干净图像进行微调。0对抗样本训练可以有效提高模型的鲁棒性。然而,这样训练的模型通常不能很好地推广到干净图像,如[23,45]所示。我们通过使用PGD攻击者1[23]在ImageNet上训练了一个中等规模的模型(Ef�cientNet-B3)和一个大规模的模型(Ef�cientNet-B7)来验证这一结果——与其纯粹的对应模型相比,这两个经过对抗训练的模型在干净图像上的准确性都要低得多。例如,这样经过对抗训练的Ef�cientNet-B3在干净图像上仅获得78.2%的准确性,而纯粹的对应模型Ef�cientNet-B3达到81.7%(见图2)。我们假设这种性能下降主要是由于分布不匹配引起的——对抗样本和干净图像来自两个不同的领域,因此仅在一个领域上进行训练无法很好地转移到另一个领域。如果能够适当地弥合这种分布不匹配,那么即使在训练中使用对抗样本,干净图像上的性能下降也应该得到缓解。为了验证我们的假设,我们在此检验了一种简单的策略——首先使用对抗样本预训练网络,然后使用干净图像进行微调。结果总结如图2所示。正如预期的那样,这种简单的微调策略(用浅橙色标记)总是比Madry的对抗训练基线(用灰色标记)获得更高的准确性,例如,对于Ef�cientNet-B3,它将准确性提高了3.3%。有趣的是,与仅使用干净图像的标准普通训练设置(用蓝色标记)相比,这种微调策略有时甚至可以帮助网络实现更优越的性能,例如,它将Ef�cientNet-B7的准确性提高了0.3%,在ImageNet上达到84.8%的Top-1准确率。以上观察结果传递了一个有希望的信号——如果适当利用,对抗样本可以对模型性能有益。然而,我们注意到0对于PGD攻击者,我们将每个像素的最大扰动设置为ε=4,步长α=1,攻击迭代次数n=5。0总体而言,这种方法在一般情况下无法改善性能,例如,尽管这种经过训练的Ef�cientNet-B3明显优于Madry的对抗训练基线,但仍然略低于(-0.2%)普通训练设置。因此,一个自然的问题出现了:是否可能以更有效的方式从对抗性示例中提取有价值的特征,并在一般情况下进一步提高模型性能?04. 方法论0第3节的结果表明,即使以简单的方式将来自对抗性示例和干净图像的信息适当地整合起来,也可以改善模型性能。然而,这种微调策略可能会部分覆盖从对抗性示例中学到的特征,导致次优解。为了解决这个问题,我们提出了一种更优雅的方法,名为AdvProp,通过显式地解耦规范化层上的批量统计信息来处理分布不匹配问题,从而更好地吸收对抗性和干净特征。在本节中,我们首先回顾第4.1节中的对抗训练机制,然后介绍如何通过辅助批量归一化实现对不同分布的解耦学习。最后,我们在第4.3节中总结训练和测试流程。04.1. 对抗训练0我们首先回顾普通训练设置,目标函数为0其中D是底层数据分布,L(∙, ∙,∙)是损失函数,θ是网络参数,x是带有真实标签y的训练样本。考虑Madry的对抗训练框架[23],它不是使用原始样本进行训练,而是使用恶意扰动样本进行训练。0其中�是对抗性扰动,S是允许的扰动范围。尽管这种经过训练的模型具有[51, 47,43]中描述的几个良好特性,但它们无法很好地推广到干净图像[23,45]。与Madry的对抗训练不同,我们的主要目标是通过利用对抗性示例的正则化能力来改善干净图像上的网络性能。因此,我们将对抗性图像视为额外的训练样本,并使用对抗性示例和干净图像的混合训练网络,如[7, 18]所建议的。convBNxadv, xcleanxcleanadvclean + advcleanadvclean + advxcleanxadvxadv, xcleancleanadvclean + advcleanadvclean + adv8220理想情况下,这些训练模型应该同时享受对抗和干净领域的好处。然而,正如以前的研究所观察到的[7,18],直接优化方程(3)通常比在干净图像上的普通训练设置产生更低的性能。我们假设对抗性示例和干净图像之间的分布不匹配阻止了网络从两个领域准确有效地提取有价值的特征。接下来,我们将介绍如何通过我们的辅助批量归一化设计正确解开不同分布的问题。04.2. 通过辅助批量归一化实现解耦学习0批量归一化(BN)[14]是许多最先进的计算机视觉模型[8,12,39]的重要组成部分。具体而言,BN通过在每个小批量中计算的均值和方差对输入特征进行归一化。利用BN的一个内在假设是输入特征应该来自单一或相似的分布。如果小批量包含来自不同分布的数据,则这种归一化行为可能会有问题,从而导致不准确的统计估计。0ReLU0�+���)0�)0概率0x0卷积0ReLU0BN辅助BN0(������+���,������+���)0(����,����)0(������,������)0概率0x0(a)传统BN0(b)提出的辅助BN设计0图3.(a)传统BN使用和(b)辅助BN利用的比较。左侧和右侧面板分别说明了相应网络架构中的信息流和面对混合对抗和干净图像时的估计归一化统计。0我们认为对抗样本和干净图像具有不同的潜在分布,并且等式(3)中的对抗训练框架实质上涉及两个组分混合分布。为了将这种混合分布分解为两个更简单的分布,分别用于干净图像和对抗性图像,我们提出了一个辅助BN来确保其归一化统计仅在对抗性样本上进行。具体而言,如图3(b)所示,我们提出的辅助BN通过保持属于不同领域的特征的分离BN来帮助分解混合分布。否则,如图3(a)所示,仅维护一组BN统计会导致错误的统计估计,可能导致性能下降。请注意,我们可以将此概念推广到多个辅助BN,其中辅助BN的数量由训练样本来源的数量确定。例如,如果训练数据包含干净图像、扭曲图像和对抗性图像,则应维护两个辅助BN。第5.4节的消融研究表明,使用多个BN进行细粒度的分离学习可以进一步提高性能。未来的工作将进一步探索多个BN的更一般用法。0另外,如图3(a)所示,仅维护一组BN统计会导致错误的统计估计,可能导致性能下降。请注意,我们可以将此概念推广到多个辅助BN,其中辅助BN的数量由训练样本来源的数量确定。例如,如果训练数据包含干净图像、扭曲图像和对抗性图像,则应维护两个辅助BN。第5.4节的消融研究表明,使用多个BN进行细粒度的分离学习可以进一步提高性能。未来的工作将进一步探索多个BN的更一般用法。04.3. AdvProp0我们在算法1中正式提出了AdvProp,以在训练过程中准确获取干净和对抗特征。对于每个干净小批量,我们首先使用辅助BN攻击网络以生成其对抗性对应物;然后,我们将干净小批量和对抗性小批量馈送到相同的网络中,但应用不同的BN进行损失计算,即对于干净小批量使用主要BN,对于对抗性小批量使用辅助BN;最后,我们最小化总损失对网络参数进行梯度更新。换句话说,除了BN,卷积和其他层同时针对对抗性示例和干净图像进行优化。请注意,AdvProp中引入的辅助BN仅增加了微不足道的额外网络训练参数,例如,在Ef�cientNet-B7上比基线多0.5%的参数。在测试时,这些额外的辅助BN都被丢弃,我们只使用主要的BN进行推理。0算法1:AdvProp的伪代码0数据:一组带有标签的干净图像;结果:网络参数θ;对于每个训练步骤执行以下操作0使用标签y从干净图像中抽样小批量xc; 生成相应的对抗性小批量xa0使用辅助BN; 计算干净小批量xc上的损失Lc(θ, xc, y)0使用主要的BN;使用辅助BN计算对抗性小批量xa上的损失La(θ, xa, y);最小化总损失对网络参数arg min θ La(θ, xa, y) +Lc(θ, xc, y)。0返回θ0实验证明,这种解耦学习框架使网络的性能比对抗训练基线[7 , 18]更强。此外,与第3节中的微调策略相比,AdvProp也表现出更好的性能,因为它使网络能够同时从对抗样本和干净样本中学习有用的特征。01020304077787980818283848583.384.384.885.283.083.784.284.5B7 (+0.7)B6 (+0.6)B5 (+0.6)B4 (+0.3)B3 (+0.2)B2 (+0.2)B1 (+0.4)B0 (+0.3)82305. 实验05.1. 实验设置0架构。我们选择不同计算规模的Ef�cientNets [ 41]作为默认架构,从轻量级的Ef�cientNet-B0到大型的Ef�cientNet-B7。与其他卷积网络相比,Ef�cientNet在准确性和效率上都有很大的提升。我们按照[ 41]中的设置来训练这些网络:RMSProp优化器,衰减率为0.9,动量为0.9;批归一化动量为0.99;权重衰减为1e-5;初始学习率为0.256,每2.4个epoch衰减0.97;应用固定的AutoAugment策略[ 3 ]来增强训练图像。0对抗攻击者。我们使用混合对抗样本和干净图像进行网络训练,如公式(3)所示。我们选择投影梯度下降(PGD)[23]作为默认的攻击者,使用L∞范数生成对抗样本。我们尝试了不同扰动大小�的PGD攻击者,范围从1到4。我们设置攻击者的迭代次数n = � + 1,除了当� =1时,n被设置为1。攻击步长固定为α = 1。0数据集。我们使用标准的ImageNet数据集[ 33]来训练所有模型。除了在原始的ImageNet验证集上报告性能外,我们还在以下测试集上进行了测试:0• ImageNet-C [ 9]。ImageNet-C数据集旨在衡量网络对常见图像破坏的鲁棒性。它包含15种不同的破坏类型,每种破坏类型有五个不同的严重程度,总共有75种不同的破坏。0• ImageNet-A [ 10]。ImageNet-A数据集通过对7500个自然、未修改但“困难”的真实世界图像进行对抗收集而得到。这些图像来自一些具有挑战性的场景(例如遮挡和雾景),对于识别来说是困难的。0• Stylized-ImageNet [ 6]。Stylized-ImageNet数据集通过AdaIN风格转换 [ 13],在保留自然图像的全局形状信息的同时去除了局部纹理线索。正如[ 6]所建议的,网络需要学习更多基于形状的表示以提高在Stylized-ImageNet上的准确性。0与ImageNet相比,ImageNet-C、ImageNet-A和Stylized-ImageNet的图像更具挑战性,即使对于人类观察者也是如此。05.2. ImageNet结果及其它0ImageNet结果。图4显示了在ImageNet验证集上的结果。我们将我们的方法与基线训练设置进行了比较。Ef�cientNets系列提供了一个强大的基线,例如Ef�cientNet-B7的84.5%的top-1准确率是ImageNet上的先前技术[ 41 ]。0FLOPs(x 10 9 )0ImageNetTop-1准确率(%)0图4.AdvProp提高了模型在ImageNet上的性能,超过了基线训练。如果使用更大的网络进行训练,这种改进将变得更加显著。我们的最佳结果是由使用AdvProp训练的Ef�cientNet-B7报告的,即在ImageNet上达到了85.2%的top-1准确率。0由于不同的网络在使用AdvProp进行训练时会偏向不同的攻击者强度(我们将在下面进行分析),我们首先在图4中报告了最佳结果。我们提出的AdvProp在所有网络上都显著优于基线训练。这种性能改进与网络容量成正比,较大的网络如果使用AdvProp进行训练,往往表现更好。例如,对于比Ef�cientNet-B4小的网络,性能提升最多为0.4%,但对于比Ef�cientNet-B4大的网络,性能提升至少为0.6%。与先前的技术相比,即84.5%的top-1准确率,使用AdvProp训练的Ef�cientNet-B6(与Ef�cientNet-B7相比,FLOPs减少了约2倍)已经超过了0.3%。我们最强的结果是由使用AdvProp训练的Ef�cientNet-B7获得的,它在ImageNet上达到了85.2%的top-1准确率,比先前的技术提高了0.7%。0对扭曲的ImageNet数据集的泛化能力。接下来,我们在扭曲的ImageNet数据集上评估模型,这些数据集比原始的ImageNet要困难得多。例如,尽管ResNet-50在ImageNet上表现出了合理的性能(76.7%的准确率),但在ImageNet-C上只能达到74.8%的mCE(均方差错误,数值越低越好),在ImageNet-A上的top-1准确率为3.1%,在Stylized-ImageNet上的top-1准确率为8.0%。结果总结在表1中。再次强调,我们提出的AdvProp在所有模型和所有扭曲数据集上始终优于基线训练。这里的改进比在原始ImageNet上更为显著。ResNet-5074.83.18.0B0B1B2B3B4B5B6B7PGD5 (ǫ=4)77.179.280.381.883.384.384.885.2PGD4 (ǫ=3)77.379.480.481.983.384.384.785.1PGD3 (ǫ=2)77.479.480.481.983.184.384.785.0PGD1 (ǫ=1)77.679.680.581.883.184.384.685.076.278.779.781.382.983.884.585.1+0.9+0.5+0.6+0.5+0.4+0.5+0.3+0.1757779818385B0B1B2B3B4B5B6B78240模型 ImageNet-C * [ 9 ] ImageNet-A [ 10 ] Stylized-ImageNet * [ 6 ]0Ef�cientNet-B0 70.7 6.7 13.1 + AdvProp ( 我们的 ) 66.2 (-4.5) 7.1 (+0.4) 14.6(+1.5)0Ef�cientNet-B1 65.1 9.0 15.0 + AdvProp ( 我们的 ) 60.2 (-4.9) 10.1 (+1.1) 16.7(+1.7)0Ef�cientNet-B2 64.1 10.8 16.8 + AdvProp ( 我们的 ) 61.4 (-2.7) 11.8 (+1.0) 17.8(+1.0)0Ef�cientNet-B3 62.9 17.9 17.8 + AdvProp ( 我们的 ) 57.8 (-5.1) 18.0 (+0.1) 21.4(+3.6)0Ef�cientNet-B4 60.7 26.4 20.2 + AdvProp ( 我们的 ) 58.6 (-2.1) 27.9 (+1.5) 22.5(+1.7)0Ef�cientNet-B5 62.3 29.4 20.8 + AdvProp ( 我们的 ) 56.2 (-6.1) 34.4 (+5.0) 24.4(+3.6)0Ef�cientNet-B6 60.6 34.5 20.9 + AdvProp ( 我们的 ) 53.6 (-7.0) 40.6 (+6.1) 25.9(+4.0)0Ef�cientNet-B7 59.4 37.7 21.8 + AdvProp ( 我们的 ) 52.9 (-6.5)44.7 (+7.0) 26.6 (+4.8) 表1.AdvProp显著提升了模型在ImageNet-C、ImageNet-A和Stylized-ImageNet上的泛化能力。每个数据集上的最高结果分别为52.9%、44.7%和26.6%,均由使用AdvProp训练的Ef�cientNet-B7实现。*对于ImageNet-C和Stylized-ImageNet,由于扭曲是专门针对尺寸为224×224×3的图像设计的,所以我们遵循之前的设置[6,9],始终将测试图像的尺寸固定在224×224×3的比例上,以进行公平比较。0原始ImageNet。例如,AdvProp将Ef�cientNet-B3在ImageNet上的准确率提高了0.2%,在ImageNet-C上提高了5.1%,在Stylized-ImageNet上提高了3.6%。使用AdvProp训练的Ef�cientNet-B7在这些数据集上报告了最强的结果,它在ImageNet-C上获得了52.9%的mCE,在ImageNet-A上获得了44.7%的top-1准确率,在Stylized-ImageNet上获得了26.6%的top-1准确率。这些是迄今为止最好的结果,如果模型不允许使用相应的扭曲[6]或额外的数据[24,46]进行训练。总之,结果表明,AdvProp通过允许模型学习更丰富的内部表示显著提升了泛化能力,这些更丰富的表示不仅为模型提供了更好的分类Stylized-ImageNet数据集的全局形状信息,还增加了模型对常见图像扭曲的鲁棒性。0对对抗攻击者强度的消融实验。我们现在对AdvProp中使用的攻击者强度对网络性能进行消融分析。具体来说,这里的攻击者强度由扰动大小 �决定,其中较大的扰动大小表示较强的攻击者。我们尝试了不同的 �值,范围从1到4,并在表2中报告了ImageNet验证集上的相应准确率。0表2.使用AdvProp训练的模型在ImageNet上的性能,不同攻击强度下的表现。一般来说,较小的网络更适合较弱的攻击者,而较大的网络更适合较强的攻击者。0通过使用AdvProp,我们观察到较小的网络通常更适合较弱的攻击者。例如,轻量级的Ef�cientNet-B0通过使用1步PGD攻击者和扰动大小为1(表示为PGD1(�=1))获得了最佳性能,明显优于使用5步PGD攻击者和扰动大小为4进行训练的对应模型(表示为PGD5(�=4)),即77.6%对77.1%。这种现象可能是由于小型网络受限于其有效地从强对抗样本中提取信息的能力,即使通过辅助BNs将混合分布很好地解开。同时,具有足够容量的网络倾向于更喜欢更强的攻击者。通过将攻击者的强度从PGD1(� =1)增加到PGD5(�=4),AdvProp将Ef�cientNet-B7的准确率提高了0.2%。这个观察结果激发了我们后面关于不断增加攻击者强度以充分发挥大型网络潜力的消融实验。05.3. 与对抗训练的比较0如图4和表1所示,AdvProp改进了模型的识别性能,优于基线的普通训练。这些结果与之前的结论[18, 42,16]相矛盾,即如果在训练中使用对抗样本,性能下降总是会被观察到。我们在此提供了一系列的消融实验来解释这种不一致性。我们选择PGD5(�=4)作为默认的攻击者,在训练过程中生成对抗样本。0ImageNetTop-1准确率(%)0对抗训练[5] AdvProp(我们的方法)0图5.AdvProp在ImageNet上显著优于对抗训练[7],尤其是对于小型模型。0比较结果。我们将AdvProp与传统的对抗训练[7]进行比较,并在图5中报告了在ImageNet验证集上的评估结果。与传统的对抗训练相比,我们的方法在所有模型上都能够始终获得更好的准确性。这个结果表明,仔细处理BN统计估计对于用对抗样本训练更好的模型是重要的。当使用Ef�cientNet-B0时,最大的改进是观察到我们的方法比传统的对抗训练提高了0.9%的准确率。然而,使用更大的模型时,这个改进变得更小——在缩放到Ef�cientNet-B5之前,它保持在约0.5%的水平,但随后分别降至Ef�cientNet-B6的0.3%和Ef�cientNet-B7的0.1%。B0B1B2B3B4B5B6B78250量化域差异。对于上述观察,一个可能的假设是更强大的网络具有更强的能力在混合分布上学习统一的内部表示,因此即使在归一化层没有辅助BNs的帮助下,也能够缓解对抗样本和干净图像之间的分布不匹配问题。为了支持这个假设,我们采用了使用AdvProp训练的模型,并比较了使用主要BNs或辅助BNs的设置之间的性能差异。由于这些结果网络除了BNs之外的所有其他层都是共享的,相应的性能差距在经验上捕捉到了对抗样本和干净图像之间的分布不匹配程度。我们使用ImageNet验证集进行评估,并在表3中总结了结果。0BN 77.1 79.2 80.3 81.8 83.3 84.3 84.8 85.2 辅助BN 73.7 75.9 77.0 78.680.5 82.1 82.7 83.30△ +3.4 +3.3 +3.3 +3.2 +2.8 +2.2 +2.1 +1.9 表3.使用主要BN和辅助BN在ImageNet上的性能比较。这个性能差异捕捉了对抗样本和干净图像之间的分布不匹配程度。0通过使用更大的网络进行训练,我们观察到这种性能差异变小。Ef�cientNet-B0的差距为3.4%,但对于Ef�cientNet-B7,它减小到了1.9%。这表明,在大型网络上学习的对抗样本和干净图像的内部表示要比在小型网络上学习的内部表示更相似得多。因此,通过足够强大的网络,即使在归一化层没有仔细处理,也有可能准确有效地学习混合分布。0为什么选择AdvProp?对于小型网络,我们的比较表明,AdvProp在很大程度上优于对抗训练基线。我们将这种性能改进主要归因于通过辅助BN成功进行的解耦学习。对于较大的网络,尽管在ImageNet上改进相对较小,但AdvProp在扭曲的ImageNet数据集上始终以较大的优势超过对抗训练基线。如表4所示,与对抗训练基线相比,Ad-vProp在ImageNet-C上将Ef�cientNet-B7的准确率提高了3.1%,在ImageNet-A上提高了4.3%,在Stylized-ImageNet上提高了1.5%。0模型 ImageNet-C [ 9 ] ImageNet-A [ 10 ] Stylized-ImageNet [ 6 ]0B6 + Adv. Training 55.8 37.0 24.7 B6 + AdvProp ( 我们的 ) 53.6 40.6 25.90B7 + Adv. Training 56.0 40.4 25.1 B7 + AdvProp ( 我们的 ) 52.944.7 26.6 表4.AdvProp在扭曲的ImageNet数据集(例如ImageNet-C)上表现出比对抗训练基线更强的泛化能力。0此外,如果使用更强的攻击者对大型网络进行训练,AdvProp可以使其表现更好。例如,通过将攻击者的强度从PGD5(�=4)稍微增加到PGD7(�=6),AdvProp进一步帮助Ef�cientNet-B70在ImageNet上达到了85.3%的top-1准确率。相反,将这种攻击应用于传统的对抗训练会使Ef�cientNet-B7的准确率降至85.0%,可能是由于对抗样本和干净图像之间的分布不匹配更严重。总之,AdvProp使网络即使在容量有限的情况下也能享受到对抗样本的好处。对于具有足够容量的网络,与对抗训练相比,AdvProp表现出更强的泛化能力,并且更擅长利用模型容量进一步提高性能。0传统对抗训练中的缺失部分。在我们重现的对抗训练中,我们注意到它已经优于大型网络上的基准训练设置。例如,我们经过对抗训练的Ef�cientNet-B7在ImageNet上的top-1准确率为85.1%,比基准训练提高了0.6%。然而,之前的研究[18, 16]表明对抗训练总是会降低性能。与[18,16]相比,我们在重新实现中进行了两个改变:(1)使用更强的网络;(2)使用更弱的攻击者进行训练。例如,之前的研究使用Inception或ResNet等网络进行训练,并设置扰动大小�=16;而我们使用更强的Ef�cientNet进行训练,并将扰动大小限制在较小的值�=4。直观地说,较弱的攻击者使得对抗样本的分布与干净图像的分布差异较小,而较大的网络更擅长弥合领域差异。这两个因素缓解了分布不匹配的问题,从而使网络更容易从两个领域中学习有价值的特征。05.4. 切除0通过多个辅助BN进行细粒度解耦学习。根据[41],我们的网络默认使用AutoAugment[3]进行训练,其中包括旋转和剪切等操作。我们假设这些操作会(稍微)改变原始数据分布,并提出为了进行细粒度学习进一步添加额外的辅助BN来解耦这些增强数据。总共,我们保留一个主要的BN用于没有AutoAugment的干净图像,以及两个辅助BN分别用于带有AutoAugment的干净图像和对抗样本。我们尝试了扰动大小从1到4的PGD攻击者,并在表5中报告了在ImageNet上的最佳结果。与默认的AdvProp相比,这种细粒度策略进一步提高了性能。它使得Ef�cientNet-B0在只有5.3M参数的情况下达到了77.9%的准确率,这是移动网络的最新性能。作为对比,MobileNetv3具有5.4M参数和75.2%的准确率[11]。这些结果鼓励未来对更细粒度的解耦学习进行更多的研究,不仅仅局限于对抗训练。B0B1B2B3B4B5B6B7AdvProp77.679.680.581.983.384.384.885.2B0B1B2B3B4B5B6B7B3B5B7ResNet-50ResNet-101ResNet-152ResNet-2008260Fine-Grained AdvProp 77.9 79.8 80.7 82.0 83.5 84.4 84.8 85.2表5. Fine-GrainedAdvProp显著提高了ImageNet上的模型准确性,尤其是对于小型模型。我们通过为AutoAugment图像保留额外的辅助BN来进行细粒度的解耦学习。0与AutoAugment的比较。使用对抗性示例进行训练是一种数据增强形式。我们选择标准的Inception风格预处理[ 38]作为基线,并比较额外应用AutoAugment或AdvProp的好处。我们使用PGD5(�=4)训练网络,并在ImageNet上评估性能。结果总结在Tab.6中。对于小型模型,AutoAugment略优于AdvProp,尽管我们认为通过调整攻击者的强度可以弥补这一差距。对于大型模型,AdvProp明显优于AutoAugment。同时使用AutoAugment和AdvProp进行训练优于仅使用AdvProp。0Inception预处理[ 38 ] 76.8 78.8 79.8 81.0 82.6 83.2 83.7 84.00+ AutoAugment [ 3 ] +0.5 +0.4 +0.5 +0.7 +0.4 +0.5 +0.5 +0.5 + AdvProp (
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功