没有合适的资源?快使用搜索试试~ 我知道了~
1对抗鲁棒性与模型压缩,还是两者都有?叶少凯1张凯迪2刘思佳3郝成4杨-亨里克·兰布雷奇茨1张欢6周傲军5马凯生1+王延智2+林雪2+1清华大学IIIS中国 IIISCT 2美国东北大学3MIT-IBM Watson AI Lab,IBMResearch4中国西安交通大学5商汤科技研究院中国6美国加州大学洛杉矶分校摘要众所周知,深度神经网络(DNN)很容易受到对抗性攻击,这种攻击是通过在良性示例上添加精心制作的扰动来实现的。基于最小最大鲁棒优化的对抗训练可以提供对抗对抗攻击的安全性概念然而,对抗性鲁棒性需要比仅使用良性样本的自然训练更大的网络容量。本文提出了一个并发对抗训练和权重修剪的框架,该框架在实现模型压缩的同时仍然保持对抗鲁棒性,并从根本上解决了对抗训练的困境。此外,本文还研究了传统环境下关于权值修剪的两个假设,发现权值修剪对于减少对抗环境下的网络模型规模是必要的;即使从大模型继承初始化,从头开始训练小模型也不能实现对抗鲁棒性和高标准准确性。代码可在https://github.com/yeshaokai/Robustness-Aware-Pruning-ADMM上获得。1. 介绍深度学习或深度神经网络(DNN)在许多应用领域取得了非凡的性能,如图像分类[19,39],对象检测和识别[27,35],自然语言处理[10,34]和医学图像分析[28,37]。除了部署在云上之外,深度学习已经在嵌入式系统上变得无处不在,例如移动电话、IoT设备、个人医疗可穿戴设备、自动驾驶[4,11]、无人机系统[6,23]等。人们普遍认为DNN容易受到对抗性攻击[14,46,47,53],这引起了人们的关注*同等贡献1跨学科信息核心技术+ 通讯作者DNN在安全关键型应用中的应用,并可能导致灾难性的后果。例如,在自动驾驶中,DNN可能会将停车标志误认为限速标志;恶意软件可能会逃脱基于深度学习的检测;在使用面部识别的认证中,未授权的人可以通过欺骗DNN来升级他们的访问权限。对抗性攻击通过生成对抗性示例来实现,即,将复杂的扰动添加到良性示例上,使得对抗性示例被DNN分类为目标(错误)标签,而不是良性示例的正确标签。攻击者可以具有对DNN的白盒访问,其中,攻击者具有关于模型的全部信息(例如,结构和权重参数)[7,8,52,45];或者黑盒接入,其中对手只能进行查询和观察输出[9,22]。黑盒场景在机器学习即服务(MLaaS)范例中特别令人感兴趣根据[3],导致混淆的gra的防御可能会提供虚假的安全感,并且可以通过改进的攻击技术来克服,例如向后传递可微近似,变换上的期望和重新参数化。在[3]中还指出,利用最小-最大鲁棒优化的对抗训练[33]不存在模糊梯度问题,并且可以成为一种有前途的防御机制。由于研究人员在设计新的防御系统时已经开始注意到这个问题,因此已经提出了更多的防御系统,包括基于对抗训练的防御系统[29,38,42]和其他防御系统[40,48,25]。基于最小-最大鲁棒优化的对抗训练[33,41]可以提供针对所有一阶对手的安全性概念(即,依赖于损失函数相对于输入的梯度的攻击),通过通过内部最大化问题建模通用一阶攻击,同时外部最小化仍然表示111112δ∆培训过程。然而,正如[33]所指出的,对抗鲁棒性需要比仅使用良性样本的自然训练更大的网络架构容量例如,我们可能需要在MNIST上以最先进的标准精度对DNN模型进行四倍化,以获得强大的对抗鲁棒性。此外,增加网络容量可以在对抗训练模型的标准准确性和对抗鲁棒性之间提供更好的权衡[41]。因此,对抗训练所需的大网络容量另一方面,模型压缩技术,如权重修剪[17,15,49,20,43]是必不可少的用于在资源受限的嵌入式和物联网系统上实现DNN。权重修剪探索权重稀疏性,以修剪突触和神经元,而不会显着降低准确性。参考文献[16,44]从理论上讨论了对抗鲁棒性和权重稀疏性之间的关系,但在他们的研究中没有应用任何主动防御技术。该工作[44]得出结论,适度稀疏可以帮助对抗鲁棒性,因为它增加了对抗性示例的p范数(尽管具有权重稀疏性的DNN在攻击下仍然很脆弱)。我们的动机是调查是否以及如何重量稀疏可以促进主动防御技术,即,对抗训练,通过放松网络容量要求。图1描述了VGG-16网络在CIFAR数据集上的权重分布我们在原始大小、1/2大小和1/4大小的VGG-16网络上测试了它们的为了公平比较。最终,我们的框架解决了对抗训练的困境。我们还研究了传统模型压缩集提出的两个关于权重修剪的假设,我们发现,在对抗环境中,权重修剪对于减少网络模型的大小至关重要,从头开始训练一个小模型,即使从大模型继承初始化,也不能同时实现对抗鲁棒性和高标准精度。在提出的并发对抗训练和权重剪枝框架下,我们系统地研究了不同剪枝方案对对抗鲁棒性和模型压缩的影响。我们发现,不规则的修剪方案是最好的保持标准的准确性和对抗性的鲁棒性,同时修剪DNN模型。2. 相关工作2.1. 对抗训练对抗训练[33]使用最小-最大鲁棒优化公式来捕获对抗对抗攻击的安全性概念。它通过内部最大化问题来建模通用的一阶攻击,而外部最小化仍然代表训练过程。具体来说,它解决了优化问题:Σ标准精度和对抗精度。我们有以下观察:(i)较小的模型大小(网络ca-minθE(x,y)DmaxL(θ,x+6,y)∈(一)pacity)指示对抗训练模型的较低标准准确度和对抗准确度。(ii)逆向训练的模型比自然训练的模型稀疏(零权重更少)。因此,在对抗性训练之前进行预修剪,而且似乎更难修剪对抗性训练的模型。本文试图回答的问题是,我们是否可以同时享有对抗鲁棒性和模型压缩。基本上,我们将权重修剪与对抗训练相结合,以实现资源受限系统中的安全关键应用。其中,成对的示例x2Rd和对应的标签y2 [k]遵循底层数据分布D; θ是属于针对每个示例x的允许扰动集合θ 2 Rd的添加的对抗扰动; θ2 Rp表示要优化的权重参数集合;并且L(θ,x,y)是损失函数,例如,DNN的交叉熵损失。内部最大化问题通过基于符号的投影梯度下降(PGD)来解决,该投影梯度下降(PGD)提出了由x周围的“∞-球”约束的幂函数:我们 贡献:我们构建了一个框架,实现了对抗鲁棒性和模型压缩。xt+1=x+.XtΣ+sgn(rxL(θ,x,y))(2)通过实现并发的权重修剪和对抗训练来解决问题。具体来说,我们在我们的框架中使用基于ADMM(交替方向乘法器方法)的pruning [50,51],因为它与对抗训练兼容。更重要的是,基于ADMM的剪枝方法具有通用性,它既支持不规则剪枝,也支持不同类型的规则剪枝,可以方便地在不同的剪枝方案之间切换其中t是迭代索引,m是步长,sgn(·)返回向量的符号PGD是IFGSM的变体攻击[24],并且可以与随机开始一起使用,以在对抗训练期间向模型训练中添加均匀分布的噪声。对抗训练的一个主要缺点是,它需要一个显着更大的网络容量来实现强大的对抗鲁棒性,而不是正确分类113δ∆(a)(b)(c)第(1)款图1:CIFAR数据集上VGG-16网络的权重分布(a)原始大小,(b)1/2大小和(c)1/4大小。对于一个子图中的每个尺寸,针对(i)自然训练的模型和(ii)对抗训练的模型表征权重。标准精度和对抗精度用图例标记。只有良性的例子[33]。此外,对抗训练比自然训练遭受更显著的过拟合问题[36]。在本文的后面,我们将展示一些有趣的发现与上述观察。2.2. 权重剪枝权重修剪作为一种模型压缩技术已经被提出用于促进资源受限应用系统上的DNN实现,因为它探索权重稀疏性以修剪突触并因此修剪神经元而没有显著的准确性降低。一般来说,有规则的修剪方案,可以保持模型规则修剪可以进一步分类为过滤器修剪方案和列修剪方案。按名称过滤器修剪将从层中修剪整个过滤器。列修剪修剪层中相同位置的所有过滤器的权重。请注意,一些参考文献提到通道修剪,其名称是完全从过滤器中修剪一些通道。但从本质上讲,通道修剪相当于过滤器修剪,因为如果在一个层中修剪了一些过滤器,则会使下一层的相应通道无效[20]。在这项工作中,我们实现和调查的过滤器修剪,列修剪,和不规则的修剪计划在对抗训练设置。此外,对于每个修剪方案,我们以相同的修剪比率均匀地修剪每一层。例如,当我们将模型大小(网络容量)削减一半时,这意味着每层的大小减少了一半。目前有不规则的修剪工作[17,15,49,50]通过基于ADMM的方法进行umn修剪。在这项工作中,我们使用ADMM方法,因为它对所有修剪方案都有潜力,并且与对抗训练兼容,这将在后面的部分中演示。研究者们也开始反思并提出了一些关于权重修剪的假设。彩票假说[12]认为,在大型网络中,子网络及其初始化使修剪特别有效,它们一起被称为“中奖彩票”。在这个假设中,需要子网络的初始化(在大网络修剪之前),以便在隔离训练时实现竞争此外,工作[31]得出结论,从头开始训练预定义的目标模型并不比对相同目标模型架构的大型过度参数化模型应用结构化(常规)修剪更差甚至更好然而,这些假设和发现是针对一般的权重修剪提出的在本文中,我们对对抗环境中的权重修剪进行了一些有趣的观察,这些观察在现有假设下没有得到充分解释[12,31]。3. 并发对抗训练和权重修剪在本节中,我们提供了并发对抗训练和权重修剪的框架。我们以一种适合ADMM(交替方向乘法器)应用的方式来表达这个问题:和定期修剪工作[20,43,51,26,30]。此外,几乎所有的常规剪枝工作实际上都是过滤剪枝,除了第一个提出的工作[43minθiΣE(x,y)DmaxL(θ,x+6,y)∈XN+i=1gi(zi),(三)[51]第51话:你的工作是什么?S.T. θi=zi,i=1,. ..,N.114δ∆我2我我我我i i2这里θi是每层中的权重参数。(0,如果θi2Si另一方面,给出了第二子问题(7通过gi(θi)=+1否则(四)尽量减少XN gi(zi)+XNkθk+1-zi+ ukk2.(九)是一个指标函数,将权重稀疏性consist-{zi}i=12ii2i=1straint(可以通过集合Si定义不同的权重修剪方案)。zi是实现基于ADMM的解决方案的辅助变量。注意gi(·)是由Si定义的指示函数,因此,该子问题可以解析地和最优地求解马丽[5]。最优解ADMM框架建立在增强的La-zk+1=0(θk+1+uk),(10)一个等式约束问题的Grangian [5]。对于问题(3),增广拉格朗日形式变为iii ii其中θS(·)是θk+1+uk到Si上的欧几里得投影。我我我ΣL({θi},{zi},{ui})=E(x,y)<$DmaxL(θ,x+6,y)∈算法1并发对抗训练和权重修剪XN+i=1gi(zi)+XNi=1uT(θi-zi)+XN2i=1kθi-zik2,(五)1:输入:数据集D、ADMM迭代次数K、PGD步长T、PGD迭代次数T、增广参数T以及用于权重稀疏约束的集合Si第二章: 输出:权重参数θ。其中{ui}是与问题(3)的等式约束相关联的拉格朗日乘子,并且是给定的增广参数。通过形成增强的拉格朗日,ADMM框架分解问题(3)分为两个子问题,迭代求解:{θk}= arg minL({θi},{zk−1},{uk−1}),(6){θi}{zk}= arg minL({θk},{z},{uk−1}),(7)3:对于k=1,2,. ..,Kdo4:来自D的样品批次(x,y)5:d在θ上求解方程(86:对于t=1,2,. ..,没做7:通过等式(2)8:结束9:将Adam优化器应用于等式(8)的外部min以获得{θk}10:使用等式(10)求解等式(9)以获得{zk}i{z}我我我我kk−1k k我其中k是迭代索引。 拉格朗日乘数更新为uk:=uk−1+(θk-zk)。11:ui:=ui+θ i(θi-zi).12:结束我我我第一个子问题(6)由下式明确给出:3.1. 加权剪枝方案的Si定义ΣminE(x,y)DmaxL(θ,x+6,y)+θiδ∈θ iXN2 i=1 kθ i-zk+ukk2.本节介绍如何利用权稀疏约束θi2Si实现不同的权剪枝方案。对于每个权重修剪方案,我们首先亲-(八)(8)的目标函数中的第一项是最小-最大问题。与解决第2.1节中的对抗训练问题相同,这里我们可以使用PGD对手(2),T次迭代和随机开始用于内部最大化问题。内部问题在普遍的一阶对手下是易处理的[33]。(8)中的第二凸二次项由于(5)中的增广项的存在而出现。给定对抗扰动δ,我们可以应用随机梯度下降算法来求解整个极小化问题。由于损失函数的非凸性,不能保证解的全局最优性。 然而,ADMM可以提供局部最优由于二次型,115给出θi2 Si约束的精确形式,然后给出解(10)的显式形式。在此之前,我们将θi还原为四维张量形式:θi2 RNi×Ci×Hi×Wi,其中Ni、Ci、Hi和Wi分别表示滤波器的数量、滤波器中的通道数量、滤波器的高度和滤波器的宽度。过滤器修剪θi2Si:={θi|kθikn=0<$i}。(十一)这里,kθikn=0表示包含非零元素的滤波器的数量为了得到具有这种约束的解(10),我们首先计算On=k(θk+1+uk)n,:,:k2,i i F(8)中的项是强凸的,因为θ>0,这稳定了ADMM的收敛性[21]。其中k·kF表示Frobenius范数。然后我们继续最大值在On和设置其余为零。116i iF列修剪θi2Si:={θi|kθikc,h,w=0<$i}.(十二)这里,kθikc,h,w=0表示在包含非零元素的第i 为了获得具有这样的con-i的溶液(10),首先计算Oc= k(θk+1+ uk):,c,h,wk2. 然后,我们在Oc中保留最大值,并将其余值设置为零。不规则修剪θi2Si:={θi|kθik0<$i}。(十三)在这种特殊情况下,我们仅约束第i层滤波器中的非零元素的数量,即,in θi.为了得到解(10),我们保留θi中的最大幅度元素,并将其余元素设置为零。算法1总结了并发对抗训练和权重修剪的框架。除了基于ADMM的权重修剪之外,我们还在附录A中显示了后修剪的结果,分别具有和不具有再训练4. 对抗环境中的权重修剪在本节中,我们将研究对抗环境中权重修剪的性能。我们得到了与传统模型压缩设置中的结果[12,31在这里,我们通过过滤器修剪方案指定了并发对抗训练和权重修剪的拟议框架,这是一种常见的修剪选择,以便于在硬件上实现稀疏神经网络。其他的剪枝方案将在实验部分进行研究。在表1中,我们总结了本文中测试的所有网络,其模型架构由宽度缩放因子w指定。4.1. 重量修剪vs从头开始训练关于修剪的一个持续的争论是,是否真的需要权重修剪,以及为什么不从头开始训练一个小网络。为了回答这个问题,工作[31]进行了大量的实验,发现(i)训练一个大的,过参数化的模型对于获得有效的最终模型来说是不必要的,(ii)权重修剪的意义在于搜索最终修剪模型的架构。换句话说,如果我们给定了一个预定义的目标模型,那么我们是否通过修剪达到目标模型没有区别一个大的,过度参数化的模型,或者我们从头开始训练目标模型。我们还注意到,[31]中的上述结论是在进行规则修剪时得出的虽然[31]中的发现可能适用于自然训练的设置,但在对抗训练的设置中,情况就不同了。表2、3和4展示了自然训练、对抗训练和并发对抗训练的自然测试准确度/对抗测试准确度以及让我们以表2为例。当我们自然训练一个w=1的网络时,我们有98.25%的自然测试准确率和0%的对抗测试准确率。当我们对抗训练大小为w=1的网络时,自然测试准确率和对抗测试准确率均为11.35%,这仍然很低。它表明,大小为w=1的网络没有足够的能力来实现强大的对抗鲁棒性。为了提高对抗性鲁棒性,我们需要对抗性地训练至少w= 4的网络。令人惊讶的是,通过在大小为w=4的网络上利用我们的并发对抗训练和权重修剪,我们可以获得目标大小为w= 1的更小的修剪模型,但与大小为w=4的对抗训练模型相比,可以实现具有竞争力的自然测试准确率/对抗测试准确率(96.22% / 89.41%)。为了获得具有最高自然和对抗测试精度的大小为w= 1的网络,我们应该将所提出的框架应用于大小为w=8的网络。表3和表4也有类似的观察结果。总之,权重修剪的价值在对抗训练环境中至关重要:可以获得具有高自然测试精度和对抗测试精度的小模型大小的网络(通过权重修剪)。相比之下,如果对抗性训练直接应用于不是通过权重修剪获得的小规模网络,则可能会失去自然和对抗性测试的准确性4.2. 修剪是为了继承中奖票还是别的?在自然训练(修剪)设置中,彩票假设[12]指出,权重修剪的意义在于小型子网络模型可以从大型模型继承初始化(所谓的或者以另一种方式,权重修剪仅在其向最终修剪的模型提供有效初始化为了测试彩票假设在对抗环境中是否有效,我们在与[12]类似的实验设置自然/对抗测试准确度结果总结在表5中,其中单元格w1-w2(w1>w2)中的结果表示使用来自大小为w 1的对抗训练模型的继承初始化的大小为w 2的对抗训练模型的准确度。表5中未使用修剪。例如,表5中的单元格4-2仅产生11.35%/11.35%的准确度。 回想一下表2,如果我们使用我们提出的并发对抗训练和权重修剪的框架,将大小为4的模型修剪为大小为117MNIST2*w,4*w,FC(196*w,64*w),FC(64*w,10)CIFAR LeNet 6*w、16*w、FC(400*w、120*w)、FC(120*w、84*w)、FC(84*w、10)CIFAR VGG4*w,4 *w,M,8 *w,8 *w,M,16 *w,16 *w,16 *w,M,32 *w,32 *w,32 *w,32 *w,M,A,FC(32*w,10) CIFAR ResNetb *w,其中b表示ResNet 18大小的1/16[19]表1:我们实验中使用的网络结构。FC、M和A分别表示全连接层、最大池化层和平均池化层。其他数字表示卷积层中滤波器的数量我们使用w来表示网络的比例因子每一层都以w等比例缩放。表2:[列ii]具有不同大小w的自然训练模型,[列iii]具有不同大小w的对抗训练模型,[列iv-vii]并发对抗训练和从大大小到小大小的权重修剪的MNIST上的自然测试准确度/对抗测试准确度(以%计W自然基线adv基线1248198.25/0.0011.35/11.35----298.72/0.0011.35/11.3511.35/11.35---499.07/0.0098.15/91.3896.22/89.4197.68/91.77--899.20/0.0098.85/93.5197.31/92.1698.31/93.9398.87/94.27-1699.31/0.0099.02/94.6596.19/87.7998.07/89.9598.87/94.7799.01/95.442,我们可以有很高的精度97。68%/91。表2的单元格4-2中的77%。我们的研究结果表明,在对抗设置的权重修剪是彩票假设的范围之外图2:使用Adam优化器在MNIST上从头开始训练的Kaiming正常初始化的对抗训练损失,LeNet使用不同的随机种子,大小为w= 1。左边的子图是我们发现的唯一成功案例,右边的子图代表一个常见案例。此外,为了进一步探索对抗训练中初始化和模型容量之间的关系,我们进行了额外的实验。比较了七种不同的初始化方法,以在MNIST上使用Adam,SGD和CosineAnnealing [32]训练具有300个epoch的最小LeNet模型(w=1)。我们用不同的随机种子重复该实验10次,并在表B1中报告平均准确度。如表2所示,从头开始的对抗训练在w=1,2时失败。在所有研究中-简易爆炸装置的情况下,我们只发现两个例外:a)Adam具有统一初始化,b)Adam具有kaiming正常,其中10次试验中有1次成功(损失在图2中绘制)。即使对于这些例外情况,相应的测试精度也比表2中从并发对抗训练和权重修剪获得的最小模型差得多。我们还发现,精度11。35%对应于对抗训练在大多数情况下遇到的鞍点。我们在表B1中的结果表明,如果没有并发的对抗训练和权重调整,即使使用不同的初始化方案和优化器,从头开始对抗训练一个小模型4.3. 过度参数化的可能好处这是从SEC明确的。4.1和4.2,在adversar-在实际设置中,从大型模型中进行修剪是有用的,这在自然测试准确性和对抗鲁棒性方面都有好处。相比之下,从头开始对抗训练一个小模型并不能提供这些优势。这些有趣的结果可以从过度参数化的好处中解释[54,1,2],这表明当参数的数量大于统计上需要拟合训练数据时,训练神经网络可能会达到全局解。在类似的精神中,在对抗训练环境中,较大的、过度参数化的模型导致良好的收敛,而对抗训练的小模型经常卡在鞍点。这两个观察促使我们提出一个框架,可以在对抗训练期间从更大的模型中受益,同时减少模型因此,剩余的权重保持不变118表3:由LeNet对CIFAR 10的自然测试准确度/对抗测试准确度(以%计),[列ii]具有不同大小w的自然训练模型,[列iii]具有不同大小w的对抗训练模型,[列iv-vii]并发对抗训练和从大尺寸到小尺寸的权重修剪。W自然基线adv基线1248174.84/0.0110.00/10.00----278.41/0.0755.03/33.2950.3/31.33---483.36/0.1965.01/36.3053.30/32.4162.77/34.52--885.12/0.5572.80/37.6752.27/31.9162.22/35.4270.50/37.92-1687.22/0.9374.91/38.6551.28/31.3062.10/35.5570.59/37.9371.93/39.00表4:ResNet对CIFAR 10的自然测试准确度/对抗测试准确度(%),[列ii]具有不同大小w的自然训练模型,[列iii]具有不同大小w的对抗训练模型,[列iv-vii]并发对抗训练和从大尺寸到小尺寸的权重修剪。W自然基线adv基线1248184.23/0.0057.16/34.40----287.05/0.0071.16/42.4564.53/37.90---491.93/0.0077.35/44.9964.36/37.7873.21/43.14--893.11/0.0077.26/47.2864.52/38.0173.36/43.1778.12/45.49-1694.80/0.0082.71/49.3164.17/37.9971.80/42.8678.85/47.1981.83/48.00表5:用于在对抗性设置中验证彩票假设的MNIST上的自然测试准确度/对抗性测试准确度(以%计2019年12月28日2 11.35/11.35-4 11.35/11.35 11.35/11.358 11.35/11.35 97.36/90.19 98.64/94.66-16 11.35/11.35 11.35/11.35 98.42/91.63 98.96/95.49对抗稳健性5. 剪枝方案和转移攻击在本节中,我们将研究性能所提出的在不同修剪方案下的并发对抗训练和权重修剪(即,过滤器/列/不规则修剪)和转移攻击。使用VGG-16和ResNet-18网络在CIFAR 10上测试了所提出的框架,如图3所示。正如我们所看到的,自然和对抗测试的准确性随着修剪大小的减小而降低在不同的剪枝方案中,不规则剪枝在自然测试和对抗测试的准确性上表现最好,而过滤这是因为除了权重稀疏性之外,过滤剪枝还施加了结构约束,与不规则剪枝相比,结构约束限制了剪枝粒度。此外,不规则修剪保留了针对不同修剪大小的准确性。原因是配重杆-sity有利于减轻过拟合问题[17],对抗训练比自然训练遭受更显著的过拟合[36]。在表C1中,我们评估了我们的基于PGD广告的鲁棒模型的性能,以及g_C_&W`∞攻击。正如我们所看到的,并发的对抗训练和权重修剪产生了对转移攻击鲁棒的修剪模型。特别地,修剪后的模型能够实现比修剪之前的原始模型(基线)更好的对抗性测试准确度。此外,我们还设计了一个交叉转移攻击实验。考虑表2中的基线模型,当 w=1,2时,模型训练不好,所以我们从w=4,8,16的基线模型中通过PGD攻击生成对抗性样本,并将它们用于测试修剪后的模型。在表6中,结果表明,即使在每个修剪模型中的最差情况下,对抗测试准确度也高于表2中的修剪模型。结果表明,该模型最容易受到对抗性攻击。例子本身生成的,无论模型的大小。6. 实验设置的补充细节我 们 将 LeNet 用 于 MNIST , 将 LeNet 、 VGG-16 和ResNet-18用于CIFAR 10。这里使用的LeNet模型遵循工作[33]。批量归一化(BN)在VGG-16和ResNet-18中应用。关于网络结构的更多细节在表1中列出。为了解决(1)中的内部最大值问题,我们将PGDad-boundary迭代设置为40和10,步长设置为0.01,119表6:MNIST上对抗从基线模型(行)(当w2 {4,8,16}时)到修剪模型(列)m-n的转移攻击的对抗测试准确度(以%计),修剪模型m-n意味着从w=m的原始模型修剪到w=n的小模型。W16-18-14-116-28-24-216-48-416-8491.7093.7791.4394.9595.4593.5597.2696.5697.56892.1393.4792.0694.4094.3094.1596.2195.2796.461693.0594.393.0794.3795.7294.7595.6196.3195.37(a) VGG-16(b) ResNet-18图3:CIFAR10上并发对抗训练和权重修剪的拟议框架的自然和对抗测试准确性。过滤器,列,和不规则的修剪计划分别应用在建议的框架。从w= 16的大小到w= 1、2、4、8的大小执行权重修剪。 实线表示从w= 16的大小修剪到不同大小时的自然准确度,虚线表示相应的对抗准确度。2/255 , 对于MNIST和CIFAR, "∞“ 界 限 分别为 0.3 和8/255,并且所有像素值在[0,1]中归一化。我们使用学习率为110−4的Adam来训练我们的LeNet 83个epoch,正如[ 33 ]的发布代码所建议的那样。在剪枝过程中,我们设置算法1的k= 1<$10−3和K=30。此外,关于CIFAR的基准,我们做了以下工作,以确保我们的基线足够强大:1. 我们遵循[31]的建议,以较大的学习率0.1作为初始学习率来训练我们的模型。2. 我们在CIFAR中用300个epoch训练所有模型,并在epoch 80和epoch 150处将学习率除以10倍。3. Liu等人 [31]认为,从头开始训练的模型需要公平的训练时间来与修剪模型进行比较因此,如果在训练结束时损失仍然下降,我们将训练时间加倍。4. 由于自然准确性和对抗准确性之间总是存在权衡,因此当模型在测试数据集上实现自然和对抗图像的最低平均损失时,我们报告准确性。因此,我们认为,在我们的环境中,我们有公平的从头开始培训的基线。7. 结论基于最小最大鲁棒优化的对抗训练可以提供对抗对抗攻击的安全性概念。然而,对抗性鲁棒性需要比仅使用良性样本的自然训练更本文提出了一种并发对抗训练和权重修剪的框架,该框架在保持对抗鲁棒性的同时实现了模型压缩,并从根本上解决了对抗训练的困境。此外,本文还研究了在传统环境下关于权值修剪的两个假设,发现权值修剪对于减少对抗环境下的网络模型规模是必不可少的,而从头开始训练一个小模型,即使从大模型继承初始化,也不能同时实现对抗鲁棒性和高标准精度。本文还系统地研究了不同剪枝方案对对抗鲁棒性和模型压缩的影响。致谢这项工作得到了国家科学基金CNS-1932351、跨学科信息核心技术研究所(IIISCT)和中关村海华前沿信息技术研究所的部分支持。120引用[1] Zeyuan Allen-Zhu,Yuanzhi Li,and Yingyu Liang.超参数 化 神 经 网 络 的 学 习 和 泛 化 arXiv 预 印 本 arXiv :1811.04918,2018。6[2] Zeyuan Allen-Zhu,Yuanzhi Li,and Zhao Song.通过过度参数化进行深度学习的收敛理论arXiv预印本arXiv:1811.03962,2018。6[3] Anish Athalye,Nicholas Carlini,and David Wagner.模糊的梯度给人一种错误的安全感:规避对对抗性示例的防御。在国际机器学习会议上,第274-283页,2018年。1[4] MariuszBojarski , DavideDelTesta , DanielDworakowski , Bernhard Firner , Beat Flepp , PrasoonGoyal , Lawrence D Jackel , Mathew Monfort , UrsMuller,Jiakai Zhang,et al.自动驾驶汽车的端到端学习。arXiv预印本arXiv:1604.07316,2016。1[5] Stephen Boyd,Neal Parikh,Eric Chu,Borja Peleato,Jonathan Eckstein,et al.分布式优化和统计学习通过交替方向法的多-老虎钳基础和Tr端 在机器学习中,3(1):1-122,2011。4[6] 阿德里安·卡里奥,卡洛斯·桑佩德罗,亚历杭德罗·罗德里格斯-拉莫斯,帕斯夸尔·坎波伊. 关于Deep Learn-无人机的飞行方法和应用。传感器杂志,2017年,2017年。1[7] Hongge Chen,Huan Zhang,Pin-Yu Chen,Jinfeng Yi,and Cho-Jui Hsieh.用对抗性的例子攻击视觉语言基础:神经图像捕捉的一个案例研究。在计算语言学协会第56届年会论文集(第1卷:Long Papers),第2587-2597页,2018年。1[8] Pin-Yu Chen,Yash Sharma,Huan Zhang,Jinfeng Yi,and Cho-Jui Hsieh. EAD:对深度神经网络的弹性网络攻击-通过对抗性示例进行。2018年第32届AAAI人工智能大会1[9] Pin-Yu Chen,Huan Zhang,Yash Sharma,Jinfeng Yi,and Cho-Jui Hsieh. Zoo:基于零阶优化的黑盒攻击,在没有训练替代模型的情况下对深度神经网络进行攻击.第10届ACM人工智能与安全研讨会论文集,第15-26页。ACM,2017。1[10] Ronan Collobert和Jason Weston自然语言处理的统一架构:具有多任务学习的深度神经网络。第25届国际机器学习会议(ICML)集,第160ACM,2008年。1[11] Daniel J Fagnant和Kara Kockelman。为自动驾驶汽车做好准备:机会、障碍和政策建议。运输研究A部分:政策与实践,77:167-181,2015。1[12] 乔纳森·弗兰克尔和迈克尔·卡宾。彩票假说:寻找稀疏的、可训练的神经网络。2019年国际学习代表会议。三、五[13] 泽维尔·格洛特和约舒亚·本吉奥了解训练深度前馈神经网络的困难。在Pro-第十三届人工智能和统计国际会议的会议记录,第249-256页,2010年。11[14] Ian Goodfellow、Jonathon Shlens和Christian Szegedy。解释和利用对抗性的例子。2015 ICLR,arXiv preprintarXiv:1412.6572,2015. 1[15] Yiwen Guo,Anbang Yao,and Yurong Chen.动态网络外科手术用于有效的dnns。神经信息处理系统进展,第1379-1387页,2016年。二、三[16] Yiwen Guo , Chao Zhang , Changshui Zhang , andYurong Chen.具有改进的对抗鲁棒性的稀疏dnns。在神经信息处理系统的进展,第240-249页,2018年。2[17] Song Han,Jeff Pool,John Tran,and William Dally.学习权值和连接以实现高效的神经网络。神经信息处理系统的进展,第1135-1143页,2015年。二、三、七[18] Kaiming He,Xiangyu Zhang,Shaoying Ren,and JianSun. 深入研究整流器:超越人类对imagenet分类的水平。在IEEE计算机视觉国际会议论文集,第1026-1034页,2015年。11[19] Kaiming He,Xiangyu Zhang,Shaoying Ren,and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and patternrecognition,第770-778页,2016中。1、6[20] Yihui He,Xiangyu Zhang,and Jian Sun.用于加速深度神经网络的通道修剪。在IEEE计算机视觉国际会议论文集,第1389-1397页,2017年。二、三[21] Mingyi Hong,Zhi-Quan Luo,and Meisam Razaviyayn.一族非凸问题乘子交替方向法的收敛性分析SIAM Jour-nal on Optimization,26(1):337-364,2016. 4[22] Andrew Ilyas,Logan Engstrom,Anish Athalye和JessyLin。使用有限的查询和信息进行黑盒对抗攻击。在机器学习国际会议上,第2142-2151页1[23] Arbaaz Khan和Martial Hebert使用深度神经网络学习无人机的安全恢复轨迹。2018年IEEE航空航天会议,第1-9页IEEE,2018年。1[24] Alexey Kurakin,Ian J Goodfellow,and Samy Bengio.大规模的对抗性机器学习。在2016年国际学习表征会议上。2[25] 纪林、闯乾、宋涵。防御性量化:当效率满足鲁棒性。ICLR,2019。1[26] Ji Lin,Yongming Rao,Jiwen Lu,and Jie Zhou.运行时神经修剪。神经信息处理系统,第2181-2191页,2017年。3[27] Tsung-Yi Lin , Piotr Dollar , Ross Girshick , KaimingHe,Bharath Hariharan,and Serge Belongie.用于对象检测的特征金字塔网络。 2017年IEEE计算机视觉与模式识别会议(CVPR),第936-944页IEEE,2017年。1[28] Geert Litjens,Thijs Kooi,Babak Ehteshami Bejnordi,Ar- naud Arindra Adiyoso Setio , Francesco Ciompi ,Mohsen121Ghafoorian,Jeroen Awm Van Der Laak,Bram Van Gin-ne k en和ClaraISa'nchez。深度学习在医学图像分析中的应用医学图像分析,42:60-88,2017。1[29] Xuanqing Liu , Yao Li , Chongruo Wu , and Cho-JuiHsieh. Adv-BNN:通过鲁棒的贝叶斯神经网络改进对抗防御。在2019年国际学习代表会议上。1[30] Zhuang Liu,Jianguo Li,Zhiqiang Shen,Gao Huang,Shoumeng Yan,and Changshui Zhang.通过网络瘦身学习高效的卷积网络
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功