没有合适的资源?快使用搜索试试~ 我知道了~
基于梯度的量化网络对抗攻击及改进方法
+v:mala2255获取更多论文一种改进的基于梯度的量化网络对抗攻击Kartik Gupta1,3,Thalaiyasingam Ajanthan<$1,21澳大利亚国立大学2亚马逊科学3DATA61,CSIRO†加入亚马逊摘要神经网络量化由于有效的内存消耗和量化网络上的逐位运算导致的尽管它们表现出很好的泛化能力,但它们的鲁棒性还没有得到很好的理解。在这项工作中,我们系统地研究了量化网络对基于梯度的对抗性攻击的鲁棒性,并证明了这些量化模型存在梯度消失问题,并表现出虚假的鲁棒性。通过将梯度消失归因于训练网络中的前向-后向信号传播不良,我们引入了一种简单的温度缩放方法来缓解这个问题,同时保留决策边界。尽管是对现有基于梯度的对抗攻击的简单修改,但在具有多个网络架构的多个图像分类数据集上的实验表明,我们的温度缩放攻击在量化网络上获得了近乎完美的成功率,同时在对抗训练模型以及浮点网络上优于原始攻击1。介绍神经网络(NN)量化已经变得越来越流行,由于减少内存和时间复杂性,使实时应用和资源有限的设备上的推理。这样的量化网络通常表现出出色的泛化能力,尽管由于参数和动作的精度降低而具有低容量。然而,它们的鲁棒性还没有得到很好的理解.特别是,虽然参数量化网络声称对基于梯度的对抗性攻击具有更好的鲁棒性(Galloway,Taylor和Moussa2018),但仅 激 活 量 化 方 法 被 证 明 是 脆 弱 的 ( Lin , Gan 和Han2019)。在这项工作中,我们考虑了二进制神经网络(BNN)的极端情况,系统地研究了参数量化模型的鲁棒性,以及参数和激活量化模型对基于梯度的对抗性攻击。我们的分析表明,这些量化模型受到梯度掩蔽的影响(Athalye,Carlini和Wagner2018),反过来又表明Copyright © 2022 , Association for the Advancement ofArtificial Intelligence(www.aaai.org). All rights reserved.1可在https://github.com/kartikgupta-at-anu/attack-bnn假鲁棒性。我们将这种消失的梯度归因于由训练的二进制权重引起的不良的前向-后向信号传播,并且我们的想法是在不改变预测的情况下改善网络的有大量关于改进神经网络中信号传播的工作(例如,(Glorot和Bengio2010;Pennington,Schoenholz和Ganguli2017;Lu,Gould和Ajan-than2020)),但是,我们面临着在保持决策边界的同时改善信号传播的独特挑战,因为我们的最终目标是生成对抗性攻击。为此,我们首先讨论了确保信息梯度的条件,然后采用温度缩放方法(Guo et al.2017)(在应用softmax交叉熵之前缩放logits)来表明,即使有一个正标量,BNN中的消失梯度问题也可以得到缓解,实现近乎完美的成功率。具体来说,我们引入了两种技术来选择温度标度:1)基于输入-输出雅可比矩阵的奇异值,2)通过最大化损耗相对于输入的Hessian范数。第一种情况的理由是,如果输入-输出雅可比矩阵的奇异值集中在1附近(定义为动态等距(Pennington,Schoenholz和Ganguli2017)),然后该网络被认为具有良好的信号传播。另一方面,最大化Hessian范数的直觉是,如果Hessian范数很大,则损失相对于输入的梯度对输入的无穷小变化敏感。这是网络具有良好信号传播以及在网络不具有任何随机化或不可微分量的假设下的信息梯度的充分条件综上所述,本文做出了以下贡献:• 我们首先通过各种经验检查表明,BNN对基于梯度的对抗性攻击具有假鲁棒性,例如FGSM(Goodfellow,Shlens 和 Szegedy2014 ) 和 PGD ( Madry et al. 2017年)。• 通过考虑信号传播差导致基于梯度的对抗性攻击失败,我们提出了基于温度缩放的解决方案,以改善现有的攻击,而不改变网络的预测。• 为了估计基于梯度的对抗攻击中温度缩放的适当标量 , 我 们 提 出 了 两 种 变 体 , 即 网 络 雅 可 比 缩 放(NJS)和arXiv:2003.13511v2 [cs.CV] 2021年12+v:mala2255获取更多论文∞∈i=1XQ {−}Q∞X公司简介MDtanh SXHessian范数标度(HNS)是从改善信号传播的角度出发的。• 通过在CIFAR-10/100数据集上使用几种网络架构进行实验评估,我们表明,我们提出的修改现有基于梯度的广告攻击的技术在具有权重量化(BNN-WQ)和权重和激活量化(BNN-WAQ)的BNN上实现了近乎完美的成功率此外,我们的变体即使在对抗训练的模型和浮点网络上也能提高攻击成功率,显示了对抗攻击信号传播的重要性。预赛我们首先提供了一些关于神经网络量化和对抗性攻击的背景。神经网络量化神经网络(NN)量化被定义为训练网络的参数约束到一个最小的,离散的量化水平集。这主要依赖于假设,因为NN通常是过参数化的,所以可以获得具有与浮点网络相当的性能的量化网络。给定数据集方法ResNet-18VGG-16清洁高级(1)Adv.(二十)清洁高级(1)Adv.(二十)REF94.460.000.0093.310.040.00BNN- WQ93.1826.9817.9191.5347.3238.49BNN- WAQ87.678.571.9489.6978.0159.26表1:使用ResNet-18和VGG-16在CIFAR-10测试集上的清洁和对抗准确度(具有L界限的PGD攻击)。在括号中,我们提到了用于执行攻击的随机重启次数请注意,BNN始终比浮点网络产生更高的对抗精度。和黑箱攻击,其中差别在于对手的知识。白盒攻击允许攻击者访问目标模型的体系结构和参数,而黑盒攻击只能查询模型。由于基于白盒梯度的攻击很流行,我们将其总结如下。基于一阶梯度的攻击可以被压缩为损失函数的负值上的投影梯度下降(PGD)(Madry et al. 2017年)。形式上,设x0IRN为输入图像,则在迭代t处,PGD更新可以是D={xi,yi}n,NN量化可以写为:n写为:xt+1=P. xt+ηgt、(二)min L(w; D):= 1l(w;(x,y))。(1)x→ X Xw∈Qmni ii=1其中P:IRN是投影,IRN是正投影,约束扰动的约束集,η>0是步长这里,l(·)表示由以下组成的输入-输出映射:而gt是损失的梯度形式,标准损失函数(例如,交叉熵损失),w是m维参数向量,并且是表示量化级别的预定离散集合(例如,=一,一 二进制的情况下)。大多数NN量化方法(Ajanthan etal.在xt处求值的输入x。有了这个一般形式,流行的基于梯度的对抗攻击可以被指定为:• 快速梯度符号法(FGSM):这是在(Goodfellow,Shlens和Szegedy2014)中引入的一步攻击。这里,P是恒等映射,η是2019,2021;Bai,Wang,and Liberty2019;Hubara et al.最大允许扰动幅度,gt=2017)通过引入辅助变量将上述问题转化为无约束问题,并通过sign(关于,xl(w;(xt,y),其中lX表示损失函数-(随机)梯度下降。为此,算法在量化集的选择上不同 ( 例 如 , 保 持 离 散 ( Courbariaux , Bengio 和David2015 ) , 将 其 放 松 到 凸 包 ( Bai , Wang 和Liberty2019 ) 或 将 问 题 转 换 为 提 升 的 概 率 空 间(Ajanthan et al. 2019年)),使用的预测,以及如何区分,w是训练后的权重,y是地面真实值标签对应的图像x0.• PGD与L最受欢迎的广告词-sarial攻击在(Madry et al.2017)中引入,有时被称为迭代快速梯度符号方法(IFGSM)。这里,P是基于L∞范数的投影,η是进行投影。在约束集选择步长,gt= sign(xl(w;(xt,y),被放松,逐渐增加的退火超参数被用来强制量化的解决方案(Ajanthanet al. 2019,2021;Bai,Wang和Liberty2019)。 我们建议感兴趣的读者阅读相关论文以了解更多细节。本文在分析了现有文献资料的基础上,梯度符号与FGSM相同。• 结合L2的PGD:这也在(Madryet al.2017)中引入,其在Eu-clidean空间中执行标准PGD。这里,P是基于L2范数的投影,我们使用的是 (Ajanthan etal.η是选定的步长,并且gt=fxl(wt;(xt,y))是2021)和使用直通估计(Hubara等人,2017)获得的BNN-WAQ。简而言之,MD-tanh-S表示基于镜像下降优化的网络二值化方法,其中镜像映射是使用tanh投影函数导出的。对抗性攻击对抗性示例包括对数据的不可察觉的现有的攻击可以分为白盒攻击、简单地说就是损失相对于输入的梯度。这些攻击通过随机初始步骤得到了进一步加强(T rame`ret al. 2017 年)。 在本文中,我们对所有FGSM /PGD攻击的实验都执行这种单一的随机初始化,除非另有说明。BNN的鲁棒性评价我们首先使用PGD攻击评估BNN的对抗准确性(即对扰动数据的准确性),扰动边界为8个像素(假设每个像素都在∇+v:mala2255获取更多论文参考BNN-WQBNN-WAQREFBNN-WQBNN-WAQ对抗准确率(%)对抗准确率(%)∞∞∈联系我们∈×100不同的PGD攻击交互改变PGD攻击半径70806070805060604050402000 10 20 30 40 5030201000 10 20 30 40 50 60 70 80403020100BNN-WQBNN-WQBNN-WAQBNN-WAQ攻击迭代(a) 攻击迭代不会改善攻击。攻击半径(b) 攻击半径不会提高攻击力。(ResNet-18)(VGG-16)(ResNet-18)(VGG-16)(c) 黑盒攻击表现更好。图1:CIFAR-10上ResNet-18中的梯度掩蔽检查,用于L 边 界 的 PGD攻击。虽然(a)、(c)显示梯度掩蔽的迹象,但(b)没有。我们将这种差异归因于PGD前的随机初始步骤。图像在[0,255]中)相对于L 范数,步长η=2,迭代总次数T=20。除非另有说明,否则所有评估设置中的攻击细节都是相同的。我们使用ResNet-18和VGG-16架构在CIFAR-10数据集上进行实验,并报告了干净的表1中的1次和20次随机重启的PGD对抗准确度和PGD对抗准确度。可以清楚且一致地观察到,与浮点网络相比,二进制网络具有较高的对抗准确性。即使有20次随机重启,BNN在对抗精度方面也明显优于浮点网络由于这一结果令人惊讶,我们进一步研究了这一现象,以了解BNN是否实际上对对抗性扰动具有鲁棒性,或者它 们 是 否 由 于 模 糊 梯 度 而 显 示 出 虚 假 的 安 全 感(Athalye,Carlini和Wagner2018)。识别混淆的事件。最近,有研究表明,几种防御机制有意或无意地破坏梯度下降并导致模糊梯度,从而表现 出 虚 假 的 安 全 感 ( Atha-2018 , Carlini 和Wagner2018)。几种基于梯度的对抗性攻击往往无法在梯度无信息的情况下产生对抗性扰动,称为梯度掩蔽。梯度掩蔽可以由于破碎梯度、随机梯度或爆炸和消失梯度而发生。我们试图根据(Athalye,Carlini和Wagner2018)中如果任何这些由于防御机制中的不可微成分而发生梯度,并且随机梯度由随机化梯度引起。由于BNN可以从头开始训练由于梯度消失或爆炸是由于信号传播不良而发生的,通过引入单个标量,我们讨论了两种方法来缓解这个问题,这导致基于梯度的BNN攻击的成功率几乎为100%神经网络我们首先描述了神经网络中不良的信号传播如何然后我们讨论了引入单个标量来改进现有的基于梯度的攻击而不影响预测的想法(即,决策边界)。我们考虑一个神经网络fw的输入x0,具有后激活al,为l1。. . K层和logits aK=fw(x0)。现在,由于softmax交叉熵通常用作损失函数,我们可以写:l(aK,y)= −yTlog(p),p= softmax(aK),(3)其中,y IRd是独热编码的目标标签,并且log被逐元素地应用。对于前面讨论的各种基于梯度的对抗性攻击,损失l的梯度相对于输入x0使用,其也可以使用链式规则公式化为,如果检查失败,则表明BNN中存在梯度掩蔽问题。为了说明这一点,我们分析了不同的差异的影响l(aK,y)l(aK,y)==(aK,y)J,(4)对训练好的BNN进行PGD攻击的超参数 对100万KazakhuKazakhu0CIFAR-10使用ResNet-18架构。尽管变化的PGD扰动边界没有显示出梯度掩蔽的任何迹象,但变化的攻击迭代和黑盒与白盒结果(在ResNet-18和VGG-16上)清楚地表明梯度掩蔽问题,如图12所示1.一、BNN的黑盒攻击优于白盒攻击当然表明梯度掩蔽问题,因为黑盒攻击不使用来自被攻击模型的梯度信息。在这里,我们的黑盒模型的BNN是类似的-gous浮点网络在相同的数据集上训练,攻击是相同的PGD,具有L∞界。这些检查表明,BNN的梯度掩蔽和表现出虚假的鲁棒性。注意,破碎式中,Δ R表示误差信号,JRd×N是输入-输出雅可比矩阵。这里我们使用的约定是,v/u的形式为v-sizeu-size。注意,有两个分量影响梯度,1)雅可比矩阵J和2)误差信号ω。如果雅可比矩阵条件不佳或误差信号具有饱和梯度,则基于梯度的攻击将失败,这两种情况都将导致在λ 1/λx0中梯度消失。研究了雅可比矩阵对信号传播的影响在动力学等距和平均场理论文献中(Pennington ,Schoenholz 和 Ganguli2017;Saxe , Mc-Clelland 和Ganguli2013),并且已知如果奇异值白盒计数黑盒计数对抗准确率(%)+v:mala2255获取更多论文{−}→ ∞ǁǁ→ ∞−- − −αp( β)∂a¯K12J的值集中在1附近。在此条件下,误差信号通过网络等距反向传播,近似保持其范数和误差向量间的所有夹角因此,由于动态等距提高了可训练性,由于浮点网络的复杂性,类似的技术也可以事实上,几乎所有的初始化技术(例如,(Glorot和Bengio2010))近似地确保了雅可比J是良好条件的,以获得更好的可训练性,并且即使在最后也保持近似等距的假设大小为1,1,因此训练结束时的权重分布与随机初始化完全不同。此外,尚不清楚完全量化的网络是否可以实现良好条件的雅可比矩阵,其引导一些研究活动利用分层标量(预定义或学习)来改善BNN训练(McDonnell2018;Rastegariet al. 2016年)。 我们想指出的是,本文的重点是改进对已经训练好的BNN的基于梯度的攻击。为此,学习新的标量来改善每层的信号传播是没有用的,因为它可以改变网络的决策边界,因此不能在已经训练好的模型上实际使用。温度调节可实现更好的信号传播。在本文中,我们建议使用一个单一的标量每个网络,以改善网络的信号传播使用温度缩放。事实上,可以用单调函数代替softmax,这样预测就不会改变,但是,我们将在实验中证明,使用softmax的单个标量具有足够的灵活性来改善信号传播,并且使用softmax可以产生几乎100%的成功率。PGD攻击本质上,我们可以使用标量,β >0,改变网络的决策边界,单个标量的等效性(忽略偏差)相当于具有分层标量,如(McDonnell2018)。因此,我们认为一个标量就足以满足我们的目的。现在我们讨论选择标量β的策略,使得相对于输入的梯度是信息性的。让我们先分析β对误差信号的影响。为此目的,(β)=(七)其中y是独热编码的目标标签,并且p(β)是缩放的logit的softmax输出。对于对抗性攻击,我们只考虑正确分类的图像(即,因为不需要生成对应于误分类样本的对抗性示例。 从上面的公式可以清楚地看出,当p(β)是独热编码时,则误差信号为0。这是BNN中梯度问题即使对于给定的图像这不会发生,也可以增加β以使该误差信号为0。类似地,当p(β)是均匀分布时,误差信号的范数最大。 这可以通过设置β=0来获得。然而,这也将使因为输入-输出雅可比矩阵的奇异值将全部为0。这一分析表明,最佳β无法获得。通过简单地最大化误差信号的范数来获得,并且我们需要平衡雅可比矩阵以及误差信号。总而言之,标量β应被选择为使得满足以下性质:1. 当ρ >0时,ρ2> ρ。求logits的相对顺序确切地说,我们考虑以下几点:p(β)=so ftmax(a<$K),a<$K=βaK.(五)2. 雅可比矩阵βJ是良态的,即βJ的奇异值集中在1附近。网络雅可比缩放(NJS)。我们现在讨论一个简单的,两步走的方法来实现上述-这里,我们将softmax输出概率p写为β的函数,以强调它们是温度缩放的logits的softmax输出。现在,由于在这种情况下,唯一的变量是温度标度β,我们将损耗和误差信号表示为仅β的函数。利用这种简化的符号,相对于输入的温度缩放损耗的梯度可以写为:被没收的财产首先,为了确保βJ是良态的,我们简单地选择β为J的奇异值均值的倒数。这保证了βJ的奇异值的均值为1。在这种缩放之后,可能产生的误差信号非常小。为了确保ρ(β)2> ρ >0,我们确保softmax输出pk(β)对应于胆固醇(β)l(β)==π(β)β J。(六)基础真值类k至少远离1ρ。我们现在把它作为一个命题来陈述,即在给定一个下界的情况下,100万a1− p k(β)。注意,β线性地影响输入-输出雅可比矩阵,提案1. 设aK∈IRd,其中d >1,且aK≥aK≥它非线性地影响误差信号θ。为此,我们希望. . . ≥ a K且a K−a K= γ。对于给定的0<ρ(d−1)/d,为了获得确保误差信号有用的β(即,不D1dK全零)以及雅可比矩阵被良好地调节以允许误差信号传播到输入。我们承认,虽然可以找到β>0以获得从均匀分布(β=0)到独热向量(β)的softmax输出,但β仅缩放雅可比矩阵。因此,如果雅可比矩阵J具有零奇异值,则我们的方法在这些维度上没有效果。但由于大多数现代网络由ReLU非线性(通常为正齐次函数)组成,存在β>0使得1 softmax(βa1)> ρ,则β0μ m(x)F范围,使得每个图像的hessian范数最大化,如附录所述对于我们的NJS变体,我们设置ρ = 0的值。01. 事实上,我们的攻击不是很有意义-= argmaxββ>0?(β)Jx0+ββ-TKJJ.女(8)我们在附录中提供了消融研究。结果推导见附录。注意,由于J不依赖于β,J和J/x0仅计算一次,β使用网格搜索进行优化,因为它仅涉及单个标量。事实上,从上面的等式很容易看出,当Hessian被最大化时,β不可能为零。类似地,p(β)不能为零,因为如果它为零,则预测p(β)是独热编码(等式2)。(7)因此p(β)/黑森规范。因此,这确保了对于我们与原始PGD的比较 (L2/L)和表2中报告了不同BNN-WQ的FGSM攻击。我们的PGD++变体在两个数据集上的所有网络上的表现始终优于原始PGD。即使是基于梯度的攻击,我们提出的PGD++(L2/L)变体实际上也可以在CIFAR- 10数据集上达到接近0的对抗精度,从而消除了虚假鲁棒性二值化网络的神秘性。由于信号传播不良,作品往往会出现。同样,对于一步FGSM攻击,我们的修改版本一些 ρ >0 和ββ2根据命题1有界。比原始的FGSM攻击性能好得多在不同的网络架构上,因此,对于β的有限值,获得最大值。尽管不清楚这种方法如何精确地影响输入-输出雅可比矩阵(βJ)的奇异值,但我们知道它们是有限的而不是零。此 外 , 最 近 的 一 些 工 作 ( Moosavi-Dezfooli etal.2019;Qin et al.2019)表明,对抗训练使损失曲面在训练样本附近局部线性,对损失曲率施加局部线性约束可以实现对对抗攻击的更好鲁棒性。相反,我们的想法最大化的黑森州,即,增加l的非线性,可能会使网络更容易受到对抗性攻击,我们打算利用这一点。使用HNS的PGD++攻击的伪码总结在附录的A节中。实验本文对加权量化(BNN-WQ)、加权激活量化(BNN-WAQ)、浮点网络(REF)的鲁棒性进行了评价.我们在CIFAR-10和CIFAR-100数据集上评估了我们的两个对应于HNS和NJS的PGD++变体,这些数据集具有多种网络架构。为了证明我们提出的变体在对抗性鲁棒模型上的有效性,我们还与DeepFool等更强的攻击进行了比较(Moosavi-Dezfooli,Fawzi和Frossard2016)真的。我们想指出的是,在上述两种攻击中的这种改进是相当有趣的,已知具有L的FGSM、PGD攻击仅使用梯度的符号的事实,因此改进的性能表明,我们的温度缩放确实使梯度中的一些零元素非零。我们想在这里指出,可以使用几个随机重新启动,以进一步提高FGSM/PGD攻击的原始形式的成功率,但为了保持比较公平,我们使用单一的随机重新启动原始和修改后的攻击。然而,如在表1中已经观察到的,即使有20次随机重启,BNN的PGD对抗准确度也不能达到零,而我们提出的PGD++变体始终实现完美的成功率。表3中报告了REF和BNN-WAQ在使用ResNet-18/50、VGG-16和DenseNet-121的CIFAR-10上训练的针对我们的变体与原始对应物的对抗准确度。总的来说,对于REF和BNN-WAQ,我们的变体始终优于原始对应物。特别有趣的是,PGD++变体提高了REF网络上的攻击成功率这有效地扩展了我们的PGD++变体的适用性,并鼓励考虑任何经过训练的网络的信号传播,以改进基于梯度的攻击。具有L变体的PGD++在所有BNN-WAQ上实现了近乎完美的成功率,再次验证了BNN的假鲁棒性的假设。.+v:mala2255获取更多论文CIFAR-100BNN- WAQCIFAR-10REF∞∞∞∞对抗准确率(%)对抗准确率(%)FGSM公司简介NJS HNSPGD(L∞)PGD++(L∞)NJS HNSPGD(L2)PGD++(L2)NJS HNSResNet-1840.493.462.5126.980.000.0055.680.050.05VGG-1657.554.003.4347.320.000.0056.660.351.32ResNet-5057.626.445.3543.140.000.0059.110.110.08DenseNet-12126.804.674.249.110.000.0045.780.030.06MobileNet-V233.506.425.4226.860.000.0034.400.120.09ResNet-1825.2214.081.808.232.450.0025.206.790.26VGG-1619.827.981.7617.440.880.1616.253.170.63ResNet-5037.7616.3314.1725.712.332.7330.777.907.41DenseNet-12128.3212.2110.868.871.151.0924.654.544.16MobileNet-V212.0910.188.791.440.570.666.123.393.01表2:BNN-WQ测试集上的对抗准确度。 我们的 NJS和HNS变体始终优于原始版本L∞有界FGSM和PGD攻击以及L2有界PGD攻击.FGSM公司简介NJS HNSPGD(L∞)PGD++(L∞)NJS HNSPGD(L2)PGD++(L2)NJS HNSResNet-187.625.555.350.000.000.001.120.090.05VGG-1611.0110.049.660.040.000.002.230.781.10ResNet-5021.646.085.700.690.000.000.370.070.09DenseNet-12111.407.587.300.000.000.000.650.080.06ResNet-1840.8419.4619.098.570.030.0425.242.332.59VGG-1679.9215.9615.3978.010.010.0285.620.490.62ResNet-5033.1625.8927.050.490.230.4519.416.688.77DenseNet-12137.2023.8924.690.810.100.1848.373.726.17表3:REF和BNN-WAQ在CIFAR-10测试集上的对抗准确度。我们的NJS和HNS变种始终优于原来的FGSM和PGD(L∞/L2界)攻击。为了进一步证明提出的攻击变体的有效性,我们首先以与Madry等人2017年类似的方式对抗训练BNN-WQ(使用BC(Courbariaux,Bengio和David2015),GD-tanh/MD-tanh-S(Ajanthan等人2021)量化)和浮点网络,使用L有界PGD =7次迭代,η=2,=8。我们报告了L有界攻击的对抗准确性,以及我们使用ResNet-18在Ta中对CIFAR-10的变体表4. 这些结果进一步加强了我们提出的PGD ++变体的有用性。此外,在启发式选择β=0的情况下。1在执行基于梯度的攻击之前按比例缩小logit的性能甚至更差。最后,即使反对更强的攻击(DeepFool,BBA)在相同的L扰动范围内,我们的变体在表4中的这些对抗性训练模型上始终表现出色。 我们想指出的是,我们的变体与原始的基于梯度的攻击相比,计算开销可以忽略不计,而更强的攻击在实践中要慢得多,需要100- 1000次迭代,具有对抗性的起点(而不是随机的初始扰动)。为了说明我们提出的变体在改善信号传播方面的有效性,我们将其与使用最近提出的对数比差异(DLR)损失(Croce和Hein2020)进行的基于梯度的攻击进行比较。其目的是避免饱和误差信号的问题此外,我们还提供了与最近引入的使用DLR损失执行的自动PGD(APGD)攻 击 和 无 梯 度 攻 击 ( 即 Square Attack ) 的 比 较(Andriushchenkoet al. 2020年)。 我们在表5中显示了在CIFAR-10数据集上训练的ResNet-18模型上进行的这些实验比较。攻击参数与用于其他实验的相同。可以观察到,我们提出的变体在DLR损失和方形At tack的情况下比PGD或APGD表现更好,始终实现0%的对抗准确度。事实上,许多计算昂贵的Square攻击在强制L界限下的任何情况下都无法达到0%的对抗精度。在FGSM攻击和对抗性训练模型的情况下,差异幅度是显著的。事实上,重要的是要注意,具有 DLR损失和SquareAttack的基于梯度的攻击在对抗训练的模型上的表现比原始的基于梯度的攻击更差。ImageNet. 对于其他大规模数据集,如Ima-geNet,BNN很难用完全二值化的参数进行训练,导致性能不佳。因此,大多数现有的作品(杨等人。2019)在BNN上保持第一层和最后一层浮点,并引入了几个逐层标量,以在ImageNet上取得良好的效果。在这样的实验设置中,根据我们的实验,训练+v:mala2255获取更多论文对抗准确率(%)网络∞∞∞∞网络REF62.3869.5261.4361.4048.7361.2751.0148.4347.1748.54BC53.9162.4652.9052.2741.2954.2442.6540.1439.3539.34GD-tanh56.1365.0655.5454.8142.7756.7844.7842.9442.1442.30MD-tanh - S55.1063.4254.7453.8241.3454.2243.4640.6940.7640.67表4:使用不同的量化方法(BC、GD-tanh、MD-tanh-S)针对对抗训练的REF和BNN-WQ的具有ResNet-18的CIFAR-10上的对抗准确度。将改进后的攻击与FGSM、PGD(L),启发式选择β=0。1、DeepFool和BBA。尽管在对抗训练的网络上,我们的方法优于所有可比方法。FGSM公司简介平方PGD+FGSM(德国航天中心)NJS HNSPGD(德国航天中心)APGD攻击NJS HNSREF7.6219.485.555.350.000.000.000.550.000.00BNN- WQ40.4919.723.462.5126.980.000.000.410.000.00BNN- WAQ40.8441.7819.4619.098.574.576.3221.450.030.04参考编号62.3866.3961.4361.4048.7349.7349.0054.0547.1748.54BNN- WQ55.1059.1454.7453.8241.3441.4240.8546.6740.7640.67表5:使用ResNet-18在CIFAR-10上训练的REF、BNN-WQ和BNN-WAQ的对抗准确度。这里,表示反向训练的模型。我们的NJS和HNS变体始终优于使用对数比差(DLR)损失和梯度自由攻击执行的L有界FGSM、PGD和自动PGD(APGD)(Croce和Hein 2020)攻击,即,方形攻击(Andriushchenko等人,2020),L界(8/255)。注意,在大多数情况下,带有DLR损失和Square Attack的FGSM,PGD和APGD攻击在对抗训练模型上的表现甚至比它们的原始形式更差。BNN不表现出梯度掩蔽问题或不良信号传播,因此更容易使用原始FGSM/PGD攻击进行攻击,具有完全成功率。在这样的实验中,我们的修改后的版本执行同样好的COM-兼容这些攻击的原始形式。相关工作对抗性的例子首先在(Szegedy et al. 2014)和随后的有效的基于梯度的攻击,如FGSM(Goodfellow,Shlens和Szegedy2014)和PGD(Madry et al. 2017年)推出。目前存在更强的攻击,如(Moosavi-Dezfooli,Fawzi和Frossard2016;Carlini和Wagner2017;Yao等人2019;Finlay , Pooladian 和 Oberman2019;Brendel 等 人2019)。然而,与PGD相比,它们在实践中用于对抗训练要慢得多。对于与对抗性攻击相关的深入调查,我们请读者参考(Chakraborty et al. 2018年)。最 近 的 一 些 研 究 集 中 在 BNN 的 对 抗 鲁 棒 性 上(Bernhard,Moellic和Dutertre2019;Sen,Ravin-dran和Raghunathan2020;Galloway,Taylor和Moussa2018;Khalil , Gupta 和 Dilkina2019;Lin , Gan 和Han2019),然而,对量化网络的鲁棒性缺乏强烈的共识。特别是,虽然(Galloway,Taylor和Moussa2018)声称参数量化网络对基于经验证据的基于梯度的攻击具有鲁棒性,但(Lin,Gan和Han2019)表明激活量化网络容易受到此类攻击,并提出了一种防御策略,假设参数量化网络是基于梯度的攻击。参 数 是 浮 点 的 。 随 后 , ( Khalil , Gupta 和Dilkina2019)提出了一种组合攻击,暗示激活量化网络将具有模糊梯度问题。尽管如本文所示,组合攻击是不可扩展的,因此实验仅在MNIST上训练的几个分层MLP(Sen,Ravindran和Raghunathan 2020)表明混合 精 度 网 络 的 集 成 比 原 始 浮 点 网 络 更 强 大 ; 然 而(Tramer et al. 2020)稍后显示,可以通过对损失函数进行微小修改来攻击当前的防御方法简而言之,尽管已经暗示BNN中可能存在梯度掩蔽(特别是在激活量化网络中),但对BNN是否鲁棒缺乏深入的理解我们在本文中回答这个问题,并介绍了改进的基于梯度的攻击。结论在这项工作中,我们已经表明,BNN-WQ和BNN-WAQ都倾向于表现出对梯度的鲁棒性的虚假感觉, 由于不良的信号传播,基于ENT的攻击。为了解决这个问题,我们引入了PGD++攻击的两种变体,即NJS和HNS。我们提出的PGD ++变体不仅在二值化网络上具有接近完全的成功率,而且性能优于标准L和L2有界对浮点网络的PGD攻击我们终于让他-在对抗训练的REF上证明攻击成功,BNN-WQ 对抗更强的攻击(DeepFool和BBA)。对抗准确率(%)FGSM公司简介PGD深BBAPGD+FGSMβ =0。1NJS HNSPGDβ =0。1傻瓜NJS HNS+v:mala2255获取更多论文∈{}∞i=1 Σ2不∞∈{}∞∞111∞= argmaxβ>0 ?2l( β)/μ(x0)2?12D1Dexp(βaK)/exp(βaK)1−ρ,<1/。1+<$exp(β(a K− aK))<<$1 − ρ。λ1Dλ=2λ=2附录在这里,我们首先提供了伪代码,命题的证明和海森的推导。随后我们给出了额外的实验,分析和我们的实验设置的细节。伪代码我们在算法1中提供了PGD ++与NJS的伪代码,在算法2中提供了PGD ++与HNS的伪代码。算法1:PGD++,具有NJS,具有L,T迭代,半径λ,步长η,网络fwλ,输入x0,标签k,独热y0,1d,梯度阈值ρ。要求:T,η,ρ,x0,y,k
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功