基于随机自集成的鲁棒神经网络的防御算法

基于随机自集成的鲁棒神经网络Xuanqing Liu1，Minhao Cheng1，Huan Zhang2，and Cho-Jui Hsieh1，31电气和计算机科学，加州大学戴维斯分校，戴维斯CA 95616，美国{xqliu，mhcheng}@ucdavis.edu2电气和计算机工程，加州大学戴维斯分校，戴维斯CA 95616，美国ecezhang@ucdavis.edu3Department of Statistics，UC Davis，Davis CA 95616，USAchohsieh@ucdavis.edu抽象。最近的研究揭示了深度神经网络的脆弱性：一个人类无法察觉的小的对抗性扰动可以很容易地使一个训练有素的深度神经网络错误分类。这使得在安全关键应用中应用神经网络变得不安全。在本文中，我们提出了一种新的防御算法称为随机自增强（RSE）通过结合两个重要的概念：随机性和集合。为了保护目标模型，RSE在神经网络中加入随机噪声层以防止基于梯度的强攻击，并在随机噪声上集成预测以稳定性能。我们表明，我们的算法是等价于集成无限数量的噪声模型f∈没有任何额外的内存开销，和建议的训练过程的基础上噪声随机梯度下降可以确保集成模型具有良好的预测能力。我们的算法显着优于以前的防御技术在真实的数据集。例如，在CIFAR-10上，VGG网络（在没有任何攻击的情况下有92%的准确率），在一定的失真容限内，在强C W攻击下，未保护模型的准确率下降到小于10%，以前最好的防御技术有48%的准确率，而我们的方法仍然有86%的预测准确率在相同级别的攻击。最后，我们的方法简单，易于集成到任何神经网络的1介绍深度神经网络已经在许多机器学习和计算机视觉应用中取得了成功，包括图像分类[14，7，35，9，34]，对象识别[30]和图像字幕[38]。尽管具有近乎完美的预测性能，但最近的研究揭示了深度神经网络在对抗性示例中的脆弱性-给定正确分类的图像，精心设计的图像扰动可能会使训练有素的神经网络错误分类。制作这些对抗性图像的算法，称为攻击算法，旨在最小化扰动，从而使对抗性图像难以与自然图像区分开来。这导致安全2X. Liu，M.Cheng，H.Zhang和C-J.谢特别是当将深度神经网络应用于安全敏感系统时，如自动驾驶汽车和医学成像。为了使深度神经网络对对抗性攻击更具鲁棒性，最近提出了几种防御算法[23，40，17，16，39]。然而，最近的研究表明，这些防御算法只能在对抗性攻击下略微提高准确性[4，5]。在本文中，我们提出了一种新的防御算法：随机自集成（RSE）。更具体地说，我们引入了新的在训练阶段，梯度仍然通过反向传播来计算，但是当通过噪声层时，它将被随机噪声扰动。在推理阶段，我们进行了几次正向传播，每次由于噪声层而具有不同的预测得分，然后对结果进行集成。我们表明，RSE使网络更能抵抗对抗性攻击，凭借所提出的训练和测试计划。同时，在不对自然图像进行攻击的情况下，对测试精度的影响较小该算法实现起来很简单，可以应用于任何深度神经网络进行增强。直观地说，RSE工作得很好，因为有两个重要的概念：集合和随机性。众所周知，几个训练模型的集合可以提高鲁棒性[29]，但也会使模型大小增加k倍。相比之下，在没有任何额外内存开销的情况下，RSE可以构建无限数量的模型f∈，其中∈是随机生成的，然后对结果进行集成以提高鲁棒性。但是如何保证这些模型的集成能够达到很好的精度呢？毕竟，如果我们在没有噪声的情况下训练原始模型，但仅在推理阶段添加噪声层，则算法会表现不佳。这表明向预先训练的网络添加随机噪声只会降低性能。相反，我们表明，如果由于在训练阶段考虑了噪声层的影响，因此训练过程可以看作是最小化模型集成损失的上界，因此该算法可以获得较好的预测精度.我们的论文的贡献可以总结如下：– 我们提出了随机自集成（RSE）方法来提高深度神经网络的鲁棒性。主要思想是在训练和预测阶段的每个卷积层之前添加“噪声层”。该算法等价于集合无限多个随机模型来防御攻击者。– 我们解释了为什么RSE可以显着提高对抗攻击的鲁棒性，并表明添加噪声层相当于用Lipschitz常数的额外正则化来训练原始网络。– RSE显着优于现有的防御算法，在我们所有的实验。例如，在CIFAR-10数据和VGG网络上（在没有任何攻击的情况下有92%的准确率），在&CW攻击下，未受保护的模型的准确率下降到10%以下;最好的防御技术有48%的准确性;而RSE仍然有86。1%的预测精度，鲁棒神经网络32同样的攻击力。此外，RSE易于实现，可以与任何神经网络相结合。2相关工作深度神经网络的安全性最近得到了研究。让我们将神经网络表示为f（w，x），其中w是模型参数，x是输入图像。给定一个正确分类的图像x0（f（w，x0）=y0），一个攻击算法试图找到一个稍微扰动的图像x′，使得：（1）神经网络将错误分类这个扰动的图像;（2）畸变量x′−x0较小，不易被人察觉。辩护算法的目的是提高鲁棒性的神经网络对攻击者，通常通过轻微改变损失函数或训练过程。在下文中，我们总结了一些最近的工作沿着这条路线。2.1白盒攻击在白盒设置中，攻击者拥有关于目标神经网络的所有信息，包括网络结构和网络权重（由w表示）。利用这些信息，攻击者可以通过反向传播计算关于输入数据xf（w，x）的梯度。注意，梯度对于攻击者来说是非常有用的，因为它表征了预测相对于输入图像。为 了 制 作 对 抗 性 示 例 ， [11] 提 出 了 一 种 快 速 梯 度 符 号 方 法（FGSM），其中对抗性示例由以下内容构建：x′=x0−·sign（xf（w，x0））（1）一个小的0。在此基础上，进行了一些后续工作以提高效率和可用性，例如Rand-FGSM [32]和I-FGSM [17]。最近，Carlini Wagner [5]表明，构建一个对抗性示例可以用公式表示为解决以下优化问题：x′= minx∈[0，1]d c·g（x）+x−x02，（2）其中第一项是表征攻击成功的损失函数，第二项是强制小失真。参数c>0用于平衡这两个要求。最近提出了几个变体[6，20]，但其中大多数可以归类在类似的框架。C-W攻击已被公认为一种强攻击算法，以测试防御方法。对于无目标攻击，其中目标是找到接近原始示例但产生不同类别预测的对抗示例，（2）中的损失函数可以定义为g（x）= max{max（Z（x′）i）−Z（x′）t，−κ}， （3）t=t4X. Liu，M.Cheng，H.Zhang和C-J.谢其中t是正确的标签，Z（x）是网络在softmax层之前的输出（logits）。对于有针对性的攻击，可以设计损失函数迫使分类器返回目标标签。对于攻击者来说，有针对性的攻击比无针对性的攻击更难（因为一旦有针对性的攻击成功，相同的对抗图像可以用于执行无针对性的攻击而无需任何修改）。相反，对于防御者来说，无目标的攻击比有目标的攻击更难防御。因此，在我们的实验中，我们专注于防御无针对性的攻击。2.2防御算法由于对抗性示例的脆弱性[31]，已经提出了几种方法来提高网络对对抗性[24]提出了防御蒸馏，它使用一个由温度控制的修改的softmax层来训练然而，如[5]中所述，当处理CW攻击时，该方法不能正常工作此外，委员会认为，[40]通过使用修改后的ReLU激活层（称为BReLU）并将噪声添加到原始图像中以增强训练数据集，学习的模型将获得对抗图像的一些稳定性。另一种流行的防御方法是对抗训练[17，16]。它生成并将攻击算法发现的对抗性示例添加到训练集，这有助于网络学习如何区分对抗性示例。通过将对抗训练与扩大的模型容量相结合，[20]能够创建对一阶攻击具有鲁棒性的MNIST模型，但这种方法在更困难的数据集（如CIFAR-10）上效果不佳。值得一提的是，有许多防御算法（r.f. [3，19，13，8，36，27，25]）反对文学中的白盒攻击。不幸的是，正如[2，1]所指出的，这些算法并不是真正有效的白盒攻击。回想一下，在这种情况下，白盒攻击可以绕过上面列出的所有防御算法，并且在攻击下的准确率仍然可以接近于零。除了改变网络结构之外，还有其他方法[39，21，10，12]有另一个高度相关的工作（r.f. [18]）也采用了非常相似的思想，只是他们从差分隐私的角度看待这个问题，而我们认为对抗鲁棒性与正则化和集成学习更相关此外，我们的工作比Arxiv上的类似工作更早公开鲁棒神经网络5噪声层卷积层批量范数激活在噪声层out=in+（0，2）ConvBlockConvBlock池化ConvBlock ConvBlock Pooling FCFig. 1. 我们提出的噪声VGG风格网络，我们在每个卷积层之前添加了一个噪声层。为了简单起见，我们将第一个卷积层之前的噪声层称为“init-noise”，所有其他噪声层称为“inner-noise”。对于这两种层，我们采用不同的高斯噪声方差。请注意，类似的设计可以移植到其他架构，如ResNet。3拟定算法：随机自我强化在本节中，我们提出了我们的自集成算法来提高神经网络的鲁棒性我们将首先激励和介绍我们的算法，然后讨论它背后的几个理论原因。已知多个不同模型的集成可以提高鲁棒性。然而，有限k模型的集合不是非常实用，因为它将使模型大小增加k倍。例如，ImageNet上的AlexNet模型需要240MB的存储空间，存储100个模型将需要24GB的内存。此外，很难找到许多具有相似精度的异构模型。 为了提高实际系统的鲁棒性，我们提出了以下自集成算法，该算法可以在没有任何额外内存开销的情况下生成无限数量的模型。我们的主要思想是在网络结构中加入随机性。更具体地说，我们引入了一个新的“噪声层”，它将输入向量与随机生成的噪声融合，即，当通过噪声层时，x → x + ε。然后我们在每个卷积层之前添加该层，如图所示。1.由于大多数攻击需要计算或估计梯度，因此我们模型中的噪声水平将控制那些攻击算法的成功率。事实上，我们可以将这一层集成到任何其他神经网络中。如果我们将原始神经网络表示为f（w，x），其中w∈Rdw是权重，x∈Rdx是输入图像，那么考虑到随机噪声层，网络可以表示为f∈（w，x），其中随机∈Rde。因此，我们在口袋里有无限多的模型（有不同的），没有6X. Liu，M.Cheng，H.Zhang和C-J.谢算法1随机自集成（RSE）的训练和测试培训阶段：对于iter = 1，2，. . . 做在数据集中随机采样（xi，yi）为每个噪声层随机生成εN（0，σ2）计算∆w=w（f（w，xi），yi）（噪声梯度）更新权重：w←w− ∆w。测试阶段：给定测试图像x，初始化p =（0，0，. . . 、0）对于j = 1，2，. . . ，#合奏做为每个噪声层随机生成εN（0，σ2）前向传播以计算概率输出pj=f<$（w，x）更新p：p←p+pj。端预测具有最大得分y=argmaxkpk具有任何存储器开销。然而，增加随机性也会影响模型的预测精度。我们如何确保这些随机模型的集合具有足够的精度？一个关键的观察结果是，我们需要在训练和测试阶段都添加这个随机层。训练和测试算法在算法1中列出。在训练阶段，梯度被计算为包含噪声层的wf（w，x i），并且对于每个随机梯度下降更新随机生成噪声。在测试阶段，我们构造n个随机噪声和将其概率输出进行集成，∑np=f∈（w，x），并预测y∈=argmaxp k。（四）JKj=1如果我们不关心预测时间，n可以非常大，但在实践中，我们发现它在n≈10时饱和（见图10）。4）.这种方法不同于[40]中的高斯数据增强：它们只在训练时间期间向图像添加高斯噪声，而我们在训练和推理时间都在每个卷积层之前添加噪声。在训练时，噪声有助于优化算法找到一个对扰动输入具有鲁棒性的稳定卷积滤波器，而在测试时，噪声的作用有两个方面：一是扰动梯度以欺骗基于梯度的攻击;二是通过多次前向操作给出不同的输出，简单的集成方法可以提高测试精度。鲁棒神经网络7NBE我ϵϵ3.1数学解释RSE的培训和测试。在这里，我们解释我们的培训和测试过程。在训练阶段，我们的算法正在解决以下优化问题：w*= arg min1∑E（）W| D路车| （xi，yi）∈D列（w，xi），yiN（0，σ2）、（五）其中（·，·）是损失函数，Dtrain是训练数据集。请注意，为了简单起见，我们假设ε遵循零均值高斯分布，但一般来说，我们的算法可以适用于各种各样的噪声分布，例如伯努利分布。高斯：ε i= b i e i，其中e iiid（0，σ2）和b iiid（1，p）。在测试时，我们通过几个前向传播来集成输出，具体而言：yi=argmaxEN （0，σ2）f（w，xi）.（六）这里arg max表示向量中最大元素的索引。我们的RSE算法实现与原始网络相似的预测精度的原因是因为（5）最小化了（6）的损失的上限-类似于[22]的想法，如果我们选择负对数似然损失，则w ∈ R d w：1|Dtrain|∑（xi，yi）∈D列（）下一页EN（0，σ2）f（w，xi），yi(a){≈（xi，yi）P数据}— EN（0，σ2）logf（w，xi）[yi](b){≥E（xi，yi）P数据(c){}— logEN（0，σ2）f（w，xi）[yi]}（七）≥E（xi，yi）P数据-logEN （0，σ2）f（w，xi）[yi](a) 1≈∑-logEN （0，σ2）f（w，xi）[yi].|x ∈D|x ∈D测试其中P数据是数据分布，D训练/测试分别是训练集和测试集。（a）由推广界得出（详见[28]或附录），（b）由Jensen不等式得出，（c）由推理规则（6）得出。 因此，通过最小化（5），我们实际上是最小化推理置信度的上限−logf（w，xi）[yi]，这验证了我们的有效推理概率。RSE等价于Lipschitz正则化。另一种观点是扰动训练等价于Lipschitz正则化，这进一步有助于防御基于梯度的攻击。如果我们固定输出标签y，那么损失函数可以简单地将f（w，x），y）表示为f（w，x）。函数的Lipchitz是一个constantLofsuchthat|≤L ◦ f x − x ~（8）|≤Lℓ◦f∥x−x˜∥(8)8X. Liu，M.Cheng，H.Zhang和C-J.谢ϵϵ+对于所有x，x~。事实上，最近有一种说法是，嘴唇经常打喷嚏可以使人感到不舒服。用于测量机器学习模型的鲁棒性[15，33]。如果Lof是如果足够大，则输入x-x~的每次变化都可以显著地改变损失，并且最终得到不正确的预测。 在conntrar y上，通过将Lof控制得很小，我们将拥有一个更强大的网络。接下来，我们证明了我们的噪声网络确实控制了Lipschitz常数。根据（5）的符号，我们可以看到（EN（0，σ2）f（w，xi），yi）（a）≈EN（0，σ2）[（）f0（ w，xi），yi（）下一页+f0（w，xi），yi1（）]+ϵ⊺∇2ℓ f0(w, xi), yi ϵ2(b)（） σ2{2（）}=f0（w，xi），yi +Tr2f0（w，x i），yi.（九）对于（a），我们在ε=0处进行泰勒展开。由于我们将噪声的方差σ2设置得很小，因此我们仅保留二阶项。对于（b），我们注意到高斯向量ε是i.i.d.。零均值。所以ε的线性项为零期望，并且二次项直接依赖于噪声的方差还有黑森的痕迹作为一个凸松弛，如果我们假设ωf0是凸的，则我们有d·Amax≥Tr（A）≥Amax，其中A∈Sd×d，我们可以改写为(9)作为损失（f，{xi}，{yi}）损失（f0，{xi}，{yi}）+σ22Lof0，（十）这意味着带噪声网络的训练等价于用Lipschitz常数的额外正则化来训练原始模型，并且通过控制噪声的方差，我们可以平衡网络的鲁棒性和训练损失。3.2讨论在这里，我们展示了随机性和集成在我们的算法中是重要的。事实上，如果我们删除任何组件，性能将显着下降。首先，如前所述，我们模型的主要思想是有无限多个模型f，每个模型具有不同的f值，然后对结果进行集成实现这一目标的一种简单方法是固定一个预先训练好的模型f0，然后在测试阶段通过向f 0添加不同的小噪声来生成许多f ε。但是图图2示出了这种方法（仅表示为测试噪声）将导致差得多的性能（在没有任何攻击的情况下为20%）。因此，在加入小的随机噪声之后，保证模型是好的是不平凡的在我们的随机自集成算法中，除了在测试阶段加入噪声外，我们还在训练阶段加入了噪声层，这对于获得良好的性能非常重要。其次，我们发现在测试阶段添加噪声，然后集成预测是很重要的。图2，我们将RSE的性能与仅在训练阶段添加噪声层而不在测试阶段添加噪声层的版本进行了比较（因此预测是f（w，x）而不是Ef（w，x））。结果清楚地鲁棒神经网络9列车+测试噪声仅列车噪声仅测试噪声基线表明在较小的攻击下性能下降。这证明了集成在测试阶段是至关重要的。806040200104 102 100 102C图二. 我们在CIFAR10和VGG16网络上测试了三个模型：在第一个模型中，噪声在训练和测试时都被添加，在第二个模型中，噪声仅在训练时被添加，在最后一个模型中，我们仅在测试时添加噪声。作为比较，我们还绘制了常规训练的基线模型。对于在测试时有噪声的所有模型，我们自动启用自集成。4实验数据集和网络结构我们在两个数据集CIFAR10和STL10上测试我们的方法我们不比较MNIST上的结果，因为它是一个更简单的数据集，并且现有的防御方法（如[23，40，17，16]）可以有效地增加对抗攻击下的图像失真 在CIFAR 10数据上，我们评估了VGG-16 [26]和ResNeXt [37]的性能;在STL 10数据上，我们复制并稍微修改一个简单的模型4，我们将其命名为“模型A”。防御算法 我们包括以下防御算法进行比较（它们的参数设置可以在Tab.1）：– 随机自增强（RSE）：我们提出的方法。– 防御蒸馏[24]：首先在温度T下训练教师网络，然后使用教师网络来训练具有相同结构和相同温度的学生网络。学生网络被称为蒸馏网络。– 与BReLU激活相结合的鲁棒优化[40]：首先，我们用BReLU激活替换所有ReLU激活然后在训练阶段我们用高斯噪声随机扰动训练数据，σ=0。05如你所愿4可在https://github.com/aaron-xichen/pytorch-playground准确度（%）10X. Liu，M.Cheng，H.Zhang和C-J.谢无噪音初始化=0.05，内部=0.02初始化=0.1，内部=0.05初始值=0.2，内部值=0.1准确度（%）– FGSM攻击的对抗性再训练[17，16]：我们首先预训练神经网络而不进行对抗性再训练。在此之后，我们选择原始数据批次或具有概率1/2的对抗性数据批次。我们继续训练它，直到收敛。攻击模型。我们考虑白盒设置并选择最先进的C W攻击[5]来评估上述防御方法。此外，我们测试我们的算法在无目标攻击，因为无目标攻击是严格难以防御比有目标的攻击。事实上，C W无目标攻击是 最具挑战性的攻击。此外，我们假设C W攻击知道RSE的随机化过程，因此C W目标函数将相应地改变（如[1]中提出详情见附录。Measure. 与只需要在正确分类的图像上操作的攻击模型不同，竞争防御模型不仅在攻击者存在时保护模型，而且在干净的数据集上保持良好的性能。基于这一思想，我们比较了不同强度的C-W攻击下防护模型的准确性，C-W攻击的强度可以用图像失真的 L2范数来度量，并进一步由（2）中的参数c来注意，当且仅当原始图像被正确分类并且CW攻击在一定失真水平内无法找到对抗性示例时，在CW攻击下正确预测对抗性图像808060604040200103102101100 101102C200.00 0.01 0.02 0.03 0.04 0.05- 失真图三. 左：噪声水平对鲁棒性和泛化能力的影响。显然，随机噪声可以提高模型的鲁棒性。右：比较RSE与对抗性防御方法[20]。4.1噪声级我们首先测试RSE在不同噪声水平下的性能。我们对网络中的所有噪声层使用高斯噪声，并且RSEMandry等人准确度（%）鲁棒神经网络1150-系综25694809290608840200102 101 100 101102C868482800 10 20 30 40 50#合奏见图4。左：比较不同攻击级别下的准确率，这里我们选择VGG16+CIFAR10组合。我们可以看到，集成模型在弱攻击下实现了更好的准确性。右：测试不同n（用于集成的随机模型表1. 防御方法实验设置方法设置无防御基线模型RSE（CIFAR 10 + VGG 16）初始噪声：0.2，内部噪音：0.1，50-集合RSE（对于CIFAR 10 + ResNeXt）初始噪声：0.1，内部噪声0.1，50-总体RSE（对于STL 10+模型A）初始噪声：0.2，内部噪声：0.1，50-总体防御性蒸馏温度= 40对抗训练（I）FGSM对抗示例，U（0. 1，0。第三章对抗训练（II）遵循[20]，PGD对手，其中ε∞= 8。0强大的选择 + BReLUFollowing [40]高斯控制噪声水平。请注意，我们将第一个卷积层之前的噪声层称为在这个实验中，我们在训练和测试阶段应用不同的噪声水平例如，我们选择（σinit，σinner）={（0，0），（0. 05，0。02）、（0. 1，0。05），（0. 2，0。1）}（11）在VGG16+CIFAR10上。结果见图3（左）。可以看出，“初始噪声”和“内部噪声”都弱攻击的准确性（c = 0. 01）。从图在图3中，我们观察到，如果输入图像被归一化为[0，1]，则选择σinit= 0。2和σinner= 0。1是好的。因此，我们为所有实验固定该参数。初始化=0.05，内部=0.02初始化=0.1，内部=0.05初始化=0.2，内部=0.1无噪声准确度（%）准确度（%）12X. Liu，M.Cheng，H.Zhang和C-J.谢无防御高级再培训鲁棒选项+BReLURSE蒸馏表2. 不同攻击条件下C-W攻击防御方法的预测精度。我们可以清楚地观察到RSE是最稳健的模型。当其他方法低于30%时，我们的准确率保持在75%以上c= 0。01c = 0。c =0。06c = 0。1 c =0。2RSE（我们的）90.00% 86.06% 79.44% 67.19% 34.75%高级再培训27.00% 9.81% 4.13%3.69% 1.44%鲁棒Opt+BReLU75.06% 47.93% 30.94%20.69% 13.50%蒸馏49.88% 17.69% 4.56%3.13% 1.44%没有防守30.38% 8.93% 5.06%3.56% 2.19%STL-10 +型号ACIFAR10 +VGG16CIFAR10 + ResNeXt80 806060 604040 402020 200102101100101102C0102101100101102C0102101100101102C3.02.52.01.51.00.51.21.00.80.60.40.21.00.80.60.40.20.0102101100101102C0.0102101100101102C0.0102101100101102C图五、 比较CIFAR 10 +{VGG 16，ResNeXt}和STL 10+模型的准确性A.我们显示的准确性和平均失真w.r.t.的变化。攻击强度参数c（CW攻击中的参数）。我们的模型（RSE）明显优于所有现有的方法在强攻击下的准确性和平均失真。4.2自系综接下来，我们展示了自集成有助于提高我们的噪声模式的测试精度作为示例，我们选择VGG16+CIFAR10组合，并且初始噪声层的标准差为〇= 〇。2，其他噪声层为σ= 0。1.一、我们比较了50-系综与1-系综（即 单一模型），结果可以在图中找到。4.第一章我们发现50-系综方法优于1-系综方法的8%的准确性时，c<0。4.第一章这是因为当攻击足够弱时，大多数网络的选择具有更低的方差和更高的准确性。另一方面，我们可以看到如果c >1。0或等效地大于0的平均失真。93，集合模型更差。我们推测，这是因为当攻击足够强时，大多数随机子模型都是错误的预测，但当查看任何单个模型时，随机效应可能无防御高级再培训鲁棒选项+BReLURSE蒸馏无防御高级再培训鲁棒选项+BReLURSE蒸馏无防御高级再培训鲁棒选项+BReLURSE蒸馏无防御高级再培训鲁棒选项+BReLURSE蒸馏无防御高级再培训鲁棒选项+BReLURSE蒸馏准确度（%）Avg. 失真鲁棒神经网络13见图6。有针对性的对抗性图像失真，每列表示一种防御算法，每行是对抗性目标（原始图像为“船”类，如右侧所示）。这里，我们选择c=l用于targetd CW攻击。从视觉上看，色斑意味着图像的失真，因此一个成功的防御方法应该导致更多的斑点。鸟车猫鹿狗青蛙马平面卡车没有防守1.940.310.744.727.993.669.220.751.32防御性蒸馏6.55 0.70 13.78 2.5413.902.56 11.36 0.663.54Adv. 再培训2.58 0.310.756.080.759.016.060.314.08强大的Opt. + BReLU 17.11 1.024.0713.507.0915.347.152.0817.57RSE（我们的）12.87 2.61 12.47 21.47 31.90 19.09 9.45 10.21 22.15表3. 有针对性的攻击所需的图像失真。比群体决策更有优势。在这种情况下，自集成可能会对准确性产生负面影响。实际上，如果运行时间是主要关注点，则没有必要计算许多集合模型。事实上，我们发现准确度随着模型数量的增加而迅速饱和，而且，如果我们注入较小的噪声，则集成效益将较弱，准确度会更早饱和。因此，我们发现10-系综对于测试精度来说足够好，见图。4.第一章4.3比较防御方法最后，我们比较我们的RSE方法与其他现有的防御算法。请注意，我们使用C W无目标攻击测试所有这些攻击，这是防御者最困难的设置。14X. Liu，M.Cheng，H.Zhang和C-J.谢不同数据集和网络之间的比较可以在Tab中找到2和图五、可以看出，以往的防御手段对攻击的效果并不明显.例如，Robust Opt+BReLU [40]对于CIFAR10+ResNeXt是有用的相比之下，我们的RSE方法在所有情况下都是一个很好的防御。具体而言，RSE方法迫使攻击者找到更扭曲的对抗图像，以便开始成功的攻击。如图所示5，当我们允许平均失真为0时。在CIFAR 10 + VGG 16上，C-W攻击能够进行无目标攻击，成功率>99%。相反，通过捍卫在通过RSE的网络中，CW攻击仅产生约20%的成功率。最近，提出了对抗训练的另一个版本[20]。不同于培训（I）”。1，它用生成的对手训练网络通过梯度下降的多个步骤（因此我们称之为①的人。与我们的方法相比，它的主要缺点是训练一个健壮的网络需要10倍的时间，尽管结果只比我们的RSE略好，见图。3（右）。除了在CW攻击下的准确性&之外，我们发现对抗图像的失真也显著增加，这可以在图中看到。2（第2行），因为c足够大（使得所有防御算法不再工作），所以我们的RSE方法实现了最大的失真。虽然以上实验都是针对无目标攻击的，但并不意味着没有针对性攻击，正如我们所说的，针对性攻击是攻击方法比较难，防御比较容易的作为一个例子，我们在CIFAR-10数据集上测试了所有的我们随机挑选一个图像来自CIFAR10，并在图6中绘制扰动xadv−x（确切数字在表6中）3），为了更容易打印出来，我们减去RGB通道从255开始（因此大部分像素是白色的并且可以注意到失真）。可以很容易地发现RSE方法使对抗图像更加失真。最后，除了CIFAR-10，我们还设计了一个实验，一个更大的数据，以支持我们的方法的有效性，即使在大数据。由于篇幅所限，结果推迟到附录。5结论在本文中，我们提出了一种新的防御算法，称为随机自集成（RSE），以提高深度神经网络对对抗性攻击的鲁棒性。我们表明，我们的算法是相当于集成大量的噪声模型在一起，我们提出的训练过程，确保集成模型可以很好地推广我们进一步证明了该算法等价于增加一个Lipchitz正则化，从而可以提高神经网络的鲁棒性。实验结果表明，我们的方法是非常强大的强大的白盒攻击。此外，我们的方法是简单的，易于实现，并可以很容易地嵌入到现有的网络。谢谢。作者感谢NSF通过IIS- 1719097提供的支持以及Google Cloud和Nvidia提供的计算资源鲁棒神经网络15引用1. Athalye，A.，Carlini，N.：关于cvpr 2018白盒对抗示例防御的鲁棒性。arXiv预印本arXiv：1804.03286（2018）2. Athalye，A.，Carlini，N. Wagner，D.：混淆的梯度给人一种虚假的安全感：规避对抗性例子的防御。第35届机器学习国际会议（ICML）（2018）3. Buckman，J.，Roy，A.，Rafel，C.， Goodfellow，I.： 温度计编码：这是一个抵制敌对例子的好方法。In：International Conference on Learning Represe n tations（2018），https://openreview.net/forum? id=S18Su--CW4. Carlini，N. Wagner，D.：对抗性的例子不容易检测：绕过十种检测方法。第10届ACM人工智能与安全研讨会论文集。pp. 3-14. AISec '17，ACM，纽约，美国（2017年）。https：//doi.org/10.1145/3128572.3140444，http://doi.acm.org/10.1145/3128572.31404445. Carlini，N. Wagner，D.：评估神经网络的鲁棒性。在：安全和隐私（SP），2017年IEEE研讨会上。pp. 39比57 IEEE（2017）6. 陈平Sharma，Y.张洪，Yi，J.，谢昌杰：Ead：弹性网络攻击通过对抗性的例子来实现深度神经网络。在：第三十二届AAAI人工智能会议论文集（2018）7. 迪恩J科拉多湾蒙加河Chen，K.，Devin，M.，Mao，M.，Senior，A. Tucker，P.杨，K.，Le，Q.V.，等：大规模分布式深度网络。在：神经信息处理系统的pp. 第12238. Dhillon ， G.S. ， Azizzadenesheli ， K. ， 伯 恩 斯 坦 ， J.D. ， Kossaifi ， J. ，Khanna，A.，利普顿，Z.C.，Anandkumar，A.：用于鲁棒对抗防御的随机激活修剪。在：国际学习代表会议（2018年），https://openreview.net/forum?ID=H1uR4GZRZ9. Eykholt，K.，叶夫蒂莫夫岛Fernandes，E.，李，B.，Rahmati，A.，Xiao，C.，普拉卡什一、Kohno，T.，宋，D.：对深度学习视觉分类的强大物理世界攻击。IEEE计算机视觉和模式识别会议论文集。pp. 162510. Feinman河科廷，R. R.，Shintre，S.，Gardner，A.B.：从伪影中检测对抗样本arXiv预印本arXiv：1703.00410（2017）11.古德费洛岛Shlens，J.，Szegedy，C.：解释和利用敌对的例子。在：学习表征国际会议（2015），http：//arxiv.org/abs/1412.657212. Grosse，K.，Manoharan，P.，Papernot，N.，巴克斯M. McDaniel，P.：关于对抗性示例的（统计）检测。arXiv预印本arXiv：1702.06280（2017）13. Guo，C.，中国农业科学院，Rana，M.，Cisse，M.，van der Maaten，L.：使用输入变换对抗性图像。In：International Conference on Learning Representations（2018），https://openreview.net/forum? id=SyJ7ClWCb14. 他，K.，张，X.，Ren，S.，孙杰：用于图像识别的深度残差学习在：IEEE计算机视觉和模式识别会议论文集。pp. 77015. Hein，M.，Andriushchenko，M.：对分类器对抗性操作的鲁棒性的形式化保证。在：神经信息处理系统的进展30：2017年神经信息处理系统年会，2017年12月4日至9日，美国加利福尼亚州长滩。pp. 226316. 黄河，巴西-地徐，B.，Schuurmans，D.，Szepesvári，C.：与强大的对手一起学习。arXiv预印本arXiv：1511.03034（2015）16X. Liu，M.Cheng，H.Zhang和C-J.谢17. Kurakin，A.，古德费洛岛Bengio，S.：大规模对抗性机器学习。国际学习表征会议（International Conference on Learning Representations，ICLR）（2017）18. Lecuyer，M.，Atlidakis，V.，Geambasu河徐D. Jana，S.：对具有差异隐私的对抗性示例ArXiv电子版（2018年2月）19. 妈，X.，李，B.，王玉，Erfani，S.M.，Wiglickrema，S.，Schoenebeck，G.，Houle，M.E.，宋D Bailey，J.：使用局部内在维度表征对抗子空间。在：国际学习代表会议（2018年），https://openreview.net/forum? id=B1gJ1L2aW20. Madry，A.，Makelov，A.，施密特湖Tsipras，D.，Vladu，A.：对抗攻击的深度学习模型。第六届学习表征国际会议（ICLR）（2018）21. Meng，D.，Chen，H.：Magnet：针对敌对示例的双管齐下的防御。2017年ACMSIGSAC计算机和通信安全会议论文集。pp. 135-147. CCS '17，ACM，New York，NY ， USA （ 2017 ） .https ： //doi.org/10.1145/3133956.3134057 ，http://doi.acm.org/10.1145/3133956.313405722. 诺H你T Mun，J.，汉，B.：通过噪声正则化深度神经网络：它的解释和优化。在：神经信息处理系统的进展pp. 511523. Papernot，N.，McDaniel，P.古德费洛岛Jha，S.，Celik，Z.B.，Swami，A.：使用对抗性示例对深度学习系统进行实际黑盒攻击。arXiv预印本arXiv：1602.02697（2016）24. Papernot，N.，McDaniel，P. Wu，X.，中国农业科学院，Jha，S.，Swami，A.：蒸馏作为对深度神经网络对抗性扰动的防御。在：安全和隐私（SP），2016年IEEE研讨会上。pp. 582-597 IEEE（2016）25. Samangouei，P.，Kabkab，M.，切拉帕河：Defense-GAN：使用生成模型保护 分 类 器 免 受 对 抗 性 攻 击 。 In ： International Conference on LearningRepresentations（2018），https://openreview.net/forum? id= BkJ3ibb0-26. 西蒙尼扬，K.，齐瑟曼，A.：用于大规模图像识别的深度卷积网络。国际学习表征会议（International Conference on Learning Representation，2015）27. Song，Y.，金，T.，诺沃津，S.，Ermon，S.，Kushman，N.：Pixeld