深度神经网络的鲁棒性提升：基于雅可比正则化的研究

利用雅可比正则化提高DNN对抗攻击的鲁棒性Daniel Jakubovitz[0000−0001−7368−2370]和Raja Giryes[0000−0002−2830−0297]电气工程学院以色列特拉维夫大学网址：danielshaij@mail.tau.ac.il，raja@tauex.tau.ac.il抽象。深度神经网络最近在包括视觉和语音处理任务在内的各种应用中表现出了巨大的性能。然而，除了它们以如此高的准确度执行这些任务的能力之外，已经表明它们非常容易受到对抗性攻击：输入的微小变化将导致网络以高置信度出错这种现象暴露了这些网络的固有缺陷及其泛化能力。因此，提供对抗性攻击的鲁棒性是网络训练中的一个重要挑战，这导致了广泛的研究。 在这项工作中，我们建议在Piredno v e l a p r o a c h t i m e t h e ne te n er k s的鲁棒性中使用oretic ally inen o v e lapr o c h t i men en en e r ks。 我们的方法使用网络雅可比矩阵的Frobenius范数进行正则化，在常规训练完成后，将其用作后处理。 我们的经验表明，它导致增强的鲁棒性的结果，在原始网络工作的一个CC的RACY的最小的变化。关键词：深度学习·神经网络·对抗性示例·数据扰动·雅可比正则化·分类鲁棒性。1介绍深度神经网络（DNN）是一种广泛的机器学习技术，在自然语言处理、计算机视觉和语音处理等许多领域都表现出了最先进的性能[7]。除了其出色的性能之外，深度神经网络最近被证明容易受到特定类型的攻击，最常见的是Adver-s-a-r-a-tt-a-cks。该计算器在网络的形式中的信号识别失败可以通过在输入数据中执行几乎不被注意到的微小改变来实现。人类观察者并不期望改变预测[8]。这些攻击可能会阻碍依赖深度学习的系统在安全或自动驾驶等敏感领域的大规模部署，并暴露出其可靠性的固有弱点。在额外的分类中，执行两个网络中的所有重复的输入，这导致以高置信度错误地对输入进行分类。即使输入中的这些微小变化会导致模型出错2D.雅库博维茨河吉里耶在大多数情况下，它们很有可能是人眼无法察觉的。此外，在[32]中已经表明，这种对抗性攻击倾向于在模型中很好地通用化。这种可转移性特征只会增加对攻击的可能易感性，因为攻击者可能不需要知道特定受攻击网络的结构来欺骗它。因此，黑盒攻击也非常成功。DNN的这种固有的脆弱性在某种程度上取决于改进的模型在非常特定的情况下完全合理化的能力近年来，这一现象已成为大量研究的焦点，主要集中在有效的攻击方法、防御方法以及对模型固有脆弱性的理论解释上。攻击方法的目的是改变网络k的输入，使所有网络k的计算能力降低。这些方法包括DeepFool [19]，快速梯度符号方法（FGSM）[8]，基于雅可比的显着图攻击（JSMA）[23]，通用扰动[20]，对抗变换网络[2]等等[3]。已经提出了几种防御方法来增加深度神经网络的网络容量，以增加虚拟攻击。一些序列图用于检测输入图像是否是对抗性的（例如，[17、12、13、35、16、6]）。例如，[35]中的作者建议使用特征压缩来检测对抗性示例其他策略专注于使网络对扰动输入更鲁棒。后者是该工作k的形式，其目的在于，即使当该工作k被馈送有扰动数据时，该工作k也在执行其原始任务，意图误导它。这种增加的模型鲁棒性已被证明是通过几种不同的方法来实现的。这些防御方法包括对抗训练[8]，其将扰动输入连同其正确标签一起添加到训练数据集;防御蒸馏[24]，其训练两个网络，其中第一个是标准分类网络，第二个被训练以在所有类别中实现与第一个网络相似的输出;批量调整网络梯度（BANG）方法[26]，通过按比例放大具有较低幅度的梯度来平衡训练批次中的梯度; Parseval网络[4]，其将DNN中每个隐藏层的Lips-chitz常数限制为小于1; Ensemble方法[31]，其将集合中分类器的输出概率的平均值最大化的标签作为预测标签;鲁棒优化框架[27]，其使用交替的最小化-最大化过程，其中网络的损失在每次参数更新时生成的扰动示例上最小化;虚拟对抗训练（VAT）[18]，其使用正则化项来促进模型分布的平滑度;输入梯度正则化[25]，其正则化交叉熵损失的梯度;以及交叉Lipschitz正则化[9]，其正则化ηtw或k的输出w的梯度的差的所有组合。R. 这是输入。在另一个值得注意的问题[29]中，所有这些用于改进DNN对抗鲁棒性的Jacobian正则化3提出了一种对抗性训练过程，该过程在其统计性能上具有guar-antees的鲁棒性。除了这些工作，已经提出了一些理论解释对抗性的例子。在[8]中，作者声称线性行为在高维空间中产生了对抗性示例的固有脆弱性。在[22]中，一个博弈理论框架被用来研究在对抗性攻击的背景下识别系统中攻击和防御策略之间的关系。在[33]中，作者研究了不同模型之间对抗性示例的可转移性，并发现对抗性示例跨越了一个大维度的连续子空间作者还提供了对DNN决策边界的见解。在[14]中，作者声称一阶攻击是通用的，并提出了依赖于此概念的投影梯度下降（PGD）攻击。他们还声称，网络需要更大的容量才能对对抗性攻击更加强大。在另一项研究中， 所 有 的 研 究 都 表 明 ， 一 个 网 络 的目 标 函 数 的 增 益 随 着 其 输 入 的 维 数 而 增 长 ， 并 得 出 结 论 ， 网络 的 对 抗 脆 弱 性 随 着 其 输 入 的 维 数 而 增 加 。在[5]中，所有这些都表明，该问题是由k的序列对加性对抗扰动和分类边界曲率的影响所引起的。此外，他们提出了一种方法来区分原始输入和perturbd输入。 在[21]中，该网络的决策边界的几何形状被进一步发展。具体而言，它示出，当决策边界是积极弯曲的，小的普遍扰动更有可能愚弄分类器。然而，直接应用这一见解来增加网络任务以实现更广泛的扩展，以最大限度地利用我们的知识，仍然不清楚。在最近的工作[30]中，已经绘制了网络的雅可比矩阵的范数与其泛化误差之间的关系通过对两个网络的分类函数的J_（acobian）矩阵的形式化，可以得到较在[34]中，作者表明使用在logits（softmax操作之前）计算的雅可比矩阵而不是概率（softmax操作之后）产生更好的泛化结果。受[30]中工作的启发，我们进一步采用这一概念，并表明使用雅可比正则化作为后处理，即在常规训练已经完成之后，将其应用于附加训练的第二阶段，也增加了深度神经网络任务，以增加额外的局部性能。除 了与 推 广 误 差 有 关 外 ， 我 们 还 证 明 了 Jacobian在 给 定 点 的Forbenius范数与它到最近的对抗样本的距离以及两个网络的定义边界的计算有关. 所有这些约束都为雅可比正则化的使用提供了理论依据，以减少网络对对抗性攻击的脆弱性。在网络以高测试精度稳定之后，我们将雅可比正则化作为后处理应用于常规训练，从而允许4D.雅库博维茨河吉里耶使用我们的策略与现有的预先训练的网络，并提高其鲁棒性。此外，使用雅可比正则化只需要很少的额外计算资源，因为它在每个训练步骤中进行单个额外的反向传播步骤，而不是其他计算要求非常高的方法，例如蒸馏[24]，它需要训练两个网络。我们的策略的两个接近技术是[25]中提出的输入梯度正则化技术和[9]中提出的交叉Lipschitz正则化。我们的方法与以前的工作不同的是，我们正则化网络本身的雅可比矩阵的Frobenius范数，而不是交叉熵损失的梯度范数。我们的工作不同于后者的工作，因为我们正则化了网络本身的梯度，而不是它们的差异的所有组合，这在较低的条件下产生了更好的结果。计算成本，如稍后将示出的。我们将上述方法和对抗训练[8]与MNIST，CIFAR-10和CIFAR-100数据集上的雅可比正则化进行比较，证明了我们的策略对DeepFool[19]，FGSM [8]和JSMA [23]攻击方法具有高鲁棒性的优势。我们的方法超越了FGSM和DeepFool上其他策略的结果，并在JSMA上实现了有竞争力的性能。我们还表明，使用雅可比正则化结合对抗训练进一步提高了鲁棒性的结果。本文的组织结构如下。第二节介绍了雅可比正则化方法及相关策略。第3节显示了它与对抗性例子的一些理论的联系本节中绘制的关系表明，正则化深度神经网络的雅可比矩阵可以提高其对对抗性示例的鲁棒性。在第4节中，我们实证证明了这种方法的优势。第五节是本文的结论。在由八个附录组成的实验材料中，我们提供了更多的理论见解和额外的实验结果。2对抗鲁棒性对抗性扰动本质上是输入数据中的小变化，其在网络的输出端中产生大的变化。为了提高这种可行性，在后处理训练阶段期间，我们惩罚分类函数相对于输入数据的大梯度。因此，我们鼓励新工作者的学习基金在输入空间中进行更多的业务，以实现最小的变化。这是通过添加正则化项来实现的，正则化项的形式为在a处输入的网络k的Jac_obi_id的Frobenius范数。Frobenius范数与Jacobian矩阵的2（谱）范数之间的关系已在[30]中示出，并且给出了使用两个W或k的Jacobian的Frobenius范数作为一个相对论的理由。 我们认为该正则化可以应用为附加的后处理训练，其在常规训练已经完成之后进行。用于改进DNN对抗鲁棒性的Jacobian正则化5KXDR，我我K--（L）伊古里∈R，xx∈为了更正式地描述雅可比正则化，我们使用以下公式。 让我们不将网络k的输入作为D维向量输入，而是将其作为K维向量输出，并且让我们假设训练数据集X由N个训练示例组成。 我们使用索引l = 1，…L来指定具有L层的网络中的某个层。z（l）是网络的第l层的输出，并且z（l）是该层中的第k此外，让我们用λ表示控制损失函数中正则化惩罚权重的超参数。网络的输入是T1xi∈ R，i = 1. . . N， X=N×D. ∈（1）TN其输出为f（xi）∈RK，其中输入xi的预测类k*为k*= argmaxkfk（xi），k = 1，…， K.其中z（L）（xi）是输入xi的网络中最后一个全连接层的输出。项xz（L）（xi）是在点xi处评估的层L的雅可比矩阵，即J（L）（xi）=xz（L）（xi）。相应地，J（L）（xi）=xzk （xi）是k矩阵J中的行（L）（xi）。两个w或k的J ac o i nm（L）（L）z1（xi）。. .z1（xi）J（x），J（L）（x）=中文（简体）.z（L）（xi）x（D）. . ..z（L）（xi）K×D中国（2）K. . .（一）Kx（D）其中x =（x（1）. . . x（D））T. 因此，输入样本xi的雅可比正则化项为你好。∂Σ2ΣK2（L）（L）2||F = ||F=d=1k=1xd zK（xi）=k=1||∇xzk（xi）||二、（三）将（3）中的正则化项与训练数据上的标准交叉熵损失函数相结合，我们得到以下用于训练的损失函数：‚NK.DKN。Σ 2ΣΣ（L）损失=−yiklogfk（xi）+λ，zk（xi）D、（四）i=1k =1d =1k =1i =1其中yiRK是表示输入xi的正确类的独热向量。来自[25]的输入梯度正则化方法使用以下reg-术语：.ΣDΣNxΣ2ΣK−yiklogfk（xi） .（五）d=1i =1dk=1X日6D.雅库博维茨河吉里耶2−来自[9]的Cross-Lipschitz正则化方法使用以下正则化项：ΣN ΣK（L）（L）2i=1j，k =1||∇xzk（xi）−xzj（xi）||二、（六）对抗训练方法[8]将扰动输入及其正确标签添加到训练数据集中，以便网络在训练期间学习扰动输入的正确标签。这有助于网络在输入新的扰动输入时实现更高的准确性，这意味着网络对对抗性示例变得更加鲁棒。在计算复杂度方面，雅可比正则化在每次迭代中引入了一个额外的反向传播步骤的开销该步骤涉及混合偏导数的计算，因为一阶导数是w.r.t是输入，第二个是w.r. t。模型参数。然而，应该记住，雅可比正则化是作为后处理阶段应用的，而不是贯穿整个训练，这在计算上是有利的。此外，它也比Cross-Lipschitz正则化技术[9]更有效，Cross-Lipschitz正则化技术[9]需要计算1K（K1）项的范数，而我们的方法只需要计算K个不同梯度的范数。这使得雅可比正则化对于具有大K的数据集更具可扩展性。3理论证明3.1雅可比矩阵与对抗扰动本质上，对于执行分类任务的网络，对抗性攻击（一种愚弄方法）旨在做出尽可能小的改变，这改变了网络的设计。在其他类型中，在该类型上找到最小的样本库会导致输出函数跨越决策边界到另一个类别，从而产生分类错误。一般来说，攻击将寻求输入空间中的对抗性扰动所要达到的最接近的决策边界。这使得攻击最不明显，最不容易被发现[8]。为了获得我们提出的防御方法的一些直观性，我们从对抗性扰动和网络的雅可比矩阵之间的关系的简单非正式解释令X是给定的输入数据样本;X是来自未被对抗性攻击扰动的同一类的接近X的数据样本;并且X是另一数据样本，其是X的对抗性扰动的结果，该对抗性扰动使其保持接近X但具有不同的预测标签。因此，对于网络的输入和输出中的距离度量，（L）（L）||xpert− x||2||x相同− x||21和1 <||z（xpert）− z （x）||第二条 第七款||2||2≈用于改进DNN对抗鲁棒性的Jacobian正则化7∈（L）PERT22（L）′2′2很有可能因此，我们认为，（L）（L）（L）（L）||2||z（x pert）− z（x<）||二、||2.（八）||x相同− x||2||xpert− x||2设[x，xpert]是输入空间中连接x和xpert的D维直线。根据中值定理，存在某个x′[x，xpert]使得||z(x）− z（L）（x）||2 Σ||xpert --||2≤k=1||∇xzk （x）||2= ||J（x）||F.（九）这使得两个网络的JacobianMix的较低的Frobebenu范数鼓励其对输入空间中的小变化更鲁棒。换句话说，鼓励网络为类似的输入产生类似的输出。我们经验性地检查了在MNIST数据集上用各种防御方法训练的网络的Ja- cobian矩阵的Frobenius范数的平均值第4节描述了网络架构。表1列出了原始输入和已通过DeepFool[19]执行的输入的这些值。对于具有未知范数的“平均范数”，可以看出，如所预测的有趣的是，使用对抗性训练，它不直接正则化雅可比矩阵，降低了在扰动输入上评估的雅可比矩阵的平均Frobenius范数（表1的第二行）。然而，当添加雅可比正则化（其中λ = 0. 1），则该范数减少得更多（表1的第三和第四行）。因此，期望进一步提高网络的鲁棒性事实上，这种行为在第4节中得到了表1：原始数据和DeepFool扰动的数据处的雅可比矩阵的平均Frobenius范数。DNN在MNIST上进行了各种防御方法的防御方法ΣN1||J（xi）||F Ni=1ΣN1||J（xi ）||FNperti=1没有防守0的情况。140的情况。1877对抗训练0的情况。1410的情况。143雅可比正则化0的情况。03150的情况。055雅可比正则化对抗训练0的情况。03010的情况。05453.2与分类决策边界的关系如[19]所示，我们可以将决策边界局部地视为网络的K维输出空间中的超曲面让我们表示g（x）=wTx+K8D.雅库博维茨河吉里耶k*K|∗|∗K|k*b= 0作为与输入空间中的这种决策边界超曲面相切的超平面使用这个概念，以下引理近似输入和被分类为在超曲面的边界处的扰动输入之间的距离，所述超曲面在类x、k1和另一类k2之间分离。引理1对于2距离度量，具有类别k1的输入x与分类到分离类别k1和k2（L）（L）D=|zk1 （x）−zk2（x）|.（十）（L）（L）||∇xzk1 （x）−xzk2（x）||2这个引理在[19]中给出。为了完整起见，我们在附录A中给出一个简短的证明基于这个引理，下面的推论提供了可能导致欺骗网络的最小距离的代理。推论2设k*是输入样本x的正确类。然后，欺骗分类函数所需的最小扰动的2范数近似为（L）（L）d*= min|zk∗ （x）−zk（x）|.（十一）K k* ||∇ z（L）（x）−xz（L）（x）||2为了直接连接到网络的雅可比矩阵，我们提供以下命题：命题3设k*是输入样本x的正确类。然后，欺骗分类函数所需的最小扰动的2范数的一阶近似的下界为*1（L）（L）D ≥√2||J（L）（x）||minzk*（x）zk（x）。（十二）Fk/=k命题3的证明在附录B中给出。术语|（12）中的z（L）（x）-z（L）（x）通过交叉熵项的最小化而被最大化的损失函数，因为DNN渴望学习正确的输出最大可能置信度，意味着正确分类和其他可能类别之间术语（L）||分母中的F是函数的雅可比矩阵的Frobenius范数。||Fin the denominator isthe Frobenius norm of the Jacobian of the网络的最后一个完全连接层由于雅可比矩阵，它被最小化损失函数中的正则化部分。这本质上是一个极小-极大问题，因为我们希望最大化欺骗网络所需的最小距离d*。出于这个原因，在训练期间应用雅可比正则化增加了欺骗DNN所需的最小距离，从而提高了对抗性扰动的鲁棒性。应该记住，重要的是不要忘记两个工作或原始的准确性。 如第4节所示。X用于改进DNN对抗鲁棒性的Jacobian正则化9- -x≈xTJ（x）TJ（x）−T22−（J（x）x）。（十三）||||12K1K2121一个重要的问题是，在网络的早期层对雅可比矩阵进行正则化是否为此，我们研究了在网络的L1和L2层与在网络的最后一层上施加正则化相比，这两种情况通常都会产生降低的鲁棒性结果因此，在整个工作中，我们正则化整个网络的雅可比矩阵附录C给出了理论细节，附录D给出了相应的实验结果。3.3与决策边界曲率的在[21]中，所有这些都显示了线性边界是两个网络的鲁棒性，以增加空间扰动及其决策边界的几何形状。作者表明，当决策边界为正弯曲时，网络被小的普遍扰动愚弄的概率更高。在这里，我们证明了雅可比正则化促进了决策边界的曲率变得不那么积极，从而降低了网络被小的普遍对抗性扰动愚弄的概率2z（L）（x）在两个网络k的类的最小值x处，令Hk（x）=k2函数在输入点x上的类k。如[21]所示，两个类k1和k2之间的决策边界可以局部地称为超决策边界。曲面Fk，k（x）= z（L）（x）− z（L）（x）= 0。在[15]中的工作让我们使用近似Hk（x）Jk（x）TJk（x），其中Jk（x）是矩阵J（x）中的第k矩阵Jk（x）TJk（x）是秩为1的半正定矩阵。因此，判定边界Fk，k（x）的曲率由xT（Hk-1）给出。使用上述近似，可以近似为.Σk1k1Jk2（x）Jk2（x）x=（Jk1（x）x）k2因此，我们得到曲率的以下上界：（Jk（x）x）2−（Jk（x）x）2≤（Jk（x）x）2+（Jk（x）x）2（14）1 21ΣK222 2≤k=1（Jk（x）x）≤||J（x）||F||X||第二条，（十五）其中最后一个不等式源于矩阵范数不等式。出于这个原因，J（x）F的正则化促进了输入样本环境中的决策边界的较小正曲率。这提供了一个地理信息系统，以确保在两个网络的指定边界上的Jacob-regulazat的效果。阻止正曲率使得通用对抗扰动不太可能欺骗分类器。4实验我们在MNIST、CIFAR- 10和CIFAR-100数据集上测试了雅可比正则化的性能。CIFAR-100的结果通常是10D.雅库博维茨河吉里耶与MNIST和CIFAR-10的结果一致，见附录E.如前所述，我们使用具有雅可比正则化的训练作为“正则化”训练的一个重要步骤。 使用一个有效的培训阶段是非常有益的：它具有较低的附加计算成本，因为我们在网络已经以高测试精度稳定之后添加正则化部分，而不是贯穿整个训练。它还允许采用现有网络并对其应用后处理训练阶段，以提高其对对抗性示例的鲁棒性。我们以这种方式获得了最佳结果，而我们发现从训练开始就应用雅可比正则化会产生较低的最终测试精度。使用后处理训练获得的改进的测试准确度可以通过保持原始训练阶段的优点来解释，这允许网络仅为了高测试准确度的目的而训练。具有雅可比正则化的后续后处理训练阶段对已经存在的良好测试准确度引入了小的改变，这与从一开始就应用正则化的情况相反，这导致更差的测试准确度。表2呈现了后处理训练与基于MNI ST的“重新调整”训练之间的比较。对于CIFAR-10和CIFAR-100获得类似的结果。我们使用三种不同的对抗性攻击方法来检查我们方法的性能：DeepFool [19]，FGSM [8]和JSMA [23]。 我们还评估了我们的防御与对抗性训练相结合的表现，这被证明是有效的，在改进模型的鲁比乌斯。 然而，正如对抗训练中的实践那样，这是在大量附加输入样本上生成和训练的成本。我们发现，在训练小批量中的扰动输入的量对整体实现的鲁棒性有影响。对这一问题的评价见附录F。对抗性训练的结果，如下所示，是针对在每个测试用例中产生最佳结果的扰动输入的量给出的。我们还将结果与输入梯度正则化技术[25]和Cross-Lipschitz正则化技术[9]进行了比较。表2：P〇 St-P〇cessingtraing对S的影响。防御方法测试精度dv没有防守九十九。08%−220块67 x 10输入Gradientregularization，九十九。百分之二十五−223.43 x 10输入梯度正则化，后处理训练九十九。百分之四十四−2二十四岁03x 10Cross-Lipschitzregularization，九十八百分之六十四−229岁03 x 10交叉Lipschitz正则化，后处理训练九十八百分之九十一−229岁99 x 10Jacobianregularizaton，九十八百分之三十五−2三十二89 x10雅可比正则化，后处理训练九十八百分之四十四−2三十四24x10用于改进DNN对抗鲁棒性的Jacobian正则化11对于MNIST，我们使用了官方TensorFlow教程[1]中的网络。该网络由两个卷积层组成，每个卷积层后面都有一个最大池层。这些层之后是两个完全连接的层。所有这些层都使用ReLU激活函数，除了最后一层后面是softmax操作。保留概率为0.5的丢弃正则化应用于完全连接的层。训练是使用Adam优化器[11]和500个输入的小批量完成的 使用该网络，我们获得了99的测试精度。08%。使用权重λ = 0进行雅可比正则化训练。1，我们发现它提供了一个很好的平衡之间的交叉熵损失和雅可比正则化。对于CIFAR-10，我们使用了由四个级联集组成的卷积神经网络，其中每个集由两个卷积层组成，然后是最大池化层，然后是具有0.75保持概率的dropout。在这四个集合之后，使用两个完全连接的层对于CIFAR-10，使用RMSProp优化器[10]和128个输入的小批量进行训练使用该网络，我们获得了88的测试精度。百分之七十九使用权重λ = 0进行雅可比正则化训练。5，我们发现它在交叉熵损失和雅可比正则化之间提供了良好的平衡。关于MNIST和CIFAR-10λ值变化影响的消融研究结果见附录 G。4.1DeepFool评测我们首先评估我们的方法与DeepFool攻击下的其他方法相比的性能。DeepFool攻击[19]使用两个任务的一阶近似值作为优先级。使用该应用程序，该方法寻求通过输入中由于决策边界实际上不是线性的，因此在perturbdi nti n etincision. 在此情况下，该方法的优点是ρ=v=1NDi 、Ni=1 ||Xi|| 2它代表最小每平方的2范数之间的平均比例对于输入xi和xi的2范数，欺骗网络所需的扰动。此攻击针对2度量进行了优化。表3和表4分别针对MNIST和CIFAR-10执行了由ρadvunderaDeep-Fool攻击所导致的操作。结果表明，与其他方法相比，雅可比正则化提供了更显著的鲁棒性改进。与使用雅可比正则化训练的网络相比，使用这些防御方法的网络需要更小的扰动范数。此外，将其与对抗性训练相结合，进一步增强了结果的差异。请注意，这两种防御方法都不会显著改变测试的对于MNIST，Jacobian和Cross-Lipschitz正则化以及对抗训练导致精度略有下降，而输入梯度正则化技术提高了精度。相反，对于CIFAR-10，Jacobian和Cross-Lipschitz正则化和对抗训练产生更好的准确性，而输入梯度正则化降低了准确性。12D.雅库博维茨河吉里耶表3：MNIST防御方法测试精度dv没有防守九十九。08%−220块67 x 10对抗训练九十九。03%−2二十二岁38x 10输入梯度正则化九十九。百分之二十五−223.43 x 10输入梯度正则化对抗训练九十八百分之八十八−223.49 x 10交叉Lipschitz正则化九十八百分之六十四−229.03 x 10Cross-Lipschitz正则化对抗训练九十八百分之七十三−232.38 x 10雅可比正则化九十八百分之四十四−2三十四24x10雅可比正则化对抗训练百分之九十八−2三十六29 x10表4：CIFAR-10对DeepFool攻击的鲁棒性防御方法测试精度dv没有防守88岁百分之七十九−21 .一、21 x10对抗训练88岁百分之八十八−21 .一、23x10输入梯度正则化88岁百分之五十六−21 .一、43 x10输入梯度正则化对抗训练88岁百分之四十九−2二、17 x10交叉Lipschitz正则化88岁百分之九十一−2二、08 x10Cross-Lipschitz正则化对抗训练88岁百分之四十九−24.第一章04x 10雅可比正则化89岁。百分之十六−23 .第三章。42 x10雅可比正则化对抗训练88岁百分之四十九−2六、03 x104.2FGSM评价FGSM（快速梯度符号法）攻击[8]旨在快速创建可以欺骗网络的对抗性示例。该方法将两个w或k的xpert=x−·sign（xLoss（x）），（16）其中表示攻击的幅度此攻击针对∞度量我们对不同的值进行了测试，结果表明，FGS M攻击（在扰动数据集上测试准确度）具有更高的准确性。图1显示了将雅可比正则化与对抗训练、输入梯度正则化和交叉Lipschitz正则化进行比较的结果。在所有情况下，使用雅可比正则化的原始测试集上的最小测试准确度为98%，MNIST和88。CIFAR-10为49%与DeepFool攻击下的结果类似，FGSM攻击下的结果表明，使用Jacobian正则化防御的测试准确度高于使用输入梯度和Cross-Lipschitz正则化或对抗训练的测试准确度。此外，如果对抗性训练与雅可比正则化相结合，其相对于使用其他技术的优势更加明显。这导致的结论是，雅可比正则化方法产生一个更强大的网络的FGSM攻击。用于改进DNN对抗鲁棒性的Jacobian正则化13(a) MNIST（b）CIFAR-10图1：MNIST（左）和CIFAR-10（右）上FGSM攻击的测试精度对于不同的值4.3JSMA评估JSMA（基于雅可比的显着图攻击）[23]攻击依赖于显着图的计算，其概述了每个输入像素对分类决策的影响。该方法在每次迭代时挑选要改变的最有我们把数学细节留给原始论文。与FGSM类似，表示攻击的强度。该攻击迭代重复，并针对100度量进行优化。我们针对不同的k值检查了所确定的方法的准确性和J S M A at a c k（扰动数据集上的测试准确度）。图2给出了MNIST和CIFAR-10数据集的结果JSMA攻击的参数对于前者是80个历元，1像素攻击，对于后者是200个历元，1像素 在所有情况下，使用雅可比正则化的原始测试集上的最小测试准确度为98%，MNIST和88。CIFAR-10为49%(a) MNIST（b）CIFAR-10图2：对于不同的值，JSMA（1像素）攻击在MNIST上使用80个epoch（左）和CIFAR-10上使用200个epoch（右）的我们的方法取得了优异的结果相比，其他三种方法的CIFAR-10。另一方面，在MNIST上，我们获得较差的性能14D.雅库博维茨河吉里耶与输入梯度正则化方法相比，虽然我们获得了更好的性能相比，交叉Lipschitz正则化。因此，我们得出结论，我们的防御方法是有效的JSMA攻击在某些情况下，并提出了竞争力的整体性能。我们相信，我们的方法在MNIST的情况下失败的原因在雅可比正则化的公式化中（基于雅可比矩阵的弗罗贝纽斯范数），被最小化的度量是2范数。然而，在JSMA攻击中，扰动所针对的度量是0伪范数，因为在每个时期中仅改变一个像素我们在附录H中提供了有关此问题的更多详细信息。5讨论和结论这一部分是由于J_acobi_an_regular_i_n用于提高D_NN对对抗性示例的鲁棒性的方法而实现的。 我们为它的使用提供了理论基础，并表明它产生了高度的鲁棒性，同时保持了网络的准确性。由于MNIST、CIFAR-10和CIFAR-100数据集上的各种对抗性攻击（DeepFool、FGSM和JSMA）的漏洞，我们开发了一种安全策略，以提高安全性。在所有三种检查的攻击方法下，JacobianRégulizat1n在两个任务的测试集上进行了大规模的改进，以改进虚拟化的攻击，而这仅仅是简单地改变了两个任务在原始测试集上的性能。此外，一般而言，没有对抗训练的雅可比正则化优于没有雅可比正则化的对抗训练，而两种防御方法的组合提供了甚至更好的结果。与输入梯度正则化相比，我们提出的方法在三种攻击中的两种攻击和第三种攻击（JSMA）中的竞争对手下实现了优异的性能与交叉- Lipschitz正则化相比，我们提出的方法在所有三种检查攻击下都取得了优异的性能。我们相信，我们的方法，其理论的理由，可能会打开大门，以其他新的战略防御对抗性攻击。在雅可比矩阵的正则化的当前形式中，在输入样本处评估其范数我们根据经验推断，通过对原始输入样本应用雅可比正则化来获得最佳结果，这在计算上也更有效，而不是在扰动输入样本上或在雅可比矩阵的Frobenius范数最大的输入空间中的点上。未来的工作可能会分析其原因。注意，在Frobenius范数中，雅可比矩阵的所有行都被同等地惩罚。另一个可能的未来研究方向是为每行提供不同的权重这可以通过使用Frobenius范数的加权版本或通过用诸如谱范数的其他范数替换它来实现不过，请注意，与我们提出的方法相比，后一种选择的计算要求更高。谢谢。这项工作得到了ERC-StG SPADE赠款和MAGNET MDM赠款的部分支持。用于改进DNN对抗鲁棒性的Jacobian正则化15引用1. Abadi，M.，Agarwal，A.，Barham，P.，Brevdo，E.，陈志，西特罗角科罗拉多州科拉多戴维斯，A.，迪恩J Devin，M.，等：Tensorflow：异构系统 上 的 大 规 模 机 器 学 习 ， 2015 年 。 Tensorflow 提 供 的 软 件 。 第 一 届（2015）2. Baluja ， S. ， Fischer ， I. ： 学 习 攻 击 ： 对 抗 转 换 网 络 。 In ： AAAI（2018）3. Carlini，N.Wagner，D.：评估神经网络的鲁棒性IEEE Symposium onSecurity and Privacy（2017）4. Cisse ， M. ， Bojanowski ， P. ， Grave ， E.Dauphin ， Y.Usunier ， N. ：Parseval网络：提高对抗性示例的鲁棒性。在：ICML（2017）5. Fawzi，A.，Moosavi-Dezfooli，S.，Frossard，P.，Soatto，S.：深度神经网络的分类区域。arXiv abs/1705.09552（2017）6. Feinman河科廷，R. R.，Shintre，S.， Gardner，A.B.： 从伪影中检测对抗样本。arXivabs/1703.00410（2017），https://arxiv.org/pdf/1703.00410.pdf7. 古德费洛岛Bengio，Y.，Courville，A.：深度学习MIT Press（2016）8. Goodfellow，I.J. Shlens，J.，Szegedy，C.：解释和利用对抗性的例子。载于：ICLR（2015）9. Hein，M.，Andriushchenko，M.：形式化保证了分类器对对抗性操作的鲁棒性。In：Guyon，I.，Luxburg，U.V.，Bengio，S.，Wallach，H.，费格 斯 河 Vishwanathan ， S. ， 加 内 特 河 （ 编 辑 ） Advances in Neu-raINFORMATIONPROCESSINSYSTES30，pp.2266-2276。CurrranAssociates ， Inc. （ 2017 ） ， http://papers.nips.cc/paper/6821-formal-guarantees-on-the-robustness-of-a-classifier-against-adversarial-manipulation.pdf10. Hinton，G.：机器学习网络-讲座6a -小批量梯度下降概述（2012）11. 金玛，D.P.，Ba，J.：Adam：随机最佳化的方法。载于：ICLR（2015年），http://arxiv.org/abs/1412.698012. Li，X.，Li，F.：使用卷积滤波器统计的深度网络中的对抗性示例检测。In：ICCV（2017）13. 卢，J，Issaranon，T. Forsyth，D.：Safetynet：稳健地检测和拒绝对抗性示例。In：ICCV（2017）14. Madryi，A.，Makelov，A.，施密特湖Tsipras，D.，Vladu，A.：对抗攻 击 的 深 度 学 习 模 型 arXivabs/1706.06083 （ 2017 ） ，https://arxiv.org/pdf/1706.06083.pdf15. Martens，J.，萨茨克弗岛Swersky，K.：用反向传播曲率估计海森函数In：Proceedings of the 29th International Conference on Machine Learning，ICML 2012，Edinburgh，Scotland，UK，June 26-July 1，2012（2012）16. Meng，D.，Chen，H.：Magnet：针对敌对示例的双管齐下的防御。ACMSIGSAC计算机和通信安全会议。pp. 13517. 梅岑J.H. Genewein，T.，Fischer，V. Bischoff，B.：关于侦测对抗性干扰。In：ICLR（2017）18. Miyato，T.，ichi Maeda，S.，Koyama，M.，Nakae，K.， Ishii，S.：带 有 虚 拟 对 抗 训 练 的 分 布 平 滑 。 In ： ICLR （ 2016 ） ，https://arxiv.org/pdf/1507.00677.pdf19. Moosavi-Dezfooli，S.M.，Fawzi，A.，Frossard，P.：Deepfool：一种简单而准 确 的 欺 骗 深 度 神 经 网 络 的 方 法 。 在 ： 2016 年 IEEE 计 算 机VisionandPatternRecognition（CVPR）会议上。pp. 257416D.雅库博维茨河吉里耶20. Moosavi-Dezfooli，S.M.，Fawzi，A.，Fawzi，O.，Frossard，P.：普遍对抗性扰动。在：CVPR（2017）21. Moosavi-Dezfooli，S.M.，Fawzi，A.，Fawzi，O.，Frossard，P.，Soatto，S.：普遍对