![](https://csdnimg.cn/release/download_crawler_static/88423871/bg4.jpg)
使用我们的策略与现有的预先训练的网络,并提高其鲁棒性。此外,
使用雅可比正则化只需要很少的额外计算资源,因为它在每个训练步
骤中进行单个额外的反向传播步骤,而不是其他计算要求非常高的方
法,例如蒸馏[24],它需要训练两个网络。我们的策略的两个接近技
术是[25]中提出的输入梯度正则化技术和[9]中提出的交叉Lipschitz正则
化。我们的方法与以前的工作不同的是,我们正则化网络本身的雅可
比矩阵的Frobenius范数,而不是交叉熵损失的梯度范数。我们的工作
不同于后者的工作,因为我们正则化了网络本身的梯度,而不是它们
的差异的所有组合,这在较低的条件下产生了更好的结果。
计算成本,如稍后将示出的。
我们将上述方法和对抗训练[8]与MNIST,CIFAR-10和CIFAR-100数
据集 上的雅 可 比正 则 化 进 行 比 较 , 证明 了我们 的 策略 对DeepFool
[19],FGSM [8]和JSMA [23]攻击方法具有高鲁棒性的优势。我们的方
法超越了FGSM和DeepFool上其他策略的结果,并在JSMA上实现了有
竞争力的性能。我们还表明,使用雅可比正则化结合对抗训练进一步
提高了鲁棒性的结果。
本文的组织结构如下。第二节介绍了雅可比正则化方法及相关策
略。第3节显示了它与对抗性例子的一些理论的联系本节中绘制的关
系表明,正则化深度神经网络的雅可比矩阵可以提高其对对抗性示例
的鲁棒性。在第4节中,我们实证证明了这种方法的优势。第五节是
本文的结论。在由八个附录组成的实验材料中,我们提供了更多的理
论见解和额外的实验结果。
2
对抗鲁棒性
对抗性扰动本质上是输入数据中的小变化
,其在网络的输出端
中产生大的变化
。
为 了
提高这种可行性,
在后处理训练阶段期
间,我们惩罚分类函数相对于输入数据的大梯度。因此,我们鼓励
新
工作者的学习基金在输入空间中进行更多的业务,以实现最小的变化
。
这
是通过添加正则化项来实现的,正则化项的形式为在a处输入的网络k
的Jac_obi_id的Frobenius
范数
。
Frobenius
范数与Jacobian矩阵的2(谱)范
数之间的关系已在[30]中示出,并且给出了使用两个W或k的Jacobian
的Frobenius范数作为一个相对论的理由
。
我们
认为
该正则化可以应用
为附加的后处理训练,其在常规训练已经完成之后进行。