可扩展的可证明鲁棒的图像分类技术

1可扩展的可验证训练用于可证明鲁棒的图像分类Sven Gowal*sgowal@google.comKrishnamurthy（Dj）Dvijotham*dvij@google.com罗伯特·斯坦福斯*stanforth@google.com鲁迪·布内尔Chongli Qin Jonathan Uesato Relja Arandjelovic 'Timothy Mann Pushmeet Kohli摘要最近的工作表明，有可能训练出对范数有界对抗性扰动具有可证明鲁棒性的深度神经网络。这些方法中的大多数都是基于最小化所有可能的对抗性扰动的最坏情况损失的上限。虽然这些技术显示出前景，但它们通常会导致难以扩展到更大网络的困难优化过程通过全面的分析，我们展示了一个简单的边界技术，区间边界传播（IBP），可以使用PGD发现扰动经验稳健但不可证明稳健的模型预测8（PGD）2（MIP）被用来训练大型可证明鲁棒的神经网络在精确度上超过了最先进的技术虽然IBP计算的上界对于一般网络来说可能很弱，但我们证明了适当的损失和巧妙的超参数计划允许网络适应，使得IBP界很紧。这导致了一种快速稳定的学习算法，其性能优于更复杂的方法，并在M NIST，C IFAR-10和S VHN上实现了最先进的结果。它还允许我们训练最大的模型，以在缩小版本的I MAGENET上超越空洞的界限进行验证。1. 介绍尽管深度学习取得了成功[1]，但众所周知，神经网络并不健壮。特别是，已经证明，向输入添加小但仔细选择的偏差，称为对抗性扰动，可以导致神经网络以高置信度做出不正确的预测[2从Szegedy等人开始[6]，在理解和生成对抗性扰动[3，7]以及构建对此类扰动具有鲁棒性的模型[4，8- 10 ]方面做了大量工作不幸的是，文献中提出的许多防御策略都是针对特定的对手（例如，模糊梯度攻击），因此它们很容易被更强大的对手破坏[11，12]。强大的优化技术，如Madry通过穷举搜索（通过MIP求解器）图1：为什么对投影梯度下降（PGD）攻击的鲁棒性不是鲁棒性的真正衡量标准（即使对于小型卷积神经网络）。 给定一个看似健壮的神经网络，最坏情况下的扰动大小为0。使用200次PGD迭代和10次随机重新启动（如顶部所示）发现的1正确地归类为然而，分类为“二”的最坏情况扰动等人[9]，通过尝试在每个训练步骤中找到最坏情况的对抗性示例并将其添加到训练数据中来克服这个问题虽然由此产生的模型显示出强有力的经验证据，表明它们对许多攻击具有鲁棒性，但我们还不能保证不同的对手（例如，使用蛮力枚举来计算对抗性扰动的对手）无法找到导致模型预测错误的输入事实上，图1提供了一个例子，激发了为什么投影梯度下降（PGD）的方法-[13]）。这推动了对形式验证的需求：一种可证明的保证，即神经网络与网络所有可能输入的规范一致。已经取得了实质性的进展：从完整的方法48424843使用可满足性模理论（SMT）[14-提供精确鲁棒性界限的完整方法是昂贵的，并且难以扩展（因为它们在最坏的情况下执行穷举）。不完整的方法提供的鲁棒性界限可能很宽松。然而，它们可以扩展到比完整方法更大的模型，因此，可以在训练循环中使用，以构建不仅鲁棒而且本质上更容易验证的模型[20，23，24，27]。在本文中，我们研究了区间界限传播（IBP），它来自区间算术[14，15，28]：一种用于训练可验证鲁棒分类器的不完整方法。IBP允许定义一个损失，以最小化当输入可以在一个范数有界的球内扰动时任何对数对之间的最大差异的上限。与更复杂的方法[20，23，24，27]相比这使我们能够拥有更快的训练步骤，使我们能够扩展到具有更大批量的更大模型，并执行更广泛的超参数搜索。虽然IBP背后的核心方法已经在以前的论文中进行了一定程度的研究[20，23]，但盲目使用它会导致性能不稳定的困难优化问题 最值得注意的是，我们开发了一个培训课程，并表明这种方法可以取得很好的效果，优于最先进的。本文的贡献如下：• 我们提出了几个增强，提高了每一个验证培训的IBP特别是我们将自己与Mirman等人区分开来。[20]通过使用不同的损失函数，并通过省略神经网络的最后一个线性层，从而改善我们对最坏情况logits的估计。我们还开发了一个稳定培训和提高性别化的课程。• 我们将我们的训练模型与其他方法的模型在对PGD攻击的鲁棒性方面进行了比较[3]，并表明它们与Madry等人具有竞争力[9]第一章和Wong et al.[25]在很宽的范围内，都有∞扰动半径（以下用表示）。我们还将IBP与Wong等人进行了比较。的方法在验证的错误率。• 我们证明，IBP不仅是计算成本更低，但它也实现了最先进的验证精度为单模型架构。1我们将M NIST上的验证错误率从3.67%降低到2.23%（其中扰动为∞=0）。12），从19.32%到8.05%的M NIST（在λ=0。（3）从[1]系综或级联的使用（如Wong等人所做的）。[25]）与这里提出的工作正交。相对于在0和1之间归一化的图像测量2μ m在C IFAR-10上为78.22%至67.96%（在λ = 8/255时）。因此，在本发明中，证明模型能够在多大程度上在训练过程中自我调整，使IBP引起的简单放松不会太弱。• 我们在IMAGE NET（缩小到64×64图像）上训练了第一个可证明鲁棒的模型，其分辨率为1/255。使用WideResNet-10-10，我们达到93.87%的top-1验证错误率这构成了要验证的最大模型，超出了真空边界（随机或恒定分类器将实现99.9%的验证错误率）。• 最后，使用IBP训练可证明鲁棒的神经网络的代码可以在https：//github上找到。com/deepmind/interval-bound-propagation.2. 相关工作训练可验证的鲁棒神经网络的工作通常分为两大类。首先，有经验的方法，完美的例证肖等人。[29]第10段。这项工作利用了基于MIP的验证的性质作者设计了一个正则化器，旨在减少模糊ReLU激活单元的数量（边界传播无法确定它们是打开还是关闭的单元），以便在使用MIP求解器进行训练后进行有效的验证。这种方法虽然在训练期间没有提供任何有意义的基本验证准确性的测量，但一旦在用MIP求解器训练后验证，就能够达到最先进的性能。第二，有计算违反规范的可微上界的方法来验证。如果计算速度快，则该上限可以在损失内使用（例如，铰链损失），以优化模型，通过定期随机梯度下降（SGD）。在这一类别中，我们突出了Raghunathan等人的作品。[27]，Wong et al.[25]，Dvijotham et al.[23]和Mirman et al.[20 ]第20段。Raghu- Nathan等人[27]使用半定松弛，它提供了一个自适应正则化器，鼓励鲁棒性。Wong等人[25]扩展了他们以前的工作[24]，该工作考虑了基础LP的对偶公式。重要的是，任何可行的对偶解都提供了原问题解的有保证的上界这使得Wong和Kolter能够修复对偶解，并专注于计算严格的激活边界，从而产生严格的规范违反上限。 或者，Dvijothamet al.[23]固定激活边界并使用额外的验证器网络优化对偶最后，Mirman et al.[20]引入了几何抽象，当激活通过网络传播时，这些几何抽象将激活绑定起来相反的结论，从这些以前的作品，我们表明，更严格的松弛（如从Dvijotham等人的对偶公式。[23]或来自Mirman的zonotope域4844y ytrue）zK0 0 0∞[20]不需要达到严格的验证边界。IBP，这往往导致宽松的上限为arbi-trary网络，具有显著的计算优势，因为计算IBP边界仅需要通过网络的两次前向传递。这使我们能够将IBP应用于更大的模型，并通过广泛的超参数调整进行训练。我们表明，由于这种能力，使用IBP的精心调整的验证训练过程能够实现最先进的验证准确性。也许令人惊讶的是，我们的研究结果表明，神经网络可以很容易地对抗多面体区间界上界规范适应使IBP提供的相当松散的界限更紧-这与以前的结果相反，以前的结果似乎表明需要更昂贵的3. 方法神经网络的我们专注于前馈神经网络训练分类任务。网络的输入用x0表示，其输出是一个原始的未规范化的预测向量（以下称为logits），对应于x0属于哪个类的信念。在训练期间，网络被馈送成对的输入x0和正确的输出标签ytrue，并被训练以最小化误分类损失，例如交叉熵。为了表述清楚，我们假设神经网络由其K层中的每一层的变换序列hk定义。也就是说，对于输入z0（我们将在下一段中正式定义），我们有图2：区间界限传播的图示。从左边开始，“9”（红色）的标称图像的对抗多面体（为了清晰起见，以2D方式在每一层，多面体变形，直到最后一层，它采取了一个复杂的和非凸的形状在logit空间。区间界限（灰色）可以类似地传播：在每一层之后，边界被重新成形为总是包围对抗多面体的轴对齐的边界框。在logit空间中，计算最坏情况下违反规范的上限变得容易。argmaxizK，i=y对所有元素z0∈X（x0）为真。对于-mally，我们想要验证对于每个类y：（e −eT≤0n∈ X（x）={x|x−

下载后可阅读完整内容，剩余1页未读，立即下载