随机平滑方法对非轴对齐各向异性认证的分析和无旋转扩展——用于DNN的强大防御方法

4672RANCER：非轴对齐各向异性认证与随机平滑塔拉斯·鲁梅扎克乌克兰天主教大学SoftServerumezhak@ucu.edu.uatrume@softserveinc.comPhilip H.S. 托University of Oxford牛津eiras@robots.ox.ac.uk阿德尔·比比牛津大学philip. eng.ox.ac.uk牛津大学adel. eng.ox.ac.uk摘要由于现代网络已被证明不受对抗性攻击的保护，并且应用于安全关键型应用，因此对它们的防御非常关键。许多工作都致力于这个主题，但随机平滑最近被证明是深度神经网络认证防御和获得强大分类器的有效方法利用增加额外参数的技术扩大了证明区域的范围，得到了一些先验结果。通过这种方式，提出了样本优化以最大化每个输入的认证这一想法进一步扩展到了通用的各向异性对应的E101和E102证书，这些证书允许实现更大的认证区域体积，避免在潜在的更大安全区域附近进行最坏情况的认证。然而，各向异性认证受到对齐轴的限制，该对齐轴缺乏在任何方向上延伸的自由度为了缓解这一限制，在这项工作中，我们（i）重新审视各向异性认证，提供其非轴对齐对应物的分析，并提出其无旋转扩展，（一）（c）第（1）款各向异性各向同性排列（b）第（1）款各向异性RANCER（d）其他事项（ii）对CIFAR-10数据集进行实验，改进的性能。1. 介绍用于图像分类的深度神经网络（DNN）已被证明在各种不同的领域中表现良好，甚至在一些医学图像任务中表现优于人类[20]。然而，它们也被认为是易受对抗性攻击的-在输入水平上的小的，不可感知的这在DNN的安全关键应用中尤其成问题，例如自动驾驶，各向异性各向同性排列各向异性各向同性排列4673图1. 超越轴对齐认证。2D数据集上显示的2002认证区域示例，其中蓝色和红色像素对应于不同的数据类。椭球体代表认证区域。橙色：数据相关各向同性区域[1]，蓝色：各向异性（ANCER）区域[9]，粉红色：区域获得与我们提出的解决方案-RANCER。[3]，在部署之前需要保证。这激发了对可证明的鲁棒分类器的需求，即，分类器在某个输入区域上可证明是鲁棒的。因此，提出了许多方法来构建真正鲁棒的模型[5，29]。然而，目前的许多认证技术都具有可扩展性（验证4674基于方法[8，27]）或计算（保守认证[28，12]）问题，使得它们不太可能用于生产管道。随机平滑是一种最近的方法，允许人们以可扩展的方式获得这样的分类器[17，5]。虽然在该领域的几项工作已经介绍了各种各样的证书[17，5，18，7，1]，但它们中的大多数都集中在各向同性证书上，即，相对于输入具有完美径向对称性的证书。正如Eiras等人在[9]中提到的，这是次优的，因为它只考虑最坏情况的扰动，忽略了点周围的其他安全区域。为了解决这种效率低下的问题，在[9]中，作者引入了第一个用于广义PARP范数证书的各向异性随机平滑框架- ANCER。然而，通过本文中概述的过程获得的数据相关区域仅限于轴对齐区域，这可能严重阻碍获得安全区域，如图1中的2D图像所示在某些特定的情况下，当输入数据分布集中在固定的轴方向，ANCER可以显示出良好的效果。然而，当数据旋转时，性能预计会因设计中的轴约束而下降。在这项工作中，我们将ANCER框架扩展到非轴对齐设置，允许鲁棒的准确性增益和更好的分类器安全区域的特征化捐款可归纳如下：• 我们提供了一个非轴对齐各向异性认证的一般分析，同时保留以前的approaches作为特例。• 我们在CIFAR-10数据集上进行了实验，以验证我们的方法，并表明我们的广义框架在2012年认证的准确性方面优于现有的方法。纸张结构。 在第2节中，您将找到对抗性攻击的不同防御技术的概述。随后，第3节专门介绍了所提出的方法- RANCER的详细描述。然后，在第4节中，我们报告进行的实验，并显示我们的算法相比以前的SOTA，分析时间和初始化的改进性能最后，在第5节和第6节中，我们分别讨论了我们工作的局限性并总结了我们工作的关键要点。2. 相关工作经验防御。2015年，Goodfellow et al.[10]展示了攻击DNN的方法，并提出了对抗训练。借助快速梯度符号法，可以在训练过程中快速生成对抗性示例，从而使其在实际中的应用成为他们在对抗性示例上训练了网络，使模型对MNIST数据集的对抗性攻击更具鲁棒性[16]。然后Kurakin等人[14]在2017年展示了如何在大规模对抗性示例中应用作者在ImageNet上应用了对抗训练[6]，并为如何成功地将对抗训练完全扩展到大型模型和数据集撰写了确切的建议。一年后，Madry et al.[19]开始考虑完全抵抗的NN，它可以对广泛的对抗性攻击具有鲁棒性。他们讨论了如何在训练过程中找到更强大的攻击，但后来证明，这些模型只对特定类型的攻击具有鲁棒性，并且被更强大的对手成功破解。Carlini和Wagner [4]调查了最近的十种鲁棒性方法，并表明所有以前的攻击都可以通过精心构建新的损失来击败，而新的对手更难击败。通过这种方式，新的攻击打破了以前强大的模型，然后提出了新的防御措施。例如，Athalye et al.[2]分析认为，混淆梯度是一种常见的现象，在ICLR 2018中，9种防御中有7种依赖于混淆梯度。作者表明，他们的新攻击成功地在每篇论文（共7篇）考虑的原始威胁模型中完全循环了6次，部分循环了1次结果，人们对经验性辩护的信任减少了，对有正式担保的辩护的兴趣增加了。认证的辩护。如Cohen et al.[5]定义了一个分类器是可证明鲁棒的，如果对于任何输入x，人们可以容易地获得分类器的预测在x周围的某个集合内是恒定的保证，通常是101，102或100。 该认证适用于以下两种情况：一般训练的NN和鲁棒训练的NN。例如，Wong和Kolter[8]提出了学习基于ReLU的深度分类器的方法，这些分类器可证明对训练数据上的范数有界对抗性扰动具有鲁棒性。有一些作品提出了精确的证明：取一个光滑的类化子g，检查是否存在一个范数低于某个r的扰动。如果对应于扰动输入的输出与原始输入的输出相同，则分类器可证明是鲁棒的。例如，Ehlers [27]提出了一种验证前馈神经网络的方法，其中所有节点都具有分段线性激活函数。这些方法的问题是缺乏扩展到大型NN的可能性。 Tjeng等人[27] 将验证公式化为混合整数规划，能够加快计算速度，并验证具有超过100 000个ReLU的网络，以确定MNIST对有界Nu∞范数Nu = 0扰动的精确对抗精度。1.一、 但即使是这个和其他一些最近成就不扩展到SOTA网络工作CIFAR10 [13]或ImageNet [6]。然后，保守的认证方法来到这里，它们通常利用网络的全局或局部Lipshitz常数，并且更具可扩展性，但对于现代网络来说，它们在计算上很难Tsuzuku等人[28]提出了一种有效的计算方法，4675YNN∼ N ∼ NN→ P Y P Y该技术可以降低对抗性扰动的大小，这些扰动可以从Lipschitz常数和预测裕度之间的关系中欺骗网络。Hein和Andriushchenko [12]对分类器的鲁棒性给出了形式上的保证，并对改变分类器决策所需的输入操作的范数给出了实例特定的下限，并提出了Cross-Lipschitz正则化泛函，但计算仍然很昂贵。随机平滑。2019年，Lecuyer et al.[17]提出了第一个基于差分隐私技术的认证防御，并将其称为PixelDP。它可以扩展到大型网络和数据集（例如Google[25]对于ImageNet [6]），并广泛适用于任意模型类型。在这项工作中，结果被证明是恒定的平均分类器预测下的拉普拉斯噪声扰动下的1001认证。这些想法后来被科恩等人改进为1992年认证。[5]对于高斯噪声的平滑。他们展示了如何将任何在高斯噪声下分类良好的分类器转换为一个新的分类器，该分类器在102范数下对不利扰动具有可靠的鲁棒性。后来有一些其他的文件，显示了证据的1（滕等人。[26]），100（Levine和 Feizi [18] ） ， 甚 至 100p 范 数 （ Dvijotham 等 人 ，[7]）。这些方法在不同规范下都能找到近似最优的认证区域，但认证范围仍然很小。为了解决这个问题，Mohapatra et al.[21]提出了高阶认证，使用高斯平滑分类器的零阶和一阶信息计算认证安全区域的方法，但没有提供封闭形式的解决方案。 与Cohen et al.[5]其中模型的参数被设置为全局超参数，Alfarra et al. [1]表明，高斯分布的方差可以在每个输入处进行优化，以便最大化构造平滑分类器的认证半径。通过这种技术，他们在CI-FAR 10和ImageNet上分别实现了9%和6%的改进，分别超过了半径为0.5的最强基线的认证精度。后来Eiras et al.[9]将各向同性随机平滑证明1和2扩展到它们的广义各向异性对应证明。所提出的称为ANCER 的 框 架 在 CIFAR-10 和 ImageNet 上 实 现 了SOTA1.1和1.2由于各向同性性质，先前方法的认证区域受到最坏情况对手的限制，但是其他（潜在的大）区域可以存在并且被各向异性对应物发现。然而，所描述的各向异性情况受到轴对准的限制，并且只能在预定义的一组方向上延伸，因此我们过度地3. RANCER：非轴对齐各向异性认证我们扩展了ANCER [9]，为证明非轴向各向异性区域提供了一种实用的方法。我们称我们的方法为RANCER，其中第一个“R”表示旋转，即。认证区域旋转超过规范基础。我们首先提供了一个理论上的直觉的基础上，一般认证结果ANCER对认证非轴对齐区域为一个给定的固定正交变换。然而，由于这种正交变换的学习是昂贵的，因为它是输入的维数，我们展示了一种有效的方法来设计这样的变换。在算法1中提出了详细的流水线算法。回想一下，科恩等人的早期工作[5]平滑基本分类器f：Rn（）其中（）1是具有各向同性高斯分布的类上的概率单纯形。特别地，平滑分 类 器 被 给 出 为 g σ （ x ） =E[f （ x+f ） ] ， 其 中（0，σ2I）。 所得平滑分类器此后享有由σ和g σ的前两个预测参数化的各向同性认证区域。ANCER [9]然后提出了一个一般扩展，其中当用一般正定协方差矩阵A平滑基本分类器f时，也就是说，平滑分类器被给出为gAANCER （x ）=E[f（x+f）]，其中（0，A）.然而，工作限制A是对角矩阵，即。AANCER= A，其中A是正对角线。这产生了各向异性但轴对齐的认证区域在这项工作中，我们感兴趣的是使用全稠密协方差矩阵A时出现的认证区域，以及选择A的方法。请注意，这是有趣的，因为它是Cohen等人[5]和ANCER [9]的推广首先，我们注意到一个适当的协方差矩阵是对称的，因此可以是正交的。对角化，即A=UU，其中U和是集合特征向量和特征值。为此我们考虑以下平滑分类器：gA（x）= EN（0，A）[f（x + f）].（一）对于一组给定的特征向量U，定义一个正交-通过最终变换，我们引入以下参数化。 设′=U，其中（0，零）。然后，我们有一个<$′（0，U<$>U<$），它是<$′（0，A）。因此，我们在等式（1）中的平滑分类器可以等效地可以写成：g（x）=EN（0，）[f（x+U）].（二）我们观察到，我们新提出的平滑分类器是几乎相同的ANCER的平滑discovery是与对角协方差。唯一的例外提出一个扩展版本，它可以在任何方向上找到更大的安全区域1为了方便起见，我们在这里使用软平滑版本[24]。4676LLM.Q∈LL（x+）L（x）+L（4）∈×S S=1SSnj=1f（x+Uj）2ΣˆΣˆJJ JJ算法1非轴对齐各向异性认证输 入 ： 基 本分 类器fθ 、 输入 点x、 学习 率α 、初 始sigmaσ 0、噪声样本数m、迭代次数k、损失函数、最小和最大限幅差阈值γ1、γ2结果：针对输入点x优化了sigmaΣkHessian=Hessian（）;U，Λ=特征分解（H）;对于i = 0。. . 凯多样本1，. . . ϵˆm∼N(0,Σˆi)EA= maxcc;yA= argmaxccDezfooli等人[22]表明，具有较大λmax（H）的分类器，其中λmax表示最大特征值，具有较大的曲率，导致分类器的鲁棒性较低特别地，在x处的分类器是较不鲁棒的，特别是沿着对应于最大特征值的H的特征向量 这促使我们的方法在平滑基本分类器f时选择变换U。 注意，损失函数H的hessian的本征向量空间指示其中基础分类器f是鲁棒的而不是鲁棒的空间。为此，我们寻求执行更多平滑，即沿特征向量方向的更大对角线方向，其中EB= maxcy对非鲁棒区域执行更多的一R（λ）=1/2nJJJJnj=1ΣˆjjJJ.Φ−1（EA）−Φ−1（EB）之后，将是强大的，即。将需要沿着这些方向更大的扰动，以翻转预测的中国+1←中国+ααβiR（αβi）平滑分类器为了达到这个目的，我们设置了日本语+1←min.最大Σˆi+1,σ0(1−γ1)Σ,σ0(1+γ2)Σ雷图伦恩图尔克是旋转噪声和U。在2D情况下，即xR2，我们可以将U视为对采样分布的旋转，椭圆体，其比例为g，以g表示。为此，一可以直接应用ANCER的认证结果，说明g<$（x）=g<$（x+δ），对于所有δ满足：U=V，其中H=V~V。也就是说，我们修复了局部平滑的正交变换损失函数的Hessian的特征向量空间。然后，我们遵循ANCER[9]直接优化，即，求对角平滑分布与非鲁棒方向对准的预定变换坐标。总之，我们的方法可以总结如下：（1）计算待认证点x处的损失的Hessian H;（2）执行Hessian的特征分解，将矩阵U设为H的特征向量，即V;（3）样品δΦ−1（gc1（x））−Φ−1（gc2（x））<$，（3）来自新的非轴对准分布的噪声和光学特性，mize直接跟随ANCER [9]对角元素其中c1和c2是g的前两个预测（来自[9]）。这里自然会出现一个问题：如何有效地选择U？一种潜在的方法是直接优化对称正定矩阵，以学习每个输入x的U。这与Alfarra等人[1]的精神类似，他们直接为每个输入x优化标量σ，然后进行基于后处理内存的认证。然而，在U上优化通常是非常昂贵的，请注意，如果xRn，则U的大小为nn.相反，我们建议通过研究损失函数的海森函数来直接估计局部曲率。Moosavi-Dezfooli等人[22]显示了对抗鲁棒性和局部曲率损失之间的联系。特别是，在损失函数的局部二次近似下，他们表明，曲率越高（作为损失函数在点x处的最大特征值测量），分类器的鲁棒性越差X.也就是说，如果对于给定的分类器是一个合适的损失函数，那么在点xRn附近，损失函数可以近似为：1（x）+胡志明，2其中H是表示大小为n×n的Hessian。穆萨维最大限度地提高认证区域的价值。注意在步骤（3）中，我们对噪声进行采样，与在步骤（4）中完全相同。ANCER，然后通过将其预乘以U来对其进行变换，即旋转它。算法1总结了我们的方法。认证 我们在方程(2) 享有如Eiras等人所示的等式3中给出的认证半径。然而，依赖于输入的平滑分类器的一个关键限制是，对于每个输入x，我们构造一个新的具有不同平滑分布的分类器，其具有协方差A。注意，这是因为A既取决于hessian的特征向量，也取决于x处的损失函数，并且我们对每个X.为此，仍然需要确保两个分类器在x1和x2，即gA1 gA2 每个都有一个认证区域1和以x1和x2为中心的2是一致的。 也就是也就是说，对于任何一对具有对x1和x2的两个不同预测的平滑分类器，都不存在区域12=x2的交集。为此，并遵循[1]和[9]的工作，我们扩展了一般非轴对齐各向异性区域的基于内存的认证基于记忆的认证。为了对RANCER执行基于内存的认 证 ， 我 们 可 以 直 接 应 用 Eiras 等 人 的 Al- 出 租 m（1），其中改变与Intersect的计算有关。此函数黑森具有高的本征值。这意味着我们端4677返回TRUE4678S{∈− − ≤}S{∈− − ≤}∀∥ ∥ ≤R.QR=r，因为较大的R将给出具有h2的区域，2ΣΣ1−t2不n2πn/Γ（n/2+1）ni=1 [15]第二章。而不是计算-Rx1（g（x）=y），A平均Cer-如果两个轴对齐的椭圆相交，则F也是另一方向。如前所述，相交椭球的检验是一个计算困难的问题。在ANCER中，作者能够显著简化计算，因为椭球体是轴对齐的，即，定义椭圆A的平滑分布是对角的。然而，我们感兴趣的是解决一般的测试问题，相交的任意椭球。特别是，给定两个椭圆椭球Q=XRn ：（xq）Q（xq）1和R=XRn：（xr）R（x（r）1其中Q和R是一般对称正定矩阵，两个椭球是否相交的检验问题归结为检验问题是否存在t∈（0，1），其中：K（t）= 1 −（r-q）。1R−1+ 1Q−1<$−1（r − q）<0.（五）方法.我们的实验设置与现有技术的那些相匹配以进行公平的比较。具体来说，我们将我们的工作与固定σ、DDS [1]和遵循Co- hen等人的ANCER进行比较。[5]和[9]分别用于各向同性和各向异性证明。我们通过报告多个半径的认证准确度、MACER [30]提出的平均认证半径以及各向异性区域的代理此外，我们提出了两个新的指标来跟踪确切的认证半径和代理半径的改进相比，ANCER。4.1. 评估指标经认证的准确性。如果分类器f正确预测了x，并且预测值对于所有扰动都是恒定的，则称分类器f在x处的半径为r时是可证明准确的δ在半径为r的椭圆球中。也就是说，argmaxcf（x）=C此外，K（t）在[23]中较早被示出为在t中是凸的，因此该问题可以通过求解t=argmin tK（t）并检查K（t）<是否为0的任何凸优化求解器来容易地求解。此外，对基于存储器的认证的另一个改变是关于来自Eiras等人的算法（1）的LargestOutSubset的改变。给定上述两个相交的一般椭圆，该函数应当找到一个椭圆的最大各向同性球，使得它不与另一个椭圆相交。Lipsoid 特别是考虑减少SR2Sarg maxcfc（x+δ）=y δpr，其中fc是第c个f的元素。我们计算认证的准确度为por-测试集的正确分类，并具有良好的可扩展性（在我们的情况下p=2）认证半径至少为r。各向异性认证精度。我们使用定义来自[9]的定义1的专门化的各向异性认证精度在此基础上，我们的椭球体证明区域R2是各向gionR1（102-ball）.为了比较我们能找到的地区在我们的例子中，Q将是V（R2）=固体Q. 为此，我们解决了更普遍的问题，解以下标量非线性方程：（r − q）<$（2λQ + I）− <$Q（2λQ + I）−1（r − q）= 1。（ 六）这与解决简化问题相反，其中Q和R是对角的，导致Eiras等人[9]提出的简化的更有效的算法。4. 实验我们对RANCER进行了评估，并表明它在CIFAR-10数据集直接计算体积，我们计算R2的代理半径为˜nn我更大的体积。在此基础上，各向异性认证准确度计算为正确分类的部分具有至少为R的代理半径的样本。平均认证（代理）半径。根据以前的评估基线，我们还报告了Zhai等人提出的两个指标。[30]，也由ANCER [9]扩展为各向异性区域，即ACR=E（x，y）Dt Rx1（g（x）=y），平均认证半径，对于经过认证的鲁棒性，以下各项-这些部分专门提供有关实验设置、评估指标讨论和获得的最终认证结果的详细信息。实验设置。 根据先前工作中建立的鲁棒分类器的先前评估程序，我们使用了CIFAR-10数据集[13]和He等人在2015年提出的预训练ResNet-18架构。[11]（重量取自[9]存储库）。我们还使用各向同性σ作为优化的初始化，类似于ANCER。对抗性攻击防御成功的一个重要因素因此，这样的数据和模型的选择，以证明对基于验证的优势代理半径，其中Rx和Rx是半径，分别在样本x处的代理半径，具有对应的地面实况标签y。1是指示器功能。平均（代理）半径改进。为了总结分析RANCER相对于ANCER的改进[9]，我们引入了两个新的度量。第一个度量是平均半径改进ARI=Ex ， y<$Dt[Rx1（ g<$A（x）=y ） −Rx1（ gA （x）=y）]和第 二 个 是平 均 代 理 半 径改进ARI=Ex ， y<$Dt[Rx1（ gA（x）=y）−Rx1（gA（x）=y）]，其中Rx和Rx是相应的半径和代理半径ob。与ANCER保持一致根据定义，正的ARI/ARI指示在一个平均上的RANCER优于由ANCER在Dt中获得的半径/代理半径。到最小的不与椭圆且ACR=E（x，y）<$Dt4679(a)（b）（c）（d）图2. 基于Hessian特征向量的安全方向近似。图（a、b、c）示出了方向v1和v2上的损失函数值，其是对应于最大和第二大本征值的海森本征向量。红色区域对应于小损失值，而蓝色区域对应于高损失值。图（d）显示了被分类为“红色”类的点4.2. 安全方向近似为了说明使用损失函数的Hessian的本征向量作为遵循[22]中提出的类似设置的平滑分布的协方差的实际合理性，我们对2D数据进行了不同的实验，以显示基于损失函数的原始近似和二阶近似之间的差异安全方向近似的示例见图2。从（d）分类为“红色”类的中心点该点位于经认证的椭圆体的中间，并在（a，b，c）中标记为黑点。红色的基于“谷”的代表曲率如在（a）、（b）和（c）中观察到的，第一特征向量v1指向安全电位方向以扩展。在优化过程中，向量v1将变得更大，v2将变得更短，它们将形成（d）中最终粉红色椭圆的半径。作为结论，由于我们的实验，安全方向合理地与Hessian的特征向量对齐，损失函数，所以它是一个很好的选择近似。4.3. CIFAR-10认证结果我们报告了先前讨论的最终评估方法，该方法是用实验装置中描述的高斯平滑程序获得的，并在算法1. 根据[5，9]的评估实施，我们计算了CIFAR-10数据集不同半径的前1认证准确度。所获得的值是在遵循与先前由[9]所述相同的逻辑的基于存储器的认证之后获得的，相应地，半径和代理半径结果参见表1和表2。新提出度量ARI和ARI创建附加值，因为我们现在能够分析证书的确切改进-地区。 通过所进行的实验，我们获得了A RI=0。0673和ARI=0。0792与ANCER相比。因此，平均而言，RANCER具有更大的认证半径让它提高认证的准确性。此外，我们还显示了图3中不同方法的认证准确度和各向异性认证准确度随半径和代理半径的变化曲线。从视觉比较中，我们可以看到，对于大于0的半径，各向同性DD和ANCER都比固定σ实现更好的性能。五、这与[1，9]中报告的结果一致，因为固定σ难以 权 衡 鲁 棒 性 / 准 确 性 ， 并 导 致 准 确 性 快 速 下 降ANCER通过利用各向异性泛化在体积方面认证较大的区域，显示出更好的认证然而，我们提出的方法实现了更好的性能，使潜在的扩展到更大的非轴对齐区域。通过对可视化结果的分析，我们发现，对于所有半径R和R∞，检定精度的提高几乎是稳定的。我们观察到RANCER将认证准确度提高到82%（从75%）和48%（从43%）（对于0.2半径0）。25和0。5所示。以这种方式，所提出的方法执行了先前的最先进的方法，以获得2012年认证的鲁棒性。此外，以相同的方式，RANCER显著改善了ACR和ACR降低（见表1和表 2）。 正如预期的那样，我们能够获得更大的认证区域，通过利用非轴对齐的各向异性的推广，导致更高的A CR和A CR。4.4. 运行时分析我们比较了运行时的复杂性的RANCER对以前的方法。所有实验都在NVIDIA GeForce RTX 2080 GPU上进行，总内存为8Gb。我们在表3中报告了时间结果。先前的SOTA方法[1，9]显著提高了认证的准确性，但与固定σ相比，由于样本优化而具有运行时间成本。RANCER46800.25 0.5 0.75 1.0 1.251.5222认证方法在半径为100mm时的准确度（%）100 mmACR固定σ561000027ISOTROPIC DD [1]3815710025ANCER [9]75432270046RANCER814828111053表1. 在CIFAR-10上，在不同的半径范围内以及在不同的半径范围内和ACR范围内进行认证的准确度比较。我们比较了通过使用NN训练期间使用的各向同性σ（固定σ）获得的top-1认证精度和ACR;来自[1]的各向同性数据相关优化程序（各向同性DD）;[9][10]认证方法精确度（%）0.25 0.5 0.75 1.01.251.5中国ACR固定σ561000027ISOTROPIC DD [1]3815710025ANCER [9]77644529171272RANCER82684836211380表2.在CI F AR-10上，在不同的氧化物半径和半径和ACR半径下的经认证的准确度比较。我们比较顶级1认证2 2通过使用在神经网络训练期间使用的各向同性σ（Fi x edσ）获得的精度和A C R σ;来自[1]的各向同性数据依赖优化过程（各向同性DD）;[9][10]固定σ各向同性DD ANCERRANCER 4.2s4.9s 7.65s 19.1s表3. 每种方法的每个样品认证时间。此处报告了每个样品的平均认证时间结果。在第4.4节中提到的相同硬件上进行测量。图3.CIFAR-10上多个半径的认证精度。使用不同方法获得的top-1认证准确度的分布，其为102半径（顶部）和102代理半径（底部）的函数。RANCER线位于每个半径值的顶部，显示了所有r值的改进性能。大约是2。比ANCER慢5倍。额外的复杂性来自安全方向计算的困难过程，因为它涉及计算Hessian和执行特征分解。这会影响批量大小我们必须将其设置为最多4才能运行实验（在[9]中为128）。另一个开销是由于第3节中提到的椭圆相交的一般检查而引起的。因此，我们观察到RANCER权衡了认证的准确性和运行时效率。4.5. 敏感性基于DDS的方法的瓶颈之一是σ的优化过程。为了简化计算，我们试验了不同的安全方向量值。第一种方法是在计算时使用Hessian特征值Λ作为安全方向向量的幅度，而不使用算法1中的优化。好吧这简化了流水线并提高了时间复杂度。然而，复杂性导致过度平滑的分布，即，对于非线性，较大的对角线，导致性能下降。新的方法是将Λ设置为DDS的初始化，以摆脱DDS初始化σ的计算。 虽然这确实减少了时 间 复 杂 度 ， 它 也 导 致 过 平 滑 ， 大 对 角 线 的 搜索，worsening性能。因此，我们最终决定使用各向同性σ作为优化的初始化与ANCER相似，因为它显示了最好的结果。46812××× × × ××5. 限制正如在[1]中提到的，数据依赖认证的主要缺点是σ的方差，这破坏了认证的可靠性。这个问题的原始解决方案（基于内存的认证）在[1]中提出，后来在[9]中进行了修改。但是这样的解决方案带来了一个新的问题--内存和运行时的复杂性。在我们的框架中，复杂性在三个瓶颈位置增加得更多。首先。我们能够去除变换矩阵优化，并用简单的Hessian特征向量计算来代替它，但是它仍然是计算上昂贵的过程。其次，某些特定的基于内存的过程的运行时间增加了，例如，检查旋转椭圆的交点。最后，我们需要存储用于认证的转换矩阵。对于CIFAR-10，32 323图像大小，变换矩阵将有一个大小3232 有一些潜在的改进方法可以减少内存消耗并加快处理速度（例如使用k-d树），但它们不在本文的范围之内。尽管有这些限制，我们相信，我们的方法将是有益的安全关键的应用程序，其中需要一个高鲁棒性保证和干扰时间复杂性并不重要。6. 结论我们成功地提供了理论上的扩展涉及各向异性数据相关的随机平滑并给出其广义对应物-非轴对齐各向异性证明。为此，我们引入了RANCER，这是一种新的实用框架，它优化了数据相关的非轴对齐各向异性平滑分布的参数，以证明比轴对齐情况更大的区域我们通过在CIFAR-10数据集上获得1992和1994认证结果，在该设置中实现了最先进的7. 致谢作者感谢乌克兰天主教大学机器学习实验室提供的计算资源。塔拉斯还对罗斯-季斯拉夫·赫里尼夫和奥莱斯·多博舍维奇的支持表示感谢。 这项工作部分由EPSRC 自 主 智 能 机 器 和 系 统 博 士 培 训 中 心 （EP/S024050/1）和五个AI资助。这项工作也得到了UKRI赠款 的 部 分 支 持 ： 图 灵 人 工 智 能 奖 学 金 （ EP/W002981/1）和EPSRC/MURI资助（EP/N 019474/1）。引用[1] Motasem Alfarra ， Adel Bibi ， Philip HS Torr ， andBernard Ghanem. 数据依赖随机平滑。Confer-ence onUncertainty in Artificial Intelligence（UAI），2022年。[2] Anish Athalye，Nicholas Carlini，and David Wagner.模糊的梯度给人一种错误的安全感：规避对对抗性示例的防御。机器学习国际会议（ICML），2018年。[3] Edward W Ayers，Francisco Eiras，Majd Hawasly，andIain Whiteside. Parot：一个强大的深度神经网络训练的实 用 框 架 。 在 NASA Formal Methods Symposium 中 。Springer，2020年。[4] 尼古拉斯·卡利尼和大卫·瓦格纳。对抗性的例子不容易被发现：绕过十种检测方法。在2017年的人工智能和安全研讨会上[5] Jeremy Cohen，Elan Rosenfeld，and Zico Kolter.通过随机 平 滑 验 证 对 抗 鲁 棒 性 。 国 际 机 器 学 习 会 议（ICML），2019年。[6] Jia Deng，Wei Dong，Richard Socher，Li-Jia Li，KaiLi，and Li Fei-Fei. Imagenet：一个大规模的分层图像数据库。计算机视觉与模式识别会议（CVPR），2009年。[7] Krishnamurthy（DJ ）Dvijotham，Jamie Hayes，BorjaBalle，Zico Kolter，Chongli Qin，Andras Gyorgy，KaiXiao，Sven Gowal，and Pushmeet Kohli.使用f-发散度的平滑 分类 器的 鲁棒 性认 证在国际 会议 上学 习表 示（ICLR），2020年。[8] 鲁迪格·埃勒斯分段线性前馈神经网络的形式化验证。在2017年的自动化技术验证和分析国际专题论文中。[9] 放 大 图 片 作 者 ： Francisco Eiras ， Motasem Alfarra ，Philip Torr ， M. Pawan Kumar ， Puneet K.Dokania ，Bernard Ghanem，and Adel Bibi.ANCER：通过样本体积最 大化 进行 各向 异性 认证。机器 学习 研究 学报（TMLR），2022。[10] Ian J. Goodfellow，Jonathon Shlens，Christian Szegedy.解 释 和 利 用 对 抗 性 的 例 子 。 国 际 学 习 表 征 会 议（ICLR），2015年。[11] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习在计算机视觉和模式识别会议（CVPR），2016年。[12] Matthias Hein和Maksym Andriushchenko对分类器的鲁棒性进行了形式化的保证， ial操纵。神经信息处理系统（NeurIPS），2017年。[13] 亚历克斯·克列日夫斯基和杰弗里·辛顿从微小的图像中学习多层特征。技术报告，Cite- seer，2009年。[14] Alexey Kurakin，Ian Goodfellow，and Samy Bengio.大规 模 的 对 抗 性 机 器 学 习 国 际 学 习 表 征 会 议（International Conference on Learning Representations，ICLR），2016。[15] H. O. Lancaster和M. G.肯德尔n维几何教程。查尔斯·格里芬1962年4682\[16] 杨乐存。mnist手写数字数据库。http：//yann. 乐村1998年。[17] MathiasLecuyer， VaggelisAtlidakis ，RoxanaGeambasu，Daniel Hsu，and Suman Jana.对具有差分隐私 的 对 抗 性 示 例 在 IEEE Symposium on Security andPrivacy（SP），2019年。[18] Alexander Levine和Soheil Feizi。通过随机消融的稀疏对抗 攻 击 的 鲁 棒 性 证 书 。 在 人 工 智 能 促 进 协 会（AAAI），2020年。[19] Aleksander Madry 、 Aleksandar Makelov 、 LudwigSchmidt、Dimitris Tsipras和Adrian Vladu。对抗攻击的深度学习模型国际学习表征会议（ICLR），2018年。[20] Scott McKinney 、 Marcin Sieniek 、 Varun Godbole 、JonathanGodwin、NatashaAntropova、HutanAshrafian、Trevor Back、Mary Chesus、Greg Corrado、Ara Darzi 、 Mozziyar Etemadi 、 Florencia Garcia-Vicente、Fiona Gilbert、Mark Halling- Brown、DemisHassabis 、 Sunny Jansen 、 Alan Karthike-salingam 、Christopher Kelly、Dominic King和Shravya Shetty。人工智能系统用于乳腺癌筛查的国际评价。《自然》，2020。[21] Jeet Mohapatra、Ching-Yun Ko、Tsui-Wei Weng、Pin-Yu Chen、Sijia Liu和Luca Daniel。随机平滑的高阶认证。神经信息处理系统（NeurIPS），2020年。[22] Seyed-Mohsen Moosavi-Dezfooli 、 Alhussein Fawzi 、Jonathan Uesato和Pascal Frossard。通过曲率正则化的鲁棒性 ，反 之亦 然。 在计算 机视 觉和 模式 识别 会议（CVPR），2019年。[23] Llu 'ıs Ros，Assumpta Sabater，and Federico Thomas.基于传播与融合的椭圆体演算《系统、人与控制论》（Transactions on Systems，Man，and Cybernetics，PartB），2002年。[24] Hadi Salman，Greg Yang，Jerry Li，Pengchuan Zhang，Huan Zhang，IlyaP. Razensht e yn和Se'bastienBubeck。通过逆向训练的平滑分类器进行可靠的深度学习神经信息处理系统（NeurIPS），2019。[25] Christian Szegedy ， Wei Liu ， Yangqing Jia ， PierreSermanet ， Scott Reed ， Dragomir Anguelov ， DumitruErhan