深度学习中的鲁棒性对抗性攻击研究-高准确性代价的权衡

鲁棒性是准确性的代价吗？–苏东1*，张欢2*，陈红革3，易金凤4，陈品玉1，高玉鹏11IBM Research2加州大学戴维斯分校3麻省理工学院4京东人工智能研究院sudong. gmail.com，www.example.com，ecezhang@ucdavis.educhenhg@mit.edu，pin-yu. ibm.com，yijinfeng@jd.com，yupeng. ibm.com*苏东和张欢对这项工作的贡献相当抽象。预测精度一直是比较不同图像分类模型性能然而，最近的研究强调了训练有素的深度神经网络对对抗性示例缺乏鲁棒性对自然图像的视觉上不可感知的扰动为了揭示鲁棒性和准确性之间的权衡，本文使用多个鲁棒性指标对18个ImageNet模型进行了彻底的基准测试，包括306对模型之间对抗性示例的失真，成功率和可转移性我们广泛的实验结果揭示了几个新的见解：（1）线性缩放律-经验的2和∞失真度量随着分类误差的对数线性缩放;（2）模型架构是比模型大小更关键的鲁棒性因素，并且所公开的准确性-鲁棒性帕累托前沿可以用作ImageNet模型设计者的评估标准;（3）对于类似的网络架构，增加网络深度略微提高了分类误差的估计精度。鲁棒性;（4）存在表现出高对抗性可转移性的模型（在VGG家族中），而从一个模型制作的大多数对抗性示例只能在同一家族中转移实验代码可在https://github.com/huanzhang12/AdversarialSurvey上公开获得。关键词：深度神经网络，对抗性攻击，鲁棒性1介绍图像分类是计算机视觉中的一个基本问题，并且是诸如对象检测、图像分割、对象跟踪、动作识别和自动驾驶等多个任务的基础。自从AlexNet [1]在ImageNet Challenge（ILSVRC）2012 [2]中取得突破以来，深度神经网络（DNN）已经成为该领域的主导力量。从2D. Su，H.Zhang，H.陈，J.Yi，P-Y.Chen和Y.高然后，已经提出了具有增加的深度和更复杂的构建块的DNN模型。虽然这些模型继续实现稳定增加的准确性，其鲁棒性尚未得到彻底的研究，因此很少有人知道，如果高精度的代价是降低鲁棒性。评估DNN鲁棒性的常见方法是通过对抗攻击[3，4，5，6，7，8，9，10，11]，其中制作了不可感知的对抗示例一般来说，生成对抗性示例越容易，DNN的鲁棒性就越差。敌对的例子可能会导致重大的财产损失或生命损失。例如，[12]已经表明，经过细微修改的物理停止标志可以被实时对象识别系统误识别为限速标志。除了对抗性攻击之外，神经网络的鲁棒性也可以以攻击不可知的方式进行估计。例如，[13]和[14]分别通过估计它们的全局和局部Lipschitz常数，从理论上分析了一些简单神经网络的鲁棒性。[15]提出使用极值理论来估计最小对抗失真的下限，并且可以有效地应用于任何神经网络分类器。[16]提出了基于ReLU激活的在这项工作中，我们通过使用特定的攻击以及攻击不可知的方法来评估DNN的我们还注意到，本文研究的对抗鲁棒性与[17]不同，其中“鲁棒性”是在labelsemamanticsandacuracy的概念中定义的。自从上一次ImageNet挑战赛于2017年结束以来，我们现在正处于后ImageNet 时 代 的 开 端 。 在 这 项 工 作 中 ， 我 们 重 新 审 视 了 提 交 给ImageNet Challenge或实现最先进性能的18个DNN模型。这些模型具有不同的大小，分类性能，并且属于多个架构家族，例如AlexNet [1]，VGG Nets [18] ， Inception Nets [19] ， ResNets [20] ， DenseNets [21] ，MobileNets [22]和NASNets [23]。因此，它们适合于分析不同因素对模型稳健性的影响。具体而言，我们在本研究中旨在研究以下问题：1. 是否为了提高分类性能而牺牲了鲁棒性2. 哪些因素影响DNN的鲁棒性在评估过程中，我们获得了一些见解，我们将我们的贡献总结如下：– 在大量经过良好训练的深度图像分类器上进行测试，我们发现，当仅仅追求更高的分类性能时，鲁棒性会被牺牲事实上，图2（a）和图2（b）清楚地表明，2和∞对抗性失真几乎与模型分类误差的对数呈线性关系因此，具有非常低的测试误差的分类器非常容易受到对抗性攻击。我们主张ImageNet网络设计者应该通过我们公开的准确性-鲁棒性Pareto边界来评估模型的鲁棒性。– 同一家族的网络，例如，VGG、Inception Nets、ResNets和DenseNets共享类似的鲁棒性属性。这表明网络架构对鲁棒性的影响大于模型大小。此外，我们还观察到，当ResNets，Inception Nets和DenseNets变得更深时，∞鲁棒性是准确性的代价吗3– VGG家族生成的对抗性示例可以很好地转移到所有其他17个模型中，而其他模型的大多数对抗性示例只能在同一个模型家族中转移。有趣的是，这一发现提供了我们有机会逆向工程的黑盒模型的架构– 我们提出了第一个全面的研究，比较了18个流行的和最先进的ImageNet模型的鲁棒性，提供了准确性与鲁棒性权衡。在对抗性示例的可转移性方面，我们对18个ImageNet网络中的每一对（总共306对）进行了彻底的实验，这是迄今为止规模最大的一次。2背景和实验装置在本节中，我们将介绍背景知识以及如何设置实验。本文研究了非目标攻击和目标攻击。设x0表示原始图像，x表示x0的对抗图像。 DNN模型F（·）输出作为标签的c1（或作为标签的c1的一部分的可能性分布）作为预测。在不失一般性的情况下，我们假设F（x0）=y0，这是x0的真实标签，以避免平凡的解决方案。对于非目标攻击，对抗图像x以x接近x0但F（x）/=y0的方式制作。对于有针对性的攻击，提供目标类t（t=y0），并且对抗图像x应该满足⑴ x接近x0，以及（ii）F（x）=t。2.1深度神经网络架构在这项工作中，我们研究了属于7个架构家族的18个深度图像分类模型的鲁棒性，如下所述。表1给出了这些模型的基本特性。– AlexNet AlexNet [1]是最具开创性和最知名的深度卷积神经网络之一。与许多最近的架构相比，AlexNet的布局相对简单，由5个卷积层组成，然后是两个全连接层和一个softmax输出层。– VGG网络的整体架构[18]类似于AlexNet，但它们更深，具有更多的卷积层。VGG网和AlexNet之间的另一个主要区别是，VGG网的所有卷积层都使用一个小的（3×3）内核，而AlexNet的前两层分别使用11×11和5×5内核。在我们的论文中，我们研究了16层和19层的VGG网络，分别有1.38亿和1.44亿个参数。– Inception Nets Inception nets家族利用了inception modules [24]，它们充当多级特征提取器。具体来说，每个初始模块由多个1× 1、3×3和5 ×5滤波器组成，其输出将沿着信道维度堆叠并馈送到网络中的下一层。在本文中，我们研究了该家族中所有流行网络的性能，包括Inception-v1（GoogLeNet）[19]，Inception-v2 [25]，Inception-v3 [26]，Inception-v4和Inception-ResNet [27]。所有这些模型都比AlexNet/VGG更深入，但参数明显更少。4D. Su，H.Zhang，H.陈，J.Yi，P-Y.Chen和Y.高– ResNets为了解决用于训练非常深的神经网络的消失梯度问题，[ 20]的作者提出了ResNets，其中每一层通过添加跳过层路径或“i d e n t ys h or t c u t co n ec t i on s”来参考输入学习残差函数。这种方法可以实现在深度神经网络中超越浅层模型的性能。在我们的研究中，我们评估了3个不同深度的ResNet。– 为了从ResNets中快速地部署“识别层”结构，[ 21]提出了在密集块内将所有层彼此连接的密集网。除了解决梯度消失问题外，作者还声称其他优点，例如鼓励特征重用和减少模型中的参数数量。我们研究了3个具有不同深度和宽度的DenseNets。– MobileNets MobileNets [22]是一系列轻量级和高效的神经网络，专为具有有限计算资源的移动和嵌入式系统而设计。MobileNets的核心组件是具有因式卷积的深度可分离滤波器。可分离滤波器可以将标准卷积分解为深度卷积和1× 1逐点卷积两部分，大大减少了计算量和模型大小在这项研究中，我们包括3个移动网络具有不同的深度和宽度乘数。– NASNets NASNets [23]是通过强化学习自动生成的一系列网络，使用策略梯度算法来优化架构[28]。首先在较小的数据集上搜索模型的构建块，然后将其转移到较大的数据集。2.2稳健性评价方法我们使用对抗性攻击和攻击不可知的方法来评估网络的鲁棒性。我们首先使用多种最先进的攻击算法生成每个网络的对抗性示例，然后分析攻击成功率和对抗性图像的失真在这个实验中，我们假设可以完全访问目标DNN，称为白盒攻击。 为了进一步研究每个网络生成的对抗图像的可传输性，我们考虑了所有306个网络对，并且对于每一对，我们在模型的广告上进行传输，以便在其他模型上进行传输。由于转移攻击被广泛用于黑盒设置[31，32，33，34，35，36]，其中对手无法访问目标模型的显式知识，因此这种特殊的攻击可以在网络上的k个black-boxroxobus节点上进行有效的攻击。最后，我们计算CLEVER [15]得分，这是一种最先进的攻击不可知的网络或k节点测试方法，以确定k节点的初始值。 接下来，我们简要介绍了本研究中所使用的各种评价方法。我们使用以下对抗性攻击来评估DNN的鲁棒性– 快速梯度符号法（Fast Gradient Sign Method，FGSM）FGSM [3]是一种最先进、最有效的攻击算法。它只需要计算一次梯度就可以生成一个对抗样本x：x← clip[x0−sgn（J（x0，t））]，鲁棒性是准确性的代价吗5不表1. 18个ImageNet模型进行鲁棒性测试模型年层数#参数前1/5 ImageNet准确率AlexNet [1]2012860万56.9%/ 80.1%aVGG 16 [18]201416138百万71.5% /89.8%[29]VGG 19 [18]201419144万71.1% /89.8%[29][第19话]201422六百七十万69.8% /89.6%[29][25]第二十五话20154811.3万73.9% /91.8%[29][26]第二十六话2015482390万78.0% /93.9%[29][27]第二十七话2016764290万80.2% /95.2%[29]Inception-ResNet-v2 [27] 2016965 610万80.4% /95.3%[29]ResNet-v2-50 [30]2016502 570万75.6% /92.8%[29]ResNet-v2-101 [30]2016101四千四百八十万77.0% /93.7%[29]ResNet-v2-152 [30]20161526060万77.8% /94.1%[29]DenseNet-121-k32 [21]20171218. 2百万74.9%/ 92.2%bDenseNet-169-k32 [21]2017169一千四百四十万76.1%/ 93.1%bDenseNet-161-k48 [21]20171612 900万77.6%/ 93.8%b移动网络-0.25-12820171280.5万41.5% /66.3%[29]移动网络-0.50-16020171601.4百万59.1% /81.9%[29][22]第二十二话20172244.3万70.9%/ 89.9%[29]NASNet [23]2017-8890万82.7% /96.2%[29]一https：//git h ub. com/BVLC/caffe/wiki/Models-accuracy-on-ImageNet-20 12-valBhttps://github.com/pudae/tensorflow-densenet其中sgn（J（x0，t））是训练损失相对于x0的梯度的符号，并且clip（x）确保x保持在像素值的范围内。它对于生成对抗性示例是有效的，因为它只是一步攻击。– 迭代FGSM（I-FGSM）尽管高效，但FGSM遭受相对较低的攻击成功率。为此，[37]提出了迭代FGSM以增强其性能。它以更精细的失真多次应用FGSM，并且能够在99%以上的情况下欺骗网络当我们运行T的I-FGSM时迭代，我们将每次迭代的扰动设置为sgn（J（x0，t））. I-FGSM可以看作是一个投影梯度下降（PGD）方法内的一个∞ball [38]，并且它通常会发现具有小∞失真的对抗性示例。– C W攻击[39]阐述了生成对抗性示例的问题x作为以下优化问题minλf（x，t）+x−x02X2S. t. x∈ [0，1]p，其中f（x，t）是用于测量x的预测与目标标签t之间的距离的损失函数。在这项工作中，我们选择f（x，t）= max{ max[（Logit（x））i−（Logit（x））t]，−κ}i/=t6D. Su，H.Zhang，H.陈，J.Yi，P-Y.Chen和Y.高这是因为它是有效的[39]。Logit（x）表示x在logit层的向量表示，κ是置信水平，并且较大的κ通常提高对抗性示例的可转移性。C W攻击是迄今为止发现具有小扰动 的对抗性示例的最强攻击之一。它可以实现几乎100%的攻击成功率，并绕过了10种不同的对手检测方法[40]。– EAD-L1攻击 EAD-L1攻击[41]指的是对DNN的弹性网络攻击，这是一种比CW攻击更通用的公式它建议使用弹性网络正则化，一种1和2范数的线性组合，来惩罚原始示例和对抗示例之间的大失真。具体来说，它通过以下方式学习对抗性示例x：minλf（x，t）+x−x02 +βx−x01X2S. t. x∈ [0，1]p，其中f（x，t）与CW攻击中使用的相同。[41，42，43，44]表明EAD-L1攻击具有高度可转移性，可以绕过许多防御和分析。我们还使用与攻击无关的方法来评估网络的鲁棒性：– CLEVER CLEVER [15]（网络鲁棒性的交叉Lipschitz极值）使用极值理论来估计最小对抗失真的下限。给定图像x0，CLEVER提供对失真图像x0+δ进行错误分类所需的最小失真δ的p范数的估计下界。CLEVER得分越高，表明该网络可能对对抗性示例更强大。CLEVER是攻击不可知的，反映了网络的内在鲁棒性，而不是在某种攻击下的鲁棒性。2.3数据集在这项工作中，我们使用ImageNet [45]作为基准数据集，原因如下：（i）ImageNet数据集可以充分利用所研究的DNN模型，因为它们都是为ImageNet挑战而设计的;（ii）与广泛使用的小规模数据集（如MNIST，CIFAR-10 [46]和GTSRB [47]）相比，ImageNet具有更多的图像和类别，更具挑战性;以及（iii）[39，48]已经表明，ImageNet图像比MNIST和CI-FAR数据集的图像更容易攻击，但更难防御。鉴于所有这些观察结果，ImageNet是研究最先进的深度图像分类模型的鲁棒性的理想候选者。从ImageNet验证集中随机选择的1，000张图像用于从每个模型生成对抗性示例。对于每个图像，我们进行有针对性的攻击与一个随机的目标和一个最不可能的目标以及是一次无针对性的攻击错误分类的图像被排除。我们遵循[15]中的设置来计算所有1,000个图像中的100个的CLEVER分数。因为CLEVER的计算成本相对更高。此外，我们还进行了另一个实验，取了所有18个ImageNet模型正确分类的图像子集（总共327张图像）。结果与我们的主要结果一致，并在补充材料中给出鲁棒性是准确性的代价吗72.4评估指标在我们的研究中，DNN模型的鲁棒性使用以下四个指标进行评估– 攻击成功率对于非目标攻击，成功率指示其预测标签与其地面事实标签不同的对抗性示例的百分比对于有针对性的攻击，成功率指示被分类为目标类的对抗性示例对于这两种攻击，更高的成功率表明模型更容易攻击，因此不太健壮。在生成对抗性示例时，我们只考虑正确分类的原始图像，以避免尝试攻击。– 失真我们使用x2和x∞范数来度量对抗图像与原始图像2范数度量两个图像之间的欧几里得距离，这两种方法都被广泛用于测量逆扰动[40，39，41]。更高的失真通常表明更鲁棒的为了找到每个模型具有最小失真的对抗性示例，我们使用二分搜索策略来选择I-FGSM中的最佳攻击参数和CW攻击中的λ由于每个模型可能有不同的输入大小，我们将102失真除以总像素数以进行公平的比较。– CLEVER得分对于每幅图像，我们分别计算其针对随机目标类和最不可能类的目标攻击的102报告的数字是所有测试图像的平均分数。CLEVER得分越高，模型越稳健。– 我们遵循[31]来定义靶向和非靶向转移能力。对于非目标攻击，可转移性被定义为一个模型（源模型）生成的对抗性示例也被另一个模型（目标模型）错误分类的百分比。我们将该百分比称为错误率，并且更高的错误率意味着更好的非目标可转移性。对于定向攻击，可转移性被定义为匹配率，即，为源模型生成的对抗性示例被目标模型错误分类为目标标签（或在前k个标签内）的百分比更高的匹配率指示更好的目标可转移性。3实验在检查了所有18个DNN模型之后，我们已经了解了模型架构和鲁棒性之间的关系，如下所述。3.1对抗性攻击我们仔细地进行了一个对照实验，在评估不同模型的鲁棒性时，从1000张测试图像为了评估每个模型的鲁棒性，原始误分类的图像被排除。我们比较了有针对性的攻击的成功率与8D. Su，H.Zhang，H.陈，J.Yi，P-Y.Chen和Y.高FGSM、I-FGSM、C W和EAD-L1的随机目标，所有18个模型具有不同的参数。FGSM目标攻击的成功率很低，因此我们也在图1（b）中显示了其非目标攻击的成功率对于有针对性的攻击，FGSM的成功率非常低（对于所有设置都低于3%），并且与在无针对性的设置中不同，增加WGSM实际上降低了攻击成功率。这一观察结果进一步证实了FGSM是一种弱攻击，针对性攻击更困难，需要迭代攻击方法。图1（c）示出，仅用10次迭代，I-FGSM可以在所有模型上实现非常好的目标攻击成功率。当κ= 0时，CW和EAD-L1也可以在几乎所有模型上实现几乎100%的成功率。对于CW和EAD-L1攻击，增加置信度κ可以显著地使攻击更难找到可行的对抗性示例。更大的κ通常会使对抗性失真更普遍，并提高可转移性（正如我们稍后将展示的那样），但代价是降低了成功率并增加了失真。然而，我们发现具有大κ的攻击成功率不能用作鲁棒性度量，因为它与对抗性失真的p范数不一致例如，对于MobileNet-0.50-160，当κ= 40时，成功率接近0，但在图2中，我们显示它是最脆弱的网络之一。原因是每个网络的logits输出的范围可能不同，因此在每个网络上找到固定logit gapκ的难度不同，并且与其固有的鲁棒性无关。我们将具有最不可能的目标标签的定向攻击的结果推迟到补充部分，因为得出的结论是相似的。3.2稳健性中的线性标度定律与精度在这里，我们研究了不同ImageNet模型的鲁棒性和准确性之间的经验关系，其中鲁棒性是根据分别来自成功的I-FGSM和CW攻击的∞和2失真度量&或2CLEVER得分来评估的。在我们的实验中攻击成功率这些攻击几乎100%针对每个模型。失真/评分与top-1预测准确度显示在图2中。我们-将分类误差细化为1减去top-1精度（表示为1- acc）。通过在鲁棒性-准确性分布的帕累托前沿（即，AlexNet、VGG 16、VGG 19、ResNetv2 152、Inception ResNet v2和NASNet），我们发现失真与分类误差的对数成线性比例。也就是说，失真和分类误差具有以下关系：失真=a+b·log（分类错误）。图2的标题中给出了a和b的拟合参数。以I-FGSM攻击为例，线性标度律表明，为了将分类错误减少一半，预期得到的网络将减少大约0。02，其中大约是AlexNet失真的60%。遵循这种趋势，如果我们天真地追求具有低测试误差的模型，则模型的鲁棒性可能会受到影响。因此，当 确定 新 的图 像Net 的 权重 时 ，我 们 建议 通 过将 该 模 型 与 所 公 开 的 帕 累 托 边 界 进 行 比 较 来 评 估 该 模 型 的 准 确性-鲁棒性折衷。鲁棒性是准确性的代价吗9resnet_v2_50resnet_v2_101resnet_v2_152inception_v1inception_v2inception_v3inception_v4inception_resnet_v2vgg_16vgg_19mobilenet_v1_025mobilenet_v1_050mobilenet_v1_100densenet121_k32densenet169_k32densenet161_k48nasnet_largealexnet1失真最差情况失真0.0350.0300.0250.0200.0150.0100.0051.00.80.60.40.20.0000.1 0.2 0.30.00.1 0.2 0.3(a) （b）成功率，非靶向FGSM1.0000.9950.9900.9850.9800.9750.050.040.030.020.010.97010 30 50#Iter0.0010 30 50#Iter(c)成功率，目标I-FGSM（d）最差情况下的I-FGSM失真，1.00.80.60.40.28.0E-056.0E-054.0E-052.0E-050.00 20 400.0E+000 20 40(e)成功率，目标C W（f）每像素2失真，目标C W1.00.8 0.0150.60.0100.40.0050.20.00 20 400.0000 20 40(g)成功率，目标EAD-L1（h）每像素1失真，目标EAD-L1Fig. 1. 通过改变攻击参数比较FGSM、I-FGSM、CW和EAD-L1攻击。ResNet-v2-50ResNet-v2-101ResNet-v2-152Inception-v1Inception-v2Inception-v3Inception-v4Inception-ResNet-v2 VGG 16VGG 19MobileNet-0.25-128MobileNet-0.50-160MobileNet-1.0-224 DenseNet-121-k32 DenseNet-169-k32 DenseNet-161-k48 NASNetAlexNetResNet-v2-50ResNet-v2-101ResNet-v2-152Inception-v1Inception-v2Inception-v3Inception-v4Inception-ResNet-v2 VGG 16VGG 19MobileNet-0.25-128MobileNet-0.50-160MobileNet-1.0-224 DenseNet-121-k32 DenseNet-169-k32 DenseNet-161-k48 NASNetAlexNetresnet_v2_50resnet_v2_101resnet_v2_152inception_v1inception_v2inception_v3inception_v4inception_resnet_v2vgg_16vgg_19mobilenet_v1_025mobilenet_v1_050mobilenet_v1_100densenet121_k32densenet169_k32densenet161_k48nasnet_largealexnetresnet_v2_50resnet_v2_101resnet_v2_152inception_v1inception_v2inception_v3inception_v4inception_resnet_v2 vgg_16vgg_19mobilenet_v1_025mobilenet_v1_050mobilenet_v1_100densenet121_k32densenet169_k32densenet161_k48nasnet_largealexnetresnet_v2_50resnet_v2_101resnet_v2_152inception_v1inception_v2inception_v3inception_v4inception_resnet_v2vgg_16vgg_19mobilenet_v1_025mobilenet_v1_050mobilenet_v1_100densenet121_k32densenet169_k32densenet161_k48nasnet_largealexnetresnet_v2_50resnet_v2_101resnet_v2_152inception_v1inception_v2inception_v3inception_v4inception_resnet_v2 vgg_16vgg_19mobilenet_v1_025mobilenet_v1_050mobilenet_v1_100densenet121_k32densenet169_k32densenet161_k48nasnet_largealexnetresnet_v2_50resnet_v2_101resnet_v2_152inception_v1inception_v2inception_v3inception_v4inception_resnet_v2vgg_16vgg_19mobilenet_v1_025mobilenet_v1_050mobilenet_v1_100densenet121_k32densenet169_k32densenet161_k48nasnet_largealexnet成功率成功率成功率成功率每像素2失真每像素成功率10D. Su，H.Zhang，H.陈，J.Yi，P-Y.Chen和Y.高ResNet-v2-50ResNet-v2-101ResNet-v2-152Inception-v1Inception-v2Inception-v3Inception-v4Inception-ResNet-v2VGG 16VGG 19MobileNet-0.25-128MobileNet-0.50-160MobileNet-1.0-224DenseNet-121-k32DenseNet-169-k32DenseNet-161-k48NASNetAlexNetAlexNetVGG 19VGG 16MobileNet-0.25-128NASNet每像素2失真4.0E-023.5E-023.0E-022.5E-02ResNet-v2-50ResNet-v2-101ResNet-v2-152Inception-v1Inception-v2Inception-v3Inception-v4Inception-ResNet-v2VGG 16AlexNetVGG 16VGG 19数量的参数2.0E-021.5E-021.0E-025.0E-03VGG 19MobileNet-0.25-128MobileNet-0.50-160MobileNet-1.0-224 DenseNet-121-k32 DenseNet-169-k32 DenseNet-161-k48 NASNetAlexNetMobileNet-0.25-128inception-ResNet-v2NASNet1 M75 M150米0.0E+000.2 0.4 0.6 0.8 1.0前1精度(a)∞失真（I-FGSM攻击）与top-1精度：dist =[2. 9·ln（1 − acc）+6。2]× 10−21.2E-051.0E-058.0E-066.0E-064.0E-06参数数量1M75 M150米2.0E-060.0E+000.0 0.2 0.4 0.6 0.8 1.0前1精度(b)2失真（CW&攻击）与top-1精度：dist =[1. 1·ln（1 − acc）+2。1]× 10−51.0E-058.0E-066.0E-064.0E-06AlexNetVGG 16VGG 19ResNet-v2-50ResNet-v2-101ResNet-v2-152MobileNet-1.0-224MobileNet-0.50-160MobileNet-0.25-128Inception-v1Inception-v2Inception-v3Inception-ResNet-v2Inception-v4AlexNetVGG 19inception-ResNet-v2数量的参数1 M75 M150米2.0E-06DenseNet-121-k32DenseNet-169-k32DenseNet-161-k48MobileNet-0.25-128MobileNet-0.50-160NASNet0.0E+000.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0前1精度(c)拟合的Pareto边界为102CLEVER评分与top-1精度：02分=[4. 6·ln（1 − acc）+12。5]× 10−6图二. 稳健性与I-FGSM攻击[37]，C& W at- tack [39]和CLEVER [15]在18个ImageNet模型上对随机目标的分类准确度图。每像素2CLEVER分数失真最差情况鲁棒性是准确性的代价吗11AlexNetDenseNet-121-k32DenseNet-161-k48DenseNet-169-k32Inception-ResNet-v2Inception-v1Inception-v2Inception-v3Inception-v4MobileNet-0.25-128MobileNet-0.50-160MobileNet-1.0-224NASNetResNet-v2-101ResNet-v2-152ResNet-v2-50VGG 16VGG 19AlexNetDenseNet-121-k32DenseNet-161-k48DenseNet-169-k32Inception-ResNet-v2Inception-v1Inception-v2Inception-v3Inception-v4MobileNet-0.25-128MobileNet-0.50-160MobileNet-1.0-224NASNetResNet-v2-101ResNet-v2-152ResNet-v2-50VGG 16VGG 19AlexNetDenseNet-121-k32DenseNet-161-k48DenseNet-169-k32Inception-ResNet-v2Inception-v1Inception-v2Inception-v3Inception-v4MobileNet-0.25-128MobileNet-0.50-160MobileNet-1.0-224NASNetResNet-v2-101ResNet-v2-152ResNet-v2-50VGG 16VGG 19AlexNetDenseNet-121-k32DenseNet-161-k48DenseNet-169-k32Inception-ResNet-v2Inception-v1Inception-v2Inception-v3Inception-v4MobileNet-0.25-128MobileNet-0.50-160MobileNet-1.0-224NASNetResNet-v2-101ResNet-v2-152ResNet-v2-50VGG 16VGG 19AlexNetDenseNet-121-k32DenseNet-161-k48DenseNet-169-k32Inception-ResNet-v2Inception-v1Inception-v2Inception-v3Inception-v4MobileNet-0.25-128MobileNet-0.50-160MobileNet-1.0-224NASNetResNet-v2-101ResNet-v2-152ResNet-v2-50VGG 16VGG 191.00.80.60.40.20.0目标模型目标模型图3.第三章。FGSM攻击在18个ImageNet模型上的可转移性3.3不同模型大小和架构我们发现，模型结构是一个更重要的因素，模型的鲁棒性比模型的大小。尽管深度和模型大小不同，但每个网络家族都表现出相似的鲁棒性水平。例如AlexNet有大约6000万个参数但它的鲁棒性是最好的;另一方面，Mobilenet-0.50-160只有150万个参数，但在所有指标中更容易受到对抗性攻击。我们还观察到，在同一系列中，对于DenseNet，ResNet和Inception，具有更深架构的模型在失真度量方面的鲁棒性这可能为设计健壮的网络提供新的见解，并进一步改善帕累托边界。这一结果也与[49]相呼应，其中作者使用更大的模型来增加基于CNN的MNIST模型的∞= 0.1，非靶向，成功率= 0.1，目标，前5名成功率1.000.55 0.43 0.49 0.41 0.62 0.49 0.49 0.45 0.94 0.940.77 0.35 0.48 0.48 0.57 0.80 0.780.23 0.19 0.22 0.20 0.19 0.17 0.20 0.20 0.08 0.09 0.15 0.19 0.19 0.17 0.16 0.15 0.160.840.85 0.50 0.59 0.38 0.51 0.47 0.46 0.42 0.90 0.82 0.59 0.35 0.46 0.44 0.53 0.720.05 0.27 0.26 0.23 0.23 0.22 0.22 0.20 0.22 0.02 0.06 0.14 0.24 0.21 0.22 0.18 0.17 0.170.840.52 0.49 0.25 0.42 0.36 0.33 0.290.86 0.800 . 2 1 0.35 0.32 0.38 0.62 0.610.05 0.22 0.20 0.22 0.03 0.06 0.14 0.24 0.21 0.220.790.50 0.42 0.70 0.22 0.40 0.330 . 2 2 0.31 0.32 0.39 0.630.05 0.23 0.20 0.23 0.02 0.06 0.16 0.260.800.30 0.18 0.21 0.17 0.29 0.22 0.16 0.08 0.93 0.85 0.54 0.07 0.13 0.11 0.150.01 0.03 0.07 0.24 0.21 0.19 0.18 0.10 0.100.23 0.32 0.24 0.76 0.36 0.34 0.250.91 0.79 0.48 0.19 0.32 0.33 0.40 0.59 0.580.06 0.22 0.24 0.24 0.22 0.28 0.24 0.21 0.24 0.03 0.06 0.16 0.24 0.24 0.23 0.20 0.18 0.170.21 0.24 0.16 0.28 0.51 0.24 0.170.86 0.68 0.33 0.14 0.23 0.22 0.30 0.41 0.420.07 0.21 0.24 0.23 0.24 0.23 0.260.780.28 0.17 0.21 0.09 0.25 0.20 0.35 0.