基于鲁棒性要求的对抗性攻击防御架构的研究

1当NAS满足鲁棒性要求时：寻找对抗性攻击的鲁棒架构郭明昊1杨宇哲2徐锐1刘紫薇1林大华11香港中文大学2麻省理工学院CSAIL摘要对抗性攻击的最新进展揭示了现代深度神经网络的内在脆弱性。从那时起，人们一直致力于通过专门的学习算法和损失函数来增强深度网络的鲁棒性在这项工作中，我们采取了架构的角度，并研究了网络架构的模式为了获得本研究所需的大量网络，我们采用一次性神经结构搜索，训练一次大型网络，然后对从中采样的采样架构以及它们所达到的精度为我们的研究提供了丰富的基础我们的“鲁棒架构奥德赛”揭示了几个有价值的观察：1）密集连接的模式导致提高鲁棒性; 2）在计算量有限的情况下，对直连边进行卷积运算是有效的; 3）求解过程流（FSP）矩阵是衡量网络鲁棒性的一个很好的指标。基于这些观察，我们发现了一个强大的架构（RobNets）的家庭。在各种数据集上，包括CIFAR，SVHN，Tiny-ImageNet和ImageNet，RobNets表现出比其他广泛使用的架构更出色的鲁棒性性能值得注意的是，RobNets大大提高了白盒和黑盒攻击下的 鲁 棒 准 确 性 （ 105% 的 代 码 可 在https://github.com/gmh14/RobNets上获得。1. 介绍深度神经网络被证明容易受到对抗性攻击，其中自然数据被人类无法感知的精心制作的噪声干扰[9，15，32]。为了减轻这个陷阱，人们已经在对抗性防御机制上投入了大量的努力，其中主要关注的是专门的对抗性学习算法[9，21]，损失/正则化函数[13，41]以及图像预处理[34，28，35，38]。然而，有一个正交维度，很少有研究探讨： 本征*同等缴款。顺序由字母顺序决定52504846440 10 20 30 40参数数量（M）图1. 对抗鲁棒性与广泛使用的 架构和CIFAR 上 提 出 的RobNet系列的参数编号-10.所有模型都使用7步PGD进行对抗训练，并使用100步PGD白盒攻击进行评估。RobNets表现出优于其他架构的鲁棒性性能，即使参数数量较少。网络体系结构对网络弹性影响对抗性的干扰虽然在对抗鲁棒性的架构的重要性已经出现在几个以前的工作[30，36，21]的实验中，但仍然需要对网络架构在鲁棒性中的作用进行更全面的研究在这项工作中，我们迈出了第一步，从架构的角度系统地理解神经网络的对抗鲁棒性。具体而言，我们旨在回答以下问题：1. 什么样的网络架构模式对对抗鲁棒性至关重要2. 在给定模型容量预算的情况下，如何合理分配模型的参数以有效提高网络的鲁棒性？3. 健壮网络架构的统计指标是什么？回答上述问题并非易事，因为我们需要训练大量具有不同631RobNet家族无RobNetRobNet-小型RobNet-中型RobNet-大型ResNet-18ResNet-50WideResNet-28-10DenseNet-121更好对抗准确率（%）632架构并评估其鲁棒性以获得见解，然而，这非常耗时，特别是在使用对抗性训练时。由于一次性神经结构搜索（NAS）的方法，它变得更容易评估大量的架构之间的鲁棒性。具体来说，我们首先训练一次超网，它包含了各种各样的架构作为子网络，例如ResNet [11]和DenseNet [12]。然后，我们从超网中采样架构，并对候选架构进行几个时期的微调，以获得它们在对抗性攻击下的鲁棒准确性。我们进一步对获得的架构进行了广泛的分析，并对上述问题获得了一些见解：1) 我们对基于细胞的搜索空间中的1000个架构进行了统计分析，发现架构密度与对抗精度之间存在很强的相关性。这表明，连通模式可以显著提高网络的鲁棒性。2) 我们限制了三种不同的计算预算，即小，中，大的参数的数量。我们的实验结果表明，增加卷积运算的直接边缘是更有效的，提高模型鲁棒性，特别是对于小计算预算。3) 进一步释放了基于单元格的约束条件，提出了无单元格搜索空间的研究。对于这种设置，我们发现干净数据和对抗数据之间的解决方案过程矩阵的流的距离可以是一个很好的网络鲁棒性指标。通过采用这些观察结果，我们搜索和设计了一系列强大的架构，称为RobNets。在流行的基准测试上进行的广泛实验，包括CIFAR [14]，SVHN [23]，Tiny-ImageNet [16]和ImageNet [7]，表明RobNets在广泛使用的架构上实现了卓越的性能。我们的研究主张，未来的网络鲁棒性的工作可以集中更多的网络架构的内在影响。2. 相关工作对抗性攻击与防御深度神经网络（NN）可以很容易地被对抗性示例愚弄[9，32，20]，其中提出了有效的攻击 ， 如 FGSM [9] ， BIM [15] ， C W [5] ， DeepFool[22]，MI-FGSM [8]，[21]第21话已经提出了广泛的努力来增强鲁棒性，包括预处理技术[3，28，38]，特征去噪[35]，正则化[41，13，17]，添加未标记数据[6，29]，模型集成[33，24]，神经架构搜索。神经结构搜索（NAS）旨在自动设计网络结构，以取代传统的手工制作。代表性的技术包括强化学习[44，45，43，10，1]、进化[27，31]和代理模型[18]，这些模型已被广泛应用于搜索过程。然而，这些方法通常会导致非常高的计算成本。其他努力[19，26，2]利用权重共享机制以降低评估每个搜索到的候选体系结构的成本。为了实现快速和可扩展的搜索算法，我们的研究基于一次性NAS [2，4]。3. 鲁棒神经结构搜索3.1. 初步在本节中，我们简要介绍了一次性NAS和对抗训练的概念，以便更好地理解我们的进一步分析。One-Shot NAS NAS的主要目标[45，18，19，2]是寻找计算单元，并将其作为基本构建单元来构建整个网络。每个单元的架构是从预定义的操作空间中选择的操作的组合。在one-shot NAS中，我们构建了一个超网来包含搜索空间中所有可能的架构。我们只需要训练超网一次，然后在评估时，我们可以通过选择性地将超网中的操作归零来获得各种架构。这些架构的权重直接继承自超网，这表明权重在模型之间共享 这些一次性训练的网络的评估性能可以用于在搜索空间中对架构进行排名，因为一次性训练的网络精度和独立训练的网络精度之间存在近似单调的相关性。我们建议读者参考[2]以了解此顺序保持属性的更多细节。在一次性NAS中，一次性训练的网络通常仅用于对架构进行排名，并且在搜索之后从头开始重新训练性能最佳的架构。然而，在我们的工作中，我们的目标不是得到一个单一的架构具有最高的鲁棒性的准确性，但研究不同的架构在网络鲁棒性的影响。因此，我们不涉及再训练阶段，在我们的方法，但充分利用属性的精度顺序保存在一次性NAS。对抗性示例的鲁棒性。 网络鲁棒性是指网络如何抵抗对抗性输入。防御有界对抗扰动的问题可以表述如下：其中对抗训练[9，21]被证明是提高鲁棒性的最有效和最标准的方法。现有网络鲁棒性的几点实证尝试最小E（x，y）Δ DθΣΣmaxL（y，M（x′;θ））x′∈S、（1）[30，36]，但还没有令人信服的指导方针或结论。其中S={x′：||x−x′||p {\i+1}。我们的工作和传统NAS之间搜索空间的主要区别在于两个方面：1）我们在O中缩小候选操作的总数，剩余仅： 3×3可分离卷积，恒等式和零。这有助于减轻对抗训练的负担，在搜索空间中保留强大的候选架构[37]。2)我们不将两个中间节点之间的操作的最大数目限制为一（即，o（i，j）（·）可以包含至多n个操作）。如图2所示，这样的设计鼓励我们探索更大的空间随着网络架构的更多变体，一些经典的人类设计的架构可以出现，如ResNet和DenseNet。鲁棒搜索算法我们开发了基于一次性NAS方法的鲁棒搜索算法[2]。具体地说，我们将架构参数α中的所有元素设置为1，以获得包含所有可能架构的超网。在超网的训练阶段，对于每一批训练数据，我们从超网中随机抽取一个候选架构（通过将α中的一些元素任意设置为0）。该路径丢弃技术被并入以解耦候选架构的协同适应[2]。然后，我们采用最小最大公式在方程。（1）至K K{0，1}，i，j=1，. . .，N，k=1，. . .，n}来表示相对于采样的输入1f（1）f（2）f（3）f（4）输入2固定边缘选择边转换单位零6341 6 11 16 21 2650403020100 200 400 600 8001000架构ID90平均值：50.3%8070605040302010042.044.046.048.050.052.0对抗准确率（%）last-300体系结构300强体系结构45 4035302520151050（一）（b）第（1）款边缘ID图3. 1,000个抽样架构的统计结果：（一）（一）（b）第（1）款微调前后的鲁棒精度提高。（b）所有采样架构的对抗精度直方图。子网络，并执行对抗训练以最小化对抗损失。这种机制确保了在训练过程中生成的对抗性示例不是特定于一个架构的。我们还在附录中提供了我们的鲁棒搜索算法的伪代码耐用性评价。一旦在鲁棒训练之后获得超网，我们就可以通过从超网中随机采样并继承权重来收集候选架构。与直接在验证数据集上评估网络作为香草NAS方法不同，我们发现仅对几个时期的对抗性训练对采样网络进行微调可以显着提高性能，这也在[42]中观察到微调背后的直觉是，虽然训练调度器试图提高每个架构的鲁棒性，但它仍然需要保持所有候选架构的整体性能。图2显示了1,000个随机抽样候选架构微调前后的对抗精度。第3（a）段。可以清楚地看到，鲁棒性性能得到了很大的提高。微调后，我们评估每个候选架构上的验证样本是由白盒PGD对手的不利扰动。我们将对抗准确率作为网络鲁棒性的指标。3.3. 基于单元的体系结构Having set up the robust search framework, we wouldlike to seek for answers for the first question raised in Sec.3.1，什么样的架构模式对对抗鲁棒性至关重要。我们首先通过遵循NAS方法[45，19]中的典型设置对基于单元的架构的模型鲁棒性进行分析，其中不同单元之间的架构是共享的。统计结果。在基于单元格的设置中，我们采用CIFAR-10上的鲁棒架构搜索。我们将每个单元的中间节点的数量设置为N=4。回想一下，我们有2个非零操作和2个输入节点，所以搜索空间中的边总数是14。这导致搜索空间的总复杂度为（22）14−1图4.对选定的300强（健壮）体系结构的分析和最后300个（非鲁棒）架构：（a）所有600个架构的t-SNE在α上的可视化α的嵌入在鲁棒和非鲁棒网络之间是可分离的，这表明结构对网络鲁棒性有影响（b）经训练的线性分类器的权重值我们观察到几乎所有的权重值都是正值，这表明架构密度和对抗精度之间108，其中每个结构参数为α∈ {0，1}2×14。对于超网的训练，我们选择7步PGD对抗训练，0。01步长。在训练超网之后，我们从超网中随机抽取1,000个架构，并对每个架构进行3个时期的微调。我们在图中绘制了这1,000种架构的对抗准确度直方图。3（b）款。如图所示，尽管大多数架构实现了相对较高的鲁棒性（具有±50%的鲁棒精度），但也存在大量的架构遭受较差的鲁棒性。（远低于平均值50.3%）。这促使我们考虑是否存在一些鲁棒网络之间的共享功能为了更好地可视化架构的可区分性，我们首先根据鲁棒准确性对1，000个架构进行接下来，选择前300个体系结构，标签为1，最后300个体系结构，标签为-1。 最后，t-SNE帮助我们描绘了α对应的每一个架构。我们将低维的图4（a）中的600α嵌入。如图所示，结构参数α的嵌入在鲁棒和非鲁棒网络之间是可分离的，这清楚地表明结构对网络鲁棒性有影响。这一发现自然提出了一个问题：哪些路径对架构中的网络健壮性至关重要？一个简单的想法是，我们训练一个分类器，该分类器将架构参数作为输入，并预测该架构是否在这种情况下，对应于关键路径的权重预期具有较大的值。我们使用上面介绍的600种架构令人惊讶的是，我们发现即使是线性分类器1也能很好地拟合数据（这600个数据1https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.SGDClassifier.html微调后微调前对抗准确率（%）许多架构重量值6350.790.770.750.730.710.690.80.70.60.50.40.30.2所有Conv.跳过Conv。直接转换小预算 中期预算 巨额预算525150494847464544430.670.6545.048.552.045.0对抗准确率（%）（一）52.00 0.2 0.4 0.6 0.8直接卷积（b）第（1）款对抗准确率（%）图 5. Correlation between architecture density and adversarialaccuracy.我们发现它们之间有很强的相关性，表明密集连接的模式可以有利于网络的鲁棒性。98.7%）。结果如图所示。第4（b）段。该图显示，几乎所有的权重值都是正值，这表明一个架构的连接密度与它在对抗性攻击下的鲁棒性之间存在很强的关系为了进一步探索这种关系，我们对对抗准确性与架构密度之间的相关性进行了分析。我们将架构密度D定义为架构中所有可能边的总数上的连接边的数量，其可以表示为：图6.计算预算下的建筑学研究：（a）不同操作的数量与网络鲁棒性之间的相关性。当增加卷积运算的数量时，对抗精度稳步增加。此外，直接边缘上的卷积比跳过边缘上的卷积对鲁棒精度的贡献更大。(b)不同计算预算下的性能。在中小预算下，直接卷积的比例与对抗精度呈正相关，表明在小计算预算下，向直接边缘添加卷积操作更有效地提高模型的鲁棒性。我们首先分析卷积运算的数量与网络鲁棒性的关系，使用第二节中获得的1,000个架构。三点三 结果示 图第6（a）段。随着卷积运算的次数D= |E连通|为|E|α（i，j）i，j，kK.（二）|E|增加，对抗精度稳步提高。我们还分别绘制了跳过边缘和直接边缘上卷积数量的统计数据。结果表明，直接边缘上的卷积对我们在图中说明了结果。5，这表明架构密度和对抗精度之间存在很强的相关性。我们认为，通过对抗性训练，网络中密集连接的模式更有利于对抗对抗性特征，并学会抵抗它们。这给了我们第二节第一个问题的答案。1：密集连接模式有利于网络的鲁棒性。3.4. 预算下的架构策略在许多以前的研究中已经观察到[30，21]，在同一系列架构中，增加网络参数的数量将提高鲁棒性。这是因为这样的过程将提高模型容量，从而可以有益于网络的鲁棒性。然而，如果我们给定一个固定的参数总数（或者我们称之为计算预算），如何获得在有限约束下更鲁棒的架构？在本节中，我们将重点讨论在给定不同的固定计算预算时，架构的模式如何影响鲁棒性。对于这项研究，我们的鲁棒架构搜索空间的一个优点是，网络的参数数量与架构中卷积运算的数量正相关。对抗精度比跳过边缘。这启发我们更深入地研究卷积对不同计算预算的直接边缘的影响。我们考虑三种不同的计算预算：小号、中号和大号。由于在基于单元格的设置中卷积运算的最大数量是14，因此我们将卷积的总数设置为小于7的小预算，在8和10之间为中等预算，大于11的大预算。对于每一个预算，我们随机抽样100个架构，评估他们的对抗准确性。3.2并计算直接边缘上的卷积在所有卷积中的比例。如示于图6（b），对抗性准确性在不同预算之间有明确的界限。此外，对于中小预算，直接卷积的比例与对抗精度呈正相关。这表明，在较小的计算预算下，对直接边进行卷积可以有效地提高网络的鲁棒性。我们还注意到，这种现象在大的设置中并不明显。我们推测，对于大预算内的架构，密集连接的模式主导了网络鲁棒性的贡献。 根据上述结果，我们得出结论：在较小的计算量下，对直接边缘进行卷积运算可以更有效地提高模型的鲁棒性。建筑密度部分速率对抗准确率（%）636LL3.5. 迈向更大的搜索空间放松基于单元格的约束。 在前面的部分中，我们获得了基于单元格设置的几个有价值的观察结果。一个很自然的问题是：如果我们放松约束，允许网络中的所有单元都有不同的架构，会怎么样？此外，在这种无小区设置中，网络鲁棒性的指标是什么？在本节中，我们放松了基于单元的约束，并在更大的架构搜索空间上进行研究。约束的放松引起了搜索空间复杂性的爆炸：对于由L个单元组成的网络，总复杂度增加到（108）L。指数级的复杂度使得体系结构搜索量大0.0450.040.0350.030.0250.020.0150.010.00500.0090.0080.0070.0060.0050.0040.0030.0020.001小区#20 10 20 30 40（清洁Acc.- 对抗性账户）（%）15号牢房0.0140.0120.010.0080.0060.0040.00200.0140.0120.010.0080.0060.0040.00210号牢房0 10 20 30 40（清洁Acc.- 对抗性账户）（%）17号牢房更难以进行。特征 流引导搜索。解决上述00 10 20 30 40（清洁Acc.- 对抗性账户）（%）00 10 20 30 40（清洁Acc.- 对抗性账户）（%）挑战，在这里，我们提出了一个特征流引导搜索方案。我们的方法受到TRADES [41]的启发，其中涉及最小化KL分歧的损失函数一个对抗样本和它对应的干净数据之间的logit分布。这个损失函数的值可以用来衡量网络鲁棒性和准确性之间的差距。我们不关注网络的最终输出，而是考虑网络中间单元之间的特征流。具体来说，我们计算每个单元格的Gramian矩阵，表示为解决方案流程（FSP）矩阵[39]。第l个单元的FSP矩阵计算为：图7.分析FSP矩阵距离作为鲁棒性指标。我们计算每个单元格的FSP矩阵距离，以及干净精度和对抗精度之间的性能差距对于网络中较深位置的单元，FSP距离与网络鲁棒性和其干净精度之间的差距呈正相关，这表明鲁棒网络在网络的较深单元中具有较低的FSP矩阵损失。高损失值，这有效地降低了搜索空间的复杂性。因此，在无单元设置的超网采样过程之后，我们首先计算每个架构的FSP矩阵损耗，并拒绝那些具有高损耗值的架构。然后我们进行微调以获得最终的鲁棒性。Σh Σw Fin（x;θ）×Fout（x;θ）Gl（ x;θ）=s=1t =1l，s，t l，s，t（3）高×宽4. 实验其中Fin（x;θ）表示单元的输入特征图，Fout（x;θ）表示输出特征图。 对于一个给定的网络，我们可以计算FSP矩阵在对抗样本和网络每个单元的干净数据L FSP=1<$N（G（x;θ）−G（x′; θ）<$2.（四）lNl l2X我们对50个架构进行了采样，没有对无单元搜索空间进行微调，并评估了每个架构的干净准确性和对抗准确性的差距我们还计算了网络中每个单元的FSP矩阵距离，并在图中显示了代表性的结果7（完整结果见附录）。我们可以观察到，对于网络中更深位置的细胞，FSP距离与网络鲁棒性和干净准确性之间的差距呈正相关。这给了我们第三个问题的答案。 1：鲁棒网络在网络的较深单元中具有较低的FSP矩阵损失。通过观察这种现象，我们可以很容易地采用FSP矩阵损失来过滤掉非鲁棒架构，在本节中，我们将实证评估所提出的RobNet家族的对抗鲁棒性。根据我们在SEC中的三项发现的指导。3、训练并选择一组具有代表性的RobNet模型进行评估。我们专注于l∞有界攻击，并将RobNet家族与最先进的人类设计模型进行比较。4.1. 实验装置实施详情。如第3、分别采用基于单元和无单元的搜索算法，选择出一组RobNet 结构鲁棒搜索仅在CIFAR-10上执行，其中我们使用PGD对抗训练，具有7次攻击迭代和2/255（0.01）的步长为了在其他数据集上进行评估，我们直接传输在CIFAR-10上搜索的RobNet架构具体来说，我们首先遵循基于细胞的鲁棒搜索框架，以获得表现出密集连接模式的架构。考虑到预算下的策略，我们进一步生成三种基于单元的架构，它们都在直接边缘上进行更多的卷积运算，但具有不同的计算预算。我们将三种选定的架构称为RobNet-small，RobNet-medium，FSP基质损失FSP基质损失637模型模型尺寸自然Acc.FGSM PGD20PGD100DeepFool MI-FGSM表1.CIFAR-10上的白盒攻击结果我们比较了具有代表性的RobNet模型与最先进的架构。 所有模型都使用PGD进行了7步对抗训练。所有攻击都是l∞有界的，总扰动尺度为8/255（0.031）.ResNet-1811.17M78.38%49.81%45.60%45.10%47.64%45.23%ResNet-5023.52M79.15%51.46%百分之四十五点八四45.35%49.18%45.53%WideResNet-28-1036.48M86.43%53.57%47.10%46.90%51.23%47.04%DenseNet-1216.95M82.72%54.14% 47.93% 47.46%51.70%48.19%RobNet-small4.41M78.05%53.93%48.32%48.07%52.96%百分之四十八点九八RobNet-medium5.66M78.33%百分之五十四点五五百分之四十九点一三百分之四十八点九六53.32%49.34%RobNet-large6.89M78.57%百分之五十四点九八49.44%49.24%53.85%百分之四十九点九二RobNet-large-v233.42M85.69%57.18% 50.53% 50.26%55.45%50.87%无RobNet5.49M82.79%58.38%52.74%52.57%57.24%52.95%和RobNet-large。此外，我们利用FSP引导搜索，如第2节所述3.5，以有效地生成无细胞的鲁棒架构，并选择一个代表性的模型进行评估，这被称为RobNet-free。请注意，我们没有选择最佳架构，因为搜索空间太大，不允许我们这样做相反，我们遵循所提出的算法来选择代表性的架构，并研究它们在对抗性攻击下的鲁棒性选择过程的更多细节和代表性RobNet架构的可视化可以在附录中找到。我们将RobNet与广泛使用的人类设计架构进行了比较，包括ResNet [11]，Wide-ResNet [40]和DenseNet [12]。所有模型都是使用PGD进行对抗训练的，具有7个攻击步骤和2/255（0.01）的步长我们遵循[21]中的训练过程，并保持所有模型的其他超参数相同。数据集评价。我们首先对CIFAR-10进行了广泛的研究，以验证RobNet对黑盒和白盒攻击的有效性然后，我们将结果扩展到其他数据集，如SVHN，CIFAR-100和Tiny-ImageNet。最后，我们证明了RobNet的好处与现有技术是正交的。我们在附录中提供了ImageNet上的其他结果，以及详细的训练过程和超参数。4.2. 白盒攻击主要结果。我们在表1中显示了针对各种白盒攻击的结果。我们选择了在对抗文献中广泛使用的最先进的网络架构[21，35，41]进行比较。如表所示，与其他模型相比，RobNet家族中所有选定的模型在不同的白盒攻击下都能始终实现更高的鲁棒准确性。在我们的白盒设置中，最强大的对手是具有100次攻击迭代的PGD攻击者（即，PGD100）。当放大结果时，我们可以观察到，通过改变架构，RobNet可以改善以前的白盒攻击下的艺术从47.5%下降到52.6%。密集连接的影响。表1还揭示了关于密集连接的有趣而重要的发现。ResNet及其宽版本（WideResNet）是对抗训练中最常用的架构[21，35，41]。然而有趣的是 ， 事 实 证 明 ， 很 少 使 用 的 DenseNet 模 型 比WideResNet更强大，即使参数少得多。这些观察结果与我们以前研究很一致：密集连接模式极大地提高了模型的鲁棒性。由于RobNet家族在健壮的架构搜索过程中明确地揭示了这些模式，因此它们是一致健壮的。参数数的影响。 受计算预算发现的启发，我们试图量化不同参数数的RobNets的鲁棒性。我们比较了通过基于单元的搜索获得的具有不同大小的三个模型（即，RobNet-small、RobNet-medium和RobNet-large）。如表1所示，计算预算越大，网络鲁棒性越高，这与我们的论点一致。我们注意到RobNets的模型大小始终小于其他广泛采用的网络架构。然而，与WideResNet相比，RobNet模型的自然准确性并不令人满意。为了进一步研究网络参数的影响，我们通过增加通道和堆叠单元的数量来扩展RobNet-large模型，使其具有与WideResNet相似的大小，同时保持每个单元内的相同架构我们将这个新模型称为RobNet-large-v2。结果表明，通过增加模型规模，不仅可以增强鲁棒性，还可以显著提高自然精度。特征流引导搜索的效果。 当在鲁棒搜索期间释放基于单元格的约束我们通过比较RobNet-free的结果来证实这 一 点 ，RobNet-free 是 使 用 FSP Guided Search 获 得的，如第2节所述3.5、与638表2. CIFAR-10上的黑盒攻击结果。我们比较了两个具有代表性的RobNet架构与最先进的模型。对抗性的例子是使用基于传输的攻击对受害者网络的同一副本生成的表4.具有和不具有特征去噪的不同架构的鲁棒性比较[35]。我们证明了RobNet的优势与现有技术是正交的：当与特征去噪相结合时，RobNet可以进一步提高鲁棒性性能。模型FGSMPGD100模型自然Acc.PGD100ResNet-1856.29%54.28%ResNet-1878.38%45.10%ResNet-5058.12%55.89%ResNet-18 +去噪78.75%45.82%WideResNet-28-1058.11%55.68%RobNet-large78.57%49.24%DenseNet-12161.87%59.34%RobNet-large +去噪84.03%百分之四十九点九七RobNet-large61.92%59.58%无RobNet65.06%63.17%表3.不同数据集的白盒攻击结果我们使用两个在CIFAR-10上搜索的RobNet模型来直接对新数据集进行对抗训练我们对所有模型应用PGD100白盒攻击来评估对抗鲁棒性。模型SVHNCIFAR-100Tiny-ImageNetResNet-1846.08%22.01%16.96%ResNet-50百分之四十七点二三22.38%百分之十九点一二RobNet-large51.26%23.19%19.90%无RobNet55.59%23.87%百分之二十点八七其他基于细胞的RobNet 模型。值得注意的是，与RobNet-large-v2模型相比，RobNet-free模型的参数数量减少了6倍，4.3. 黑盒攻击我们进一步验证了RobNet家族在黑盒攻击下的鲁棒性我们遵循文献[25，21，38]中的常见设置，并应用基于传输的黑盒攻击。我们使用相同的训练设置训练受 害 者 网 络 的 副 本 ， 并 对 副 本 网 络 应 用 FGSM 和PGD100攻击来生成对抗性示例。请注意，我们只考虑最强的基于传输的攻击，即，我们对独立训练的副本使用白盒攻击来生成黑盒示例。结果示于表2中。他们发现，基于细胞和无细胞的RobNet模型在基于传输的攻击下更强大。请注意，这里的源模型与目标模型具有相同的架构，这使得黑盒对手更强大[21]。我们还研究了不同体系结构之间的迁移，并在附录中提供了相应的结果。4.4. 可转移到更多数据集到目前为止，我们的鲁棒搜索仅在CIFAR-10上执行和评估然而，鲁棒神经架构搜索的想法要强大得多：我们直接使用在CIFAR-10上搜索的RobNet家族应用于其他数据集，并证明其有效性。这种福利来自NAS的天然优势，架构可以推广到其他数据集[45，43]。我们在SVHN，CIFAR-100和Tiny-ImageNet上评估RobNet在白盒攻击下的性能，并将攻击参数设置为：总扰动为8/255（0.031），步长为2/255（0.01），总攻击迭代次数为100次。训练过程类似于CIFAR-10，我们使用7步PGD进行对抗训练。我们保持所有模型的所有训练超参数相同。表3显示了RobNet在三个数据集上的性能，并将它们与常用的架构进行了比较。该表显示了以下结果。首先，它验证了RobNet家族的有效性：在强白盒攻击下，它们一致地优于其他基线。此外，不同数据集的收益也不同。RobNets在CIFAR-100和Tiny-ImageNet，并在SVHN上获得约10%的增益。4.5. 提升现有技术由于RobNet从网络架构方面提高了模型的鲁棒性，因此它可以与现有技术无缝结合，以进一步提高对抗鲁棒性。为了验证这一优势，我们选择了特征去噪技术[35]，该技术通过在网络中添加几个去噪块来操作。我们在表4中报告了结果。 如图所示，去噪模块提高了RobNet的干净和鲁棒精度，显示了它们的互补性。此外，与ResNet-18相比，RobNet可以更好地利用特征去噪的能力，获得更大的改进差距，特别是在干净的准确性方面。5. 结论我们提出了一个强大的架构搜索框架，它利用一次性NAS来了解网络架构对对抗性攻击的影响。我们的研究揭示了设计健壮网络架构的几个有价值的观察结果。基于这些观察，我们发现了RobNet，这是一系列强大的抗攻击架构大量的实验验证了RobNet的重要性，产生了架构对网络对抗性攻击的内在影响。639引用[1] Bowen Baker 、 Otkrist Gupta 、 Nikhil Naik 和 RameshRaskar。使用强化学习设计神经网络架构。在ICLR，2017。2[2] Gabriel Bender，Pieter-Jan Kindermans，Barret Zoph，Vijay Vasudevan，and Quoc Le.理解和简化一次性架构搜索。在ICML，2018。二、三[3] 雅各布·巴克曼，奥科·罗伊，科林·拉菲尔，伊恩·古德费洛.温度计编码：这是一个抵制敌对例子的好方法。在ICLR，2018年。2[4] 韩才、闯乾、宋涵。一劳永逸：训练一个网络并使其专业 化 以 实 现 高 效 部 署 。 arXiv 预 印 本 arXiv ：1908.09791，2019。2[5] 尼古拉斯·卡利尼和大卫·瓦格纳。评估神经网络的鲁棒性。2017年2[6] Yair Carmon ， Aditi Raghunathan ， Ludwig Schmidt ，Percy Liang，and John C Duchi.未标记数据提高了对抗鲁棒性。arXiv预印本arXiv：1905.13736，2019。2[7] Jia Deng，Wei Dong，Richard Socher，Li-Jia Li，KaiLi，and Li Fei-Fei. Imagenet：一个大规模的分层图像数据库。CVPR，第248-255页，2009。2[8] Yinpeng Dong ， Fangzhou Liao ， Tanyu Pang ， HangSu，Xiaolin Hu，Jianguo Li，and Jun Zhu.以势头增强对抗性攻击。在CVPR，2018年。2[9] Ian Goodfellow、Jonathon Shlens和Christian Szegedy。解释和利用对抗性的例子。2015年，国际会议。一、二[10] 郭明昊，赵忠，吴伟，林大华，严俊杰。Irlas：用于架构搜索的反向强化学习。在CVPR，2019年。2[11] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在CVPR，2016年。二、七[12] Gao Huang，Zhuang Liu，Laurens van der Maaten，andKilian Q Weinberger.密集连接的卷积网络。在CVPR，2017年。二、七[13] Harini Kannan 、 Alexey Kurakin 和 Ian Goodfellow 。adversarial logit配对。arXiv预印本arXiv：1803.06373，2018。一、二[14] Alex Krizhevsky等人从微小的图像中学习多层特征。技术报告，Citeseer，2009年。2[15] Alexey Kurakin，Ian Goodfellow，and Samy Bengio.物理世界中的对抗性例子。在ICLR研讨会，2017年。一、二[16] Fei-Fei Li，Andrej Karpathy，and Justin Johnson.微型图像网视觉识别挑战。2[17] 纪林、闯乾、宋涵。防御性量化：当效率满足鲁棒性。arXiv预印本arXiv：1904.08444，2019。2[18] Chenxi Liu，Barret Zoph，Maxim Neumann，JonathonShlens，Wei Hua，Li-Jia Li，Li Fei-Fei，Alan Yuille，Jonathan Huang，and Kevin Murphy.渐进式神经架构搜索。在ECCV，2018。二、三[19] 柳寒笑，凯伦西蒙尼扬，杨一鸣。Darts：差异化架构搜索。2019年，在ICLR。二、三、四[20] Xin Liu，Huanrui Yang，Ziwei Liu，Linghao Song，HaiLi，and Yiran Chen. Dpatch：对对象检测器的对抗补丁攻击。arXiv预印本arXiv：1806.02299，20