7807逆鲁棒推广与平坦极小的关系David Stutz1Matthias Hein2Bernt Schiele11Max Planck Institute for Informatics，Saarland Informatics Campus，Saarbr uéck en2图宾根大学，图宾根{david.stutz，schiele}@ mpi-inf.mpg.de，matthias. uni-tuebingen.de摘要对抗性训练（AT）已经成为获得对抗性样本鲁棒模型的事实标准。然而，AT表现出严重的鲁棒过拟合：对抗性示例上的交叉熵损失，即所谓的鲁棒损失，在训练示例上连续下降，而在测试示例上甚至最终增加。在实践中，这导致较差的鲁棒泛化，即，对抗鲁棒性不能很好地推广到新的示例。在本文中，我们研究了鲁棒泛化和鲁棒损失景观在权重空间中的平坦性之间的关系4.第一章03 .第三章。53 .第三章。0二、5二、01 .一、51 .一、0鲁棒推广与平坦性当扰动权重时，鲁棒损失是否显著改变。为此，我们提出了平均和最坏情况下的指标来衡量鲁棒损失景观的平坦性，并显示良好的鲁棒泛化和平坦性之间的相关性。例如，在整个训练过程中，平坦性在过拟合期间显著降低，使得早期停止有效地在鲁棒损失景观中找到更平坦的最小值。类似地，实现更高对抗鲁棒性的AT变体也对应于更平坦的最小值。这适用于许多流行的选择，例如，AT-AWP、TRADES、MART、具有自我监督或附加未标记示例的AT自动增强、权重衰减或标签噪波。为了公平地比较这些方法，我们的平整度措施是专门设计的尺度不变，我们进行了广泛的实验，以验证我们的研究结果。1. 介绍为了获得对抗性示例的鲁棒性[56]，对抗性训练（AT）[37]使用动态生成的对抗性示例来增强训练。虽然已经提出了许多不同的变体，但已知AT需要更多的训练数据[29，49]，通常会导致泛化问题[17]。事实上，鲁棒过拟合[46]已被确定为AT中的主要问题：测试样本上的对抗鲁棒性最终开始下降，而训 练 样 本 上 的鲁棒性其他AT（基线）重量剪裁标签噪声重量衰减自我监督熵-SGD TRADESMARTAT-AWPAutoAugment+未标记Carmon etal.[7] Engstrom等人[16] Pang etal.[60]第四十三话Wong et al. [61]Wu et al.[62]Zhang et al.[72]Zhang et al.[73个国家]稳健性测试损失（RSoss）7808·0的情况。000的情况。250的情况。500的情况。751 .一、001 .一、251 .一、501 .一、75二、00（平均值-大小写）RSoss图1：鲁棒泛化和平坦性：鲁棒损失（RSoss，越低越鲁棒，y轴），即，PGD对抗性示例[37]上的交叉熵损失，与我们在权重空间中的平均情况下的平坦度流行的AT变体提高了CIFAR10上的对抗鲁棒性，例如，TRADES [72]、AT-AWP [62]、MART [60]或具有自我监督的AT[22]/未标记的示例[7]也对应于更平坦的最小图像。反之亦然，正则化显式地改善平坦性，例如，熵SGD [8]、权重衰减或权重削波[52]也提高了鲁棒性。在所有模型中，良好的鲁棒泛化和和平坦度。 、◆我们的车型，无需提前停车。▲提前停止的RobustBench [10]模型继续增加（cf。见图2）。这通常被观察为增加鲁棒损失（RSoss）或鲁棒测试误差（RErr），即，（交叉熵）损失和测试错误的对抗性的例子。结果，鲁棒泛化间隙，即，测试和训练鲁棒性之间的差异往往非常大。在[46]中，早期停止被用作避免鲁棒过拟合的简单有效策略。然而，尽管最近的工作解决了鲁棒过拟合[51，62，25]，但它仍然是一个开放且知之甚少的问题。在在自然的例子），过拟合是很好的研究，通常与重量空间中损失景观的平坦性有关，无论是视觉上[34]还是7809鲁棒损失LLL鲁棒损失10864200的情况。80的情况。60的情况。40的情况。20的情况。0鲁棒误差列车试验早期停止随机分类器局部邻域B∈（w）151050的情况。00。2040608个1. 0历元（归一化）0的情况。00。2040608个1. 0历元（归一化）-0。200。2040608 1图2：鲁棒过拟合：使用CIFAR 10上的ResNet-18，针对AT的历元（通过150个历元归一化）上的鲁棒（交叉熵）损失（RSoss）和鲁棒误差（RErr）（参见秒4），以说明鲁棒过拟合。左：训练RSoss（浅蓝色）在整个训练过程中不断减少，而测试RSoss（深蓝色）最终再次增加我们还强调，强大的过拟合不仅限于在正确分类的例子（绿色），但也影响正确分类的（玫瑰）。右：考虑到RErr，可以观察到类似的行为，但不太明显。我们还显示了通过早期停止获得的RErr（红色）。[41，28，27]通常，测试示例上的最佳权重与训练示例上的最小值不一致。平坦性确保在找到的最小值附近的邻域中损失不会显著增加。因此，平坦性导致良好的泛化，因为测试示例上的损失没有显著增加（即，小的推广差距，比照。图3，右）。[34]表明视觉上较平坦最小值对应于较好的泛化。[41]和[28]通过考虑随机[41]或“adversarial”权重扰动[ 28 ]测量最小值在最近的一项大规模实证研究中，这些措施被证明在预测泛化方面是有效的[27]，并且在训练期间明确鼓励平坦性已被证明在实践中是成功的[74，9，35，8，26]。最近，[62]将平坦最小值的思想应用于AT：通过对抗性权重扰动，AT被正则化以找到鲁棒损失景观的更平坦的最小值。这减少了鲁棒过拟合的影响，提高了鲁棒泛化能力，但不能避免鲁棒过拟合。因此，早期停药仍然是必要的。此外，平坦性仅通过视觉评估，并且仍然不清楚平坦性是否类似地，[18]表明加权平均[26]可以提高鲁棒泛化，表明平坦性通常可能是有益的。这就提出了一个问题，即其他不同的激活函数[51]或标签平滑[55]，或诸如具有自我监督的AT [22]/未标记的示例[7]的方法是成功的，因为找到了更平坦的最小值。贡献：本文研究了鲁棒损失（RSoss）在权空间中的平坦性是否能提高鲁棒推广。为此，我们提议在随机方向上步进图3：测量平面度。左：在随机（即，平均情况，蓝色）方向通过计算扰动权重之后的RSoss之间的差（即，w+v）和三点三在实践中，我们在几个随机/对抗方向上取平均值/取最差值。右：在“尖锐”最小值附近的RSoss的大变化会平均和最坏情况下的平坦度测量，从而解决了诸如尺度不变性[14]、在顶部或与权重扰动联合估计RSoss以及RSoss和RErr之间的差异等挑战。我们表明，鲁棒泛化通常与平坦度一起提高，反之亦然：图1绘制了RSoss（越低越稳健，y轴）相对于我们的RSoss中的平均情况平坦度（越低越平坦，x轴），示出了清楚的关系。与[62]相比，我们的结果表明，这种关系对于平均情况的平坦性更强。该趋势涵盖CIFAR10上的广泛AT 变 体 ， 例 如 ， AT-AWP [62] ， TRADES [72] ，MART [60]，AT with self-supervision[22]或其他未标记的示例[7，2]，以及各种正则化方案，包括AutoAugment [12]，标签平滑[55]和噪声或权重裁剪[52]。此外，我们考虑超参数，例如，学习速率调度、权重衰减、批量大小或不同的激活函数[15，39，21]，以及明确地改进平坦度的方法，例如，熵-SGD [8]或加权平均[26]。2. 相关工作对抗训练（AT）：尽管在对抗鲁棒性方面做了大量的工作，例如，参见[50，69，1，5，65]，对抗训练（AT）已经成为（经验）鲁棒性的事实标准。最初在[56，40，24]中以不同的变体提出，在[37，16]中受到相当大的关注，并以各种方式扩展：[33，7，2]利用内插或未标记的示例，[57，38]实现对多个威胁模型的鲁棒性，[54，32，64]使用拒绝选项增强AT，[67，36]使用贝叶斯网络，[58，19]构建集合，[4，13]适应每个示例的威胁模型，[61，3，47]使用单个- 步骤攻击，[22]使用自我监督和[43]另外列车试验测试（正确）测试（不正确）随机分类器平坦度L损失UST罗布LL~−HTS魏同志edUrbpertL~SS测试日志总线row+ νW横断可怕om兰德试验例损失L训练示例损失L鲁棒损失稳健误差（RErr）7810××∈∈LΣΣ∞ǁ ǁ ≤L∞正则化特征-仅举几个方向。然而，AT是缓慢的[71]并且遭受增加的样品复杂度[49]以及降低的（干净的）准确度[59，53，72，45]。此外，进展正在放缓。事实上，十五岁012个。510个。07 .第一次会议。5五、0二、5随机方向对抗性指示十五岁012个。510个。07 .第一次会议。5五、0二、5dard-1。0-0。5000。5.1. 00。000的情况。250的情况。500的情况。751. 00基准[11，10]当适当地调整超参数[42，18]时。在我们的实验中，我们考虑了几个流行的变体[62，60，72，7，22]。稳健过拟合： 最近，[46]确定了鲁棒性十五岁012个。510个。07 .第一次会议。5五、0二、5-1。0-0。5000。5.1.0步骤十五岁012个。510个。07 .第一次会议。5五、0二、50的情况。000的情况。250的情况。500的情况。751. 00步骤过拟合的一个关键问题，在AT和提出了早期停止作为一种有效的缓解策略。这促使工作[51，62]试图减轻鲁棒过拟合。而[51]研究了不同激活函数的使用，[62]提出了具有对抗性权重扰动的AT（AT-AWP），其明确旨在找到更平坦的最小值以减少过拟合。虽然结果令人鼓舞，但仍有必要尽早停止。此外，平坦度仅在视觉上评估，留下开放AT-AWP是否实际上改善了对抗权重方向上的平坦度我们考虑平均和最坏情况的平坦度，即，随机和对抗性权重扰动来回答这个问题。损失景观中的平坦极小值，w.r.t.一般认为，权重的变化会改善标准化[23]。[34]显示ResNets [20]中的残余连接或权重衰减导致视觉上更平坦的最小图像。[41，28]根据平均情况和最坏情况的平坦度来形式化平坦度的概念。[28，27]示出了最坏情况的平坦度与更好的泛化良好相关，例如，对于小批量，而[41]认为，可以使用平均情况下的平坦性度量和适当的容量度量来解释类似地，批量归一化被认为是通过允许找到更平坦的最小值来提高泛化能力[48，6]。这些见解已被用于显式正则化平坦度[74]，改进半监督学习[9]并开发新的优化算法，如Entropy-SGD [8]，局部SGD[35]或加权平均[26]。[14]，相反，批评这些平坦性措施中的一些不是尺度不变的。我们转移到强大的损失景观平坦的直觉，平坦度是理想的对抗鲁棒性，同时使用尺度不变的措施。3. 鲁棒推广与平坦极小我们在权重空间中鲁棒损失景观平坦的背景下研究鲁棒泛化和过拟合，即，w.r.t.重量的变化。虽然平坦最小图像一直与标准泛化有关[23，34，41，28]，但这种关系对于对抗鲁棒性仍然不清楚。我们首先简要介绍鲁棒过拟合现象（Sec. 第3.1节）。然后，我们讨论了视觉判断平坦度的问题[34]（第2节）。3.2）。因此，我们受到[28，41]的启发，并根据ro的变化引入平均和最坏情况的平坦度测量图4：可视化平面度：跨10个随机或对抗方向的RSoss景观。顶部：我们的AT基线（ResNet-18）和缩放变体（2和0。（五）。使用较小的批量或Adam [30]进行训练可以提高对抗鲁棒性（较低的RErr与AutoAttack[11]），但不会导致视觉上更平坦的最小值。底部：AT-AWP [62]或Entropy-SGD [8]提高了随机方向上的鲁棒性和视觉平坦度然而，在对抗方向上，AT- AWP看起来非常犀利.总的来说，目视检查不能提供清晰、客观的平整度图像。在局部邻域中沿着随机或对抗性权重方向的胸围损失（Sec. 3.3），参见图三.我们还讨论了平坦性与Hessian本征谱的联系[66]以及[14]中概述的标度不变性的重要性。3.1. 背景对抗训练（AT）：设f是一个以x为输入的（深度）神经网络[0，1]D和权重wRW和预测标签f（x; w）。 给定真实标签y，一个额外的示例是扰动x~=x+δ，使得f（x~;w）y. 扰动δ旨在是几乎不可见的，这在实践中使用Lp约束来强制：δ ρε。为了获得对这些扰动的鲁棒性，AT在训练期间注入对抗性示例minwEx，ymaxδp≤L（f（x+δ;w），y）（1）其中表示交叉熵损失。外部最小化问题可以使用小批量上的规则随机梯度下降（SGD）来解决。 为了计算对抗性示例，内部最大化问题使用投影梯度下降（PGD）[37]来解决。这里，我们关注P= P，因为这约束了每个特征/像素的最大变化，例如，在CIFAR 10上为8/255。对于评估（在测试时），我们考虑使用PGD近似的鲁棒损失（RSoss）maxδ≤（f（x+δ;w），y）和使用AutoAttack近似的鲁棒测试误差（RErr）[11]。请注意，当发现敌对示例时，AutoAttack停止，并且不会使交叉熵损失最大化，从而使其不适合估计RSoss。稳健过拟合：在[46]之后，图2说明了鲁棒过拟合的问题，绘制了历元上的RSoss（左）和RErr（右），我们通过总的归一化平均RSoss平均RSoss最差RSoss最差RSoss模型RErr↓AT（基线）·62.862.862.859.858.257.5缩放×0。5·缩放×2·米希·批量8·亚当·标签平滑·61.26158.657.156.754.3MART·熵-SGD·自我监督·交易·AT-AWP·7811AT（基线）MART全部正确不正确∈（l）∈ −分类错误的例子1086标签平滑和噪波4323 .第三章。0二、5二、0避免/减少过拟合二、5二、01 .一、51 .一、0超参数的影响4.第一章03 .第三章。53 .第三章。0二、5学习率计划0的情况。00。2040608个1. 04070的情况。620的情况。501 .一、51 .一、00的情况。50的情况。80的情况。70的情况。60的情况。50的情况。40的情况。00。2040608个1. 0AT-AWPξ =0 。AT-AWPξ =0 。AT-AWPξ =0 。01二、01 .一、51 .一、00的情况。50的情况。00的情况。00。2040608个1. 0历元（归一化）0的情况。00的情况。20的情况。40的情况。60的情况。81.一、0历元（归一化）0的情况。00。2040608个1. 0历元（归一化）0的情况。00的情况。20的情况。40的情况。60的情况。81.一、0历元（归一化）0的情况。00。2040608个1. 0历元（归一化）图5：理解稳健过拟合：在（标准化）时期上绘制的训练曲线，参见第二节。3.4详细讨论。第一列：对于AT和MART，正确/不正确测试示例的RSoss，分裂，这成功地抑制了使用对不正确分类的示例的加权损失的过拟合的影响。第二列：标签平滑和标签噪声都RSoss。然而，RSoss的减少并不转化为RErr的类似减少。第三至第五列：RSoss（测试实体和训练点），用于各种方法，提高对抗鲁棒性和不同的学习率时间表。虽然一些方法完全避免了鲁棒的过拟合（例如，AT-AWP）、其他（例如，重量衰减）仅仅减少其影响（第三列）。但成功在很大程度上取决于超参数（第四列）。使用所有测试的学习率时间表（第五列）发生鲁棒过拟合，确认[46]。为了清楚起见，使用了多个时期。在第一学习速率下降之后不久（在时期60，即，40%的训练），测试RSoss和RErr开始显著增加，而训练示例的鲁棒性鲁棒过拟合跨模型的型坯。我们遵循[62]并执行每层归一化：令νRW是权重空间中的方向，其被归一化为ν（l）被证明是独立的学习率sched- ule [46]和，正如我们所示（Sec.4.1），发生在各种-ν（l）=v（l） 层l 的w2 。（二）各种不同的激活功能以及许多流行的AT变体。与[46]相反，主要集中在RErr，图。2表明，RSoss过拟合更严重，表明RSoss和RErr之间的目前，RSoss和RErr显然没有“并行”移动这主要是由于在错误分类的测试示例（其是“微不足道的”对抗示例）上的极高的RSoss。然而，我们强调，鲁棒过拟合也发生在正确分类的测试示例上。3.2. 直觉与平面视觉化为了判断鲁棒平坦性，我们考虑如何RSoss变化w.r.t.权重w中的随机或对抗性扰动。通常，我们期望更平坦的最小值更好地生成，因为损失在最小值周围的小邻域内没有显著变化，即，找到的重量。然后，即使测试示例上的损失景观与训练示例上的损失景观不一致，损失仍然很小，确保良好的泛化。相反的情况，即 ， 图12说明了这 种 尖 锐 最 小 值 概 括 性 较 差 。 3（右）。在考虑测量平坦性之前，我们讨论了“判断”平坦性的最简单方法在[34]中，损失景观沿着归一化的随机方向可视化。归一化对于处理不同的尺度是重要的，即，重量分布，并允许COM-与[34]相比，我们还考虑了偏差并将其视为单个层，但我们排除了批量归一化参数。然后，损失景观沿 着 该 方 向 以 离 散 步 骤 可 视 化 ， 即 ， w+sνfors[1 ， 1] 。 对 抗 性 示 例 是 “ 即 时 ” 计 算 的 对 于 每 个w+sννindi vidually， 以避免如[68，44]中那样低估RSoss结果确实是尺度不变的：图4（顶部）显示了缩放版本（因子）的损失情况0的情况。5或2，见补充材料），我们的AT基线与原始景观一致。但是图图4还示出了视觉上判断平坦度是困难的：考虑到随机权重方向，具有Adam [30]或小批量的AT提高了对抗鲁棒性，但发现的最小值看起来不那么平坦（顶部）。对于其他方法，例如，TRADES[72]或AT-AWP [62]，结果看起来确实更平坦，同时也提高了鲁棒性（底部）。相比之下，在对抗方向上，AT-AWP看起来特别尖锐。此外，不仅平坦度而且损失景观的垂直3.3. 平均和最差情况平整度测量为了客观地测量和比较平坦度，我们从[41，28]中获得灵感，并提出了适应鲁棒损失的平均和最坏情况的平坦度度量我们强调，测量RSoss中的平坦度是不平凡的，并且不能期望（干净）Loss中的平坦度与鲁棒性相关（参见补充材料）。例如，我们需要确保尺度不变性[14]并在随机或对抗性权重扰动的基础上估计RSoss=0。3零ττ=0。1τ=0。3贝尔斯莫贝尔噪声La啦啦=0。1e）零τT（基线标准一Laξ =0。01T-AWP一ξ =0。001ξT-AWPAA权重衰减自我监督熵-SGDAutoAugment+无标签交易测试火车RSossAT（基线）“晚期”多步恒定学习率学习率0。2循环试验列车RSossRErrRSossRErrRSossRSoss7812∈××Σǁє4.第一章03 .第三章。53 .第三章。0二、5二、01 .一、51 .一、00的情况。50的情况。0整个培训过程中的3 .第三章。53 .第三章。0二、5二、01 .一、5最差平面度3 .第三章。53 .第三章。0二、5二、01 .一、5平均平整度二、01 .一、91 .一、81 .一、71 .一、61 .一、5自我监督1 .一、81 .一、71 .一、61 .一、51 .一、41 .一、3AT-AWP1 .一、71 .一、61 .一、51 .一、41 .一、31 .一、20的情况。0 0。2040608个1.0历元（归一化）0 24最差平面度0 1 2平均平整度0 12平均平整度0 12平均平整度0 1 2平均平整度图6：整个训练过程中的平坦度。左：在整个训练过程中的RSoss中的平坦度，示出当模型过拟合时平坦度降低（即，测试RSoss增加，而训练RSoss减小）。中间：测试RSoss（y轴）针对训练期间RSoss（x轴）的平坦度绘制（深蓝色的早期时期，暗红色的晚期时期），对于平均和最差情况的平坦度两者，显示出明显的相关性。右：具有自我监督的AT减少了鲁棒过拟合的影响（RSoss增加较少），同时有利于更平坦的最小值。这种行为对于AT-AWP是明显的，显式优化平坦性，并且AT具有额外的未标记示例，通常导致最高的对抗鲁棒性，参见。选项卡.1.一、平均情况/随机平坦度：考虑w的邻域内的随机权重扰动ν B（w），平均情况下的平坦性计算为：3.4. 讨论在平坦性的背景下，也有一些关于Hessian特征值Eν[maxǁδǁ∞≤єL（f（x+δ;w+v），y）]（三）[34，66]以及关于平坦度测量的尺度不变性的关注[14]。第一，关于黑森Maxδǁ∞≤є L（f（x+δ;w），y）特征谱，[66]表明大海森特征值表明对抗鲁棒性差。然而，Hessian在测试实例x、y上求平均，如图1所示3 .第三章。我们使 用 每 层 的 相 对 L2- 球 来 定 义 B （ w ） （ 参 见 当 量（2））：Bξ（w）={w+v：ξν（l）ξ2≤ξw（l）ξ2layersl}。（4）这确保了相对于r.t. 权重为Bξ（w）按层缩放权重。 注意到第二项在Eq. ⑶，即，“参考”鲁棒损耗，对于使测量独立于绝对损耗是重要的对应于图1中的垂直移位。4，左）。在实践中，k可以大到0。五、我们参考Eq。（3）作为RSoss中的平均情况平坦度。最差情况/对抗性平坦度：[62]显式地优化了对抗权重方向上的平坦度，并表明平均情况下的平坦度不足以提高对抗鲁棒性。由于尚不清楚[62]是否实际上改善了最坏情况的平坦度，我们定义特征值通常不是尺度不变的（这在[66]中得到了确认）：我们的AT基线具有1990的最大特征值，当放大模型时，其减小到505，当缩小模型时，其增大到7936，而不影响鲁棒性（参见[66]）。 0的情况。图5和图4中的2）。我们还发现，最大的特征值是不相关其次，遵循类似的思路，[14]批评[41，28]的平坦性度量不是尺度不变的。也就是说，通过巧妙地缩放权重，在不改变预测的情况下，可以“产生”任意平坦度值。然而，[14]中的分析没有考虑[28]中定义的相对邻域，这使得测量显式地具有尺度不变性。这也适用于我们在等式中对Bξ（w）的定义。（4）如图所示。4其中相对于权重（每层）执行归一化;经验验证Maxν∈Bξ（w）Maxδǁ∞≤L（f（x+δ;w+ν），y）（五）在补充材料中可以找到。4. 实验列车RSoss测试RSoss最大特征值（·103）平均平坦度Rloss最差平坦度Rloss提前停止+未标记5152535455565758595105115125135145150R损耗/平整度RSossRSoss-7813Maxδǁ∞≤є L（f（x+δ;w），y）我们首先仔细研究了鲁棒过-作为RSoss中的最差情况平坦度。在这里，我们使用与上面相同的Bξ（w）的定义（与[62]对齐），但是ξ的值较小。关于标准性能，这种最坏情况下的平坦度概念已被证明是泛化的可靠预测因子[27，28]。为了计算Eq.（5）在实践中，我们使用PGD对ν和δ（单独地针对每个批次）进行联合优化如示于图4.甚至对于非常小的ξ值，例如，ξ= 0。005。配件（第4.1，图5）。然后，我们展示了良好的鲁棒泛化和平坦性之间的强相关性（Sec. 4.2）。例如，鲁棒过拟合导致更尖锐的最小值（图1）。（六）。更重要的是，更鲁棒的模型通常会找到更平坦的最小值，反之亦然，鼓励平坦性的方法可以提高对抗性鲁棒性（图2）。第7、8段）。事实上，平坦度通过降低鲁棒泛化间隙（包括鲁棒过拟合的减少，参见图第9段）。-78144.第一章03 .第三章。53 .第三章。0二、5二、01 .一、5超参数平面度0的情况。2040608个1. 0个1.21. 4RSoss中的平均情况平面度图7：超参数的平面度：RSoss（y轴）与用于所选方法和超参数的平均情况平坦度（x轴）（参见图1）。补充材料）。例如，我们考虑不同的权重衰减强度（玫瑰色）或针对AT-AWP的对抗性权重扰动的大小ξ（橙色）。为清楚起见，我们绘制了表示每种方法趋势的（点）线显然，改进的对抗鲁棒性，即，低RSoss与改善的平坦度有关。设置：在CIFAR 10 [31]上，我们的AT基线使用ResNet- 18 [20]，并训练了150个epoch，批量大小为128，学习率为0。05，减少了0倍。1在60，90和120个时期，使用权重衰减0。005和动量0。9、标准SGD。我们使用随机翻转和裁剪作为数据增强。在训练过程中，我们使用7次迭代PGD，学习率为0。007，有符号梯度，并且对于L∞对抗示例，ε=8/255PGD-7还用于在最后500个测试示例上的早期停止（每第5个时期）。默认情况下我们不使用提前停止。对于前1000个测试示例的评估，我们运行PGD20次迭代，10次随机重启以估计RSoss和AutoAttack [11]以估计RErr（参见。秒第3.1节）。对于RSoss的平均情况平坦性，我们取ξ =0的10个随机权重扰动的平均值。五、对于最坏情况的平坦性，我们在对抗性示例和对抗性权重上联合最大化Rloss，其中ξ=0。00075，采取最坏的10次重新启动。方法：除了我们的AT基线外，我们还考虑了AT-AWP [63]，TRADES [72]，MART [60]，AT与自身对照。监督[22]或另外的未标记的示例[7，2]、加权平均[26]和具有“提前停止的”PGD的AT我们研究了最近在[42，18]中研究 的不同超参 数和作为 SiLU/Mish/GeLU[15，39，21]激活函数。此外，我们考虑了熵SGD[8]，标签噪声，权重裁剪[52]和AutoAugment [12]。我们强调，重量平均，熵SGD和重量剪辑平是已知的，以改善平坦度的（干净的）损失。如果没有另外说明，这些方法应用于我们的AT基线之上或作为我们的AT基线的替代。我们报告的结果，使用最好的超参数每种方法。最后还表1：耐用性和平整度，定量结果：测试和训练RErr（第一列、第二列、第五列提前停车）以及平均/最差情况平整度在选定方法的RSoss（第三、第四列）中，参见见图8。我们使用30%和70%百分位数将方法分为良好，平均和较差的鲁棒性。大部分冰毒-ods提高了对抗鲁棒性以及平均和最差情况下的平坦度。使用来自RobustBench [10]的预训练模型，这些模型是使用早期停止获得的。我们的补充材料包括关于实验装置和评估方法的更多此外，它包含关于我们的平均和最坏情况的平坦度测量的消融以及用于各个方法的超参数消融，包括训练曲线。4.1. 理解鲁棒过拟合与相关工作[46，62]相比，我们在鲁棒过拟合期间仔细研究了RSoss，因为RErr对RSoss的许多改进都是“盲目的”，特别是在错误分类的图5示出了各种方法的训练曲线（归一化）历元上的RSoss/RErr。例如，在训练期间使用MART显式地处理错误分类的示例，有助于但不能防止过拟合：与AT（第一列）相比，MART的RSoss减少不幸的是，这种改进并没有转化为显著更好的RErr，参见图1。选项卡. 1.一、RSoss和RErr之间的这种差异也可以针对其他方法再现：标签平滑和标签噪声在预期中强制相同的目标分布。因此，两者都降低了过拟合期间的RSoss（第二列，顶部，玫瑰色和深绿色）。然而，标签平滑不像标签噪声那样显著地改善RErr，即，不能防止错误分类。这说明了一 个重 要方 面： 针 对对 抗性 示 例，“ 仅 仅 ” 改 善RSoss 并不AT（基线）标签噪声τ =0。1标签噪声τ =0。2标签噪声τ =0。3标签噪声τ =0。4标签噪声τ =0。5重量衰减0. 001重量衰减0。005重量衰减0。01重量衰减0。05自我监督λ=1自我监督λ=2自我监督λ=4自我监督λ=8交易λ=1交易λ=3交易λ=6交易λ=9AT-AWP ξ =0 。AT-AWP ξ =0 。AT-AWPξ =0 。01RSoss（PGD）模型稳健性↓平面度↓早停。（按asc排序）通过测试RErr）（70%/30%百分位数）RErr（测试）RErr（火车）Avg（R损失）最糟糕（R损失）RErr↓（早停）+未标记48.943.2（-5.7）0.321.2048.9（-0.0）环状53.635.4（-18.2）0.351.50）53.6（-0.0）AutoAugment54.047.9（-6.1）0.490.6953.5（-0.5）AT-AWP54.343.1（-11.2）0.352.6853.6（-0.7）标签噪声56.230.0（-26.2）0.330.93）55.5（-0.7）权重裁剪56.539.0（-17.5）0.414.5756.5（-0.0）交易56.715.8（-40.9）0.572.2553.4（-3.3）自我监督57.145.0（-12.1）0.332.6356.8（-0.3）权重衰减58.132.8（-25.3）0.503.9354.8（-3.3）熵-SGD58.646.1（-12.5）0.281.8056.9（-1.7）MiSH59.85.3（-54.5）1.563.5453.7（-6.1）“Late”59.818.4（-41.4）0.802.9657.8（-2.0）丝路60.05.6（-54.4）1.714.2053.7（-6.3）7815-≈∼≈七十0RErr与RSossRSoss与RSoss中的0的情况。700RSoss中的RErr与平均情况平坦度RSoss与最差情况下的RSoss67岁54.第一章00的情况。6754.第一章0六十五062. 5六十岁。03 .第三章。53 .第三章。00的情况。6500的情况。6250的情况。6003 .第三章。53 .第三章。0五十七5二、50的情况。575二、555. 052岁550块0二、01 .一、50的情况。5500的情况。5250的情况。500二、01 .一、51 .一、5二、0二、53 .第三章。03 .第三章。54.第一章0RSoss（PGD）0的情况。0 0。5.1. 0个1. 52. 0秒2. 5RSoss中的平均情况平面度0的情况。0 0。5.1. 0个1. 52. 0秒2. 5RSoss中的平均情况平面度0的情况。0 0。10.2030405RSoss中的最差情况平面度图8：耐用性和平整度：左：相对于RSoss绘制的RErr，显示对于大的RSoss，改善的RSoss不直接转化为降低的RErr。在这些情况下，降低RSoss主要意味着降低对抗样本的置信度，这对于提高对抗鲁棒性是必要的中间：相对于我们的平均情况下的RSoss平坦度绘制的RSoss或RErr（y轴）我们突出显示选定的模型，如Tab. 1.一、考虑到RSoss，我们揭示了对抗鲁棒性和平坦性之间的惊人相关性。改进鲁棒性的流行AT变体（例如，TRADES、MART等）也对应于较平坦的最小值。反之亦然，改善平坦度的方法（例如，熵-SGD、权重衰减等）通过AT获得改进鲁棒性。受制于RErr和RSoss之间的非平凡相互作用（参见左），使用RErr来量化鲁棒性也可以看到右图：相对于最差情况平坦度（x轴）绘制的RSoss（y轴）显示了不太清楚的关系。尽管如此，改进的平坦度仍然是更好的鲁棒泛化的必要条件，见第2节。4.2讨论如果RSoss开始时很高，则转换为改进的RErr，即，“高于”ln（1 / K）2。3，K=10类。然而，这通常是在鲁棒过拟合期间的情况。另一方面，RErr不考虑错误预测的置信度，即，这些RSoss改善是“盲目的”。相比之下，标签噪声也改善了RErr，这可能是由于额外的随机性。与已建立的方法类似，许多“简单”正则化方案在解决鲁棒过拟合方面证明是惊人有效的。例如，强权重衰减延迟鲁棒的过拟合，并且AutoAugment完全防止过拟合，参见。图5（第三列）。这表明流行的AT变体，例如，TRADES，具有自我监督或未标记示例的AT，通过正则化避免鲁棒过拟合来提高对抗鲁棒性。这是通过防止训练示例（虚线）的收敛来实现的。然而，在正则化中，超参数起着关键作用：如果正则化“太弱”（蓝色，第四列），即使AT-AWP也不能防止鲁棒的这在RSoss（顶部）方面尤其突出。最后，学习速率表在如何以及何时发生鲁棒过拟合方面发挥着重要作用（第五列）。然而，与[46]中一样，所有时间表都受到鲁棒过拟合的影响。4.2. RSoss中的鲁棒推广与平坦性由于鲁棒过拟合主要是通过强正则化来避免的这些平坦的最小值有助于提高鲁棒泛化。RSoss中的平坦性“解释”了过拟合：使用我们的平均和最坏情况下的平坦度的措施，在RSoss，我们发现，平坦度显着降低鲁棒过拟合。也就是说，平坦度图6个（左）图RSoss，旁边是平均和最坏情况下的平坦度以及我们的AT基线的整个训练过程中的最大Hessian特征值显然，一旦鲁棒过拟合发生，平坦度就随着（测试）RSoss而增加。注意，最佳时期是60，意味着0。4（黑色点）。为了进一步说明，图图6（中间）明确地绘制了跨时期（深蓝色到暗红色）的RSoss（y轴）相对于RSoss（x轴）中的平坦度：对于平均平坦度和最坏情况平坦度两者，在过拟合期间，RSoss和平坦度明显地彼此“并排”恶化。诸如具有自我监督的AT、 AT-AWP或具有未标记示例的AT等方法避免了鲁棒过拟合和尖锐最小图像（右）。这种关系推广到这些方法的不同超参数选择：图7绘制了Rloss（y轴）对跨不同超参数的平均情况平坦度（x轴）。再次，例如，对于TRADES或AT-AWP，具有较低RSoss的超参数也对应于平坦的最小值。事实上，Fig。图7表明鲁棒性和平坦性之间的联系也在不同的方法（和单个模型）中推广。通过平整度提高稳健性：事实上，在所有训练的模型中，我们发现鲁棒泛化和平坦性之间存在很强的相关性，使用RSoss作为鲁棒泛化的度量。如第4.1中，我们主要考虑RSoss来评估稳健的一般化，因为RSoss的改善高于2。平均而言，3对RErr的影响很小。将Rloss推到2以下。相反，3直接转化为更好的RErr。这示于图8（左）绘制RErr与所有评估模型的RSoss。为了避免在RSoss 2周围的红色虚线中出现这种“扭结”。在图3中，图8（中左）绘制了RSoss（y轴）相对于RSoss中的平均情况平坦度（x轴），突出显示了所选模型。这揭示了鲁棒性和平坦度之间的清楚的相关性：具有未标记示例的AT或AT-AWP，对应于其他AT（基线）较大的∠=9/ 255权重裁剪标签平滑标签噪声重量衰减重量平均自我监督熵-SGDTRADES MARTAT-AWPAutoAugment+未标记SiLUMiSHGeLURErr（自动攻击）RSoss（PGD）RErr（自动攻击）RSoss（PGD）7816测试-系列RSoss（PGD）最后-最佳RSoss（PGD）≈−4.第一章0训练实例4测试-列车RSoss二、54.第一章03 .第三章。53 .第三章。0二、5二、01 .一、532Carmon等人[7]Engstrom等人[16]Pang et al. [四十三][60]第六十话Wong et al. [61]Wu et al.[62]Zhang et al. [72个]0Zhang et al. [73个国家]二、01 .一、51 .一、00的情况。50的情况。03 .第三章。53 .第三章。0二、5二、01 .一、50 2 4 6 810R损失中的平均情况平坦度0的情况。0 0。5.1. 0个1. 52. 0秒2. 5RSoss中的平均情况平面度0的情况。0 0。5.1. 0个1. 52. 0秒2.5RSoss中的平均情况平面度0的情况。000的情况。250的情况。500的情况。751 .一、001 .一、251 .一、501.一、75RSoss中的平均情况平面度图9：鲁棒泛化和早期停止。左：绘制的RSoss与在训练示例上测量的平均情况平坦度。即使在训练示例中，平坦度也是鲁棒泛化的良好指标。中间：鲁
我的内容管理
展开
