批量规范化对抗性特征的影响及转移性分析

7818批量规范化增加了对抗性脆弱性并降低了对抗性可转移性：非鲁棒特征透视图菲利普·本茨*pbenz@kaist.ac.kr张朝宁*chaoningzhang1990@gmail.com在素桂iskweon77@kaist.ac.kr韩国科学技术高等研究院（KAIST）摘要批量归一化（BN）由于改进的收敛性而被广泛用于现代深度神经网络（DNN）中。观察到BN增加了模型的准确性，同时以对抗性鲁棒性为代价ML社区越来越关注BN对DNN的影响，特别是与模型鲁棒性相关的影响。这项工作试图从非鲁棒特征的角度来理解BN对DNN的影响简单地说，改进的准确性可以归因于有用特征的更好利用。目前还不清楚BN是否主要倾向于学习鲁棒特征（RF）或非鲁棒特征（NRF）。我们的工作提供了支持BN将模型转向更依赖于NRF的经验证据为了便于分析这样一个功能的鲁棒性转变，我们提出了一个框架，解开强大的有用性的鲁棒性和有用性。在所提出的框架下的广泛分析产生了关于DNN行为的鲁棒性的有价值的见解，例如。DNN首先主要学习RF，然后学习NRF。RFs比NRFs传输更好的见解进一步激发了简单的技术来加强基于传输的黑盒攻击。1. 介绍批量归一化（BN）[18]已被认为是深度神经网络（DNN）开发中的里程碑技术，由于改进的收敛性而推动了计算机视觉的前沿许多工作试图从各种角度理解BN对DNN的影响与以前的工作相比，研究BN为什么（或如何）有助于优化[31，1]，我们的工作重点是这种增强的优化的后果我们的工作不是第一个一起研究BN和鲁棒性以前的大多数*同等贡献图1.用代表稳健有用性的球颜色解开F有用性和稳健性的示意图，即颜色越深，越有用。球大小表示有用性，而红线划分RF和NRF。工作集中在协变量转移[3，33，43，42]。例如，[3]采用BN统计来提高模型对常见损坏的鲁棒性。相反，我们的工作研究BN专注于其对抗鲁棒性的影响，从非鲁棒性的特征的角度来看。我们在表1中的多个数据集上评估了具有和不具有BN的模型的行为。正如预期的那样，BN提高了清洁精度，即清晰图像的准确性。然而，这是以较低的鲁棒精度为代价的，即.对抗图像的准确性[35]。简单地说，DNN可以被视为一组有用的特征，由鲁棒特征（RF）和非鲁棒特征（NRF）组成[17]，并且改进的准确性可以粗略地解释为BN促进利用更有用的特征。然而，目前还不清楚BN是否主要倾向于学习RFs或NRFs。我们的实证研究表明，BN和其他标准化变体都增加了标准训练中的对抗脆弱性，这表明BN将模型转向依赖7819更多地使用NRF而不是RF进行分类。我们的主张是进一步证实了腐败的鲁棒性和功能可转移性的分析在以上经验证据支持我们的主要主张的情况下，BN使模型朝向更依赖于NRF转变，定义和测量这样的特征鲁棒性转变仍然是必要的但非平凡的。受[17]的启发，使用定义为特征集F的分类器DNN，我们提出了一个框架，如图1所示，用于将F鲁棒有用性分解为F鲁棒性和F有用性。接下来[17]，F有用性和F稳健有用性可以分别通过清洁准确性和稳健准确性来测量。F有用性可以被视为总有用特征的量，由球尺寸指示，并且F稳健性指示RF与NRF的比率（参见图1）。从概念上讲，F鲁棒性与F有用性正交。我们的特征分析框架与[17]中的特征分析框架之间的核心区别在于解纠缠的F鲁棒性，其可用于测量BN将模型向NRF偏移多少。然而，在实践中，很难直接测量F鲁棒性。受[26，28]的启发，证明了鲁棒性和局部线性之间的正相关性，我们提出了一种称为局部输入梯度相似性（LIGS）的度量（见第二节）。4），测量DNN的局部线性度作为F鲁棒性的指标诚然，比较清洁精度和鲁棒精度也揭示了F鲁棒性的一些光，然而，它们受到有用性维度的严重影响。测量LIGS提供了关于BN如何影响学习的F的鲁棒性的直接证据，这有助于在上述框架下进行分析。这样的分析产生关于DNN行为的关于鲁棒性的洞察在正常数据集上，将BN（或IN/LN/GN）引入DNN始终降低F鲁棒性，这自然解释了它们引起的较低鲁棒准确性。我们研究并比较了在主要具有RFs或NRFs的数据集上训练的模型的行为，这表明NRFs很难学习w/oBN，这表明BN对于学习NRFs至关重要对具有冲突标签提示的RF和NRFs的数据集的进一步研究表明，模型首先学习RF，然后学习NRFs，并且先前学习的RF可以部分被遗忘，而模型在后期学习NRFs。所提出的框架不仅限于分析BN的影响，我们还分析了其他网络结构和优化因素。有趣的是，我们发现，他们中的大多数没有显着的影响F的鲁棒性所示的LIGS度量，离开BN（和其他归一化的变种）在我们的调查因素作为唯一的一个有显着的影响向更多的NRFs的转变我们的关键发现的一个实际我们证明了一个替代模型w/o BN优于其对应的BN和提前停止的替代模型的训练也可以提高可转移的攻击。表1. 具有和不具有BN的模型的准确度和稳健性比较。[11]也有类似的现象。网络访问PGD12 PGD1∞ CW12 CW1∞0的情况。251/255 0。25 1/25571 .第71章我的世界5915551. 七九十六660。2373.第73章我的世界37六、040. 556. 820 0272 .第72章我的世界3816. 522. 十八十七4603074.第74章我的世界24六、940697. 660。0366 .第66章我的世界5130四四一二十四点三十分430. 9370.第70章大结局5016790。十四十七4000771 .第71章我的世界6028002. 十七二十八260 8876.第76章大结局5419.50053201901995 .第95章我的世界4263.918320 64六四八十三24第96章. 2751227750 51 13776195 .第95章我的世界七六六二24 82七六 六二9782 92第96章. 4352 908024528879 9390 .第90章我的世界0651. 30704751 7570 40第92章. 四十八三十九31638739.0463. 8591 .第91章我的世界8934.0163. 18343763.4693.第93章我的天728岁 61560524.0154. 5892 .第92章我的世界15292449三十三十七0949. 2495.第95章我的世界69. 十五三十六378.七二三六642. 相关工作对抗性脆弱性和可转移性。对抗性示例[35，15]在机器学习中引起了极大的关注，这引起了对提高模型鲁棒性的关注[5]。对抗性脆弱性的原因已经从不同的角度进行了探索，例如局部线性[15]，输入高维[14，34，25]，有限样本[32，36]，边界倾斜[36]，噪声中的测试误差[10，13，6]等。对抗性脆弱性的原因最近被归因于高度可预测但脆弱的NRF [17]. [17]提出了一个特征分析框架，讨论了特征有用性和鲁棒有用性，分别可以通过（干净）准确性和鲁棒准确性来衡量。尽管努力弥合它们之间的差距[48]，但人们普遍认为它们之间存在权衡[38]。我们的框架提出了另一个维度的功能鲁棒性，是正交的功能有用性。另一方面，对抗性示例的一个有趣的特性是它们的可转移性，即在替代模型上生成的对抗性示例也经常有效地攻击 未知目标模型[21]。作为对现有技术的补充[8，44，9]，我们从NRF角度的发现导致了提高可转移性的简单技术。批处理标准化和超越。自BN [18]问世以来，已有许SVHNCIFAR10ImageNet7820多著作从不同的角度对其进行了研究。BN沿批次维度执行归一化以减少协变量偏移，从而改善收敛性[18]。批量统计的随机性也可以作为正则化器并提高泛化能力[23]。然而，批处理依赖性的性质限制了ap-7821X X →·≥Dδ表2.各种归一化技术对准确性（左/）和鲁棒性（/右）的影响数据网络无BN IN LN GN95.happiness 42/6391九十六。27/51。22九十五89/4582九十六。29/56。77九十六。30/563795.happiness 76/6224九十六。43/5290九十六。64/47。43九十六。18/5955九十六。21/59。50VGG11九十06/51。3092. 48/393188岁42/3138九十决议54/42。41九十第68/39号决议。43CIFAR10 VGG1691. 89/3402九十三70/2861九十73/134492. 51/28.9292. 83/2673ResNet5092. 15/2924九十五六成九15九十三四成80九十37/7。2492. 六分之一43ImageNetResNet1866岁。51/3044七十一半对一半7963岁14/14。2968岁36/1972 69岁。02/19. 76ResNet50七十一六成二八00七十六。决议54/19。5067岁97/13.65七十一08/17. 3874岁69/20。34当大批量不切实际[2]或存在域变化[29]时，BN的可折叠性。为了避免这种与批量维度相关的问题，已经提出了几种替代的归一化技术来利用通道维度，例如变换器中的层归一化（LN）[2]和样式传输中的实例归一化 （ IN ） [39]LN 和 IN 可 以 看 作 是 [41] 中 群 正 规 化（GN）的两个特例。作为对[11]显示BN增加对抗脆弱性的补充，我们的工作发现LN/IN/GN反映了相同的趋势。最近，谢等。表明BN可能会阻止模型在对抗训练中包含干净的示例时获得强大的鲁棒性，这是由于两域假设[43]，并且对抗示例的辅助批量范数的使用可以提高图像识别[42]。在[19]中采用了类似的方法用于对抗性对比学习。工作集中在NRF的角度。RF与NRF。特征是计算机视觉中的一个关键概念，过去几年见证了从手工制作的特征[22，7]到DNN本质上提取特征[20，16]的转变。尽管对DNN的工作原理有不同的解释，但有一种观点认为，分类DNN可以被视为利用有用特征的函数[17]。具体来说，[17]定义了一个特征是从输入空间映射的函数到实数，即 f：IR。一个特征f是ρ-有用的（ρ>0），如果它与期望中的真实标签相关，即IE（x，y）D[yf（x）] ρ。给定ρ-有用特征f，鲁棒特征（RFs）和非鲁棒特征（RFs）分别被定义为：特征（NRF）的正式定义如下：• RF：特征f是鲁棒的，如果存在γ>0，则其在一些指定的有效集合下是γ鲁棒有用的。最近[3，33]表明，在推理阶段的协变量移位自适应可以增强对常见的扰动∆，即IE（x，y）[inf∈∆（x） y·f（x+δ）] ≥γ。腐败3. 射频与NRFs：国阵支持哪一方？3.1. 背景和动机原因vs效果BN [18]由于其改进的收敛性而被广泛采用，并且社区试图了解BN如何帮助优化。BN首先被激励以减少内部协变量偏移（ICS）[18]，而[31]声称减少ICS无助于优化，相反，改进的优化主要归因于BN平滑优化景观。最近的一项工作[1]重新审视了ICS，并驳斥了[31]中的说法，并提出降低ICS实际上是原因。总的来说，为什么BN改善优化的机制仍然不清楚，并且在不久的将来可能不会找到明确的共识与以前的作品[31，1]调查改进优化的原因相比，我们的工作重点是效果，更具体地说，对抗鲁棒性。考虑到DNN学习一组特征[17]，改进的优化预计会产生具有更多有用特征的模型，从而如预期的那样提高准确性。其增加对抗性脆弱性的副作用值得研究。[17]我的故事• NRF：如果γ>0不存在，则特征f是非鲁棒的猜想利用上述定义[17]对特征进行二分化，我们推测BN将模型转移到更多地依赖于NRF而不是RF。3.2. 经验证据表1中的观察结果为我们的推测提供了证据，其可以被证实如下。首先，BN简单地归一化DNN中间特征层;因此，如果我们的推测是正确的，则其他归一化技术（诸如LN、IN和GN）也可能反映相同的行为。其次，由于对抗鲁棒性和腐败鲁棒性之间的联系[13]，如果腐败鲁棒性分析也支持它，我们的主张可能对抗鲁棒性。表2示出了增加的对抗脆弱性的现象不限于BN，而且也发生在IN、LN和GN。总体而言，除了ResNet50对CIFAR10的结果之外，IN始终实现最低的鲁棒准确度。我们怀疑这可以归因于先前的发现[39，27]，即IN通过执行实例归一化来排除样式信息样式信息很可能是RF（注意，改变样式，7822Dδ∇∇∇- -F（x）]≥ρ;• F稳健有用性：F是γ-鲁棒有用的，如果在某个指定的有效扰动集下存在γ>0。∆偏差，即IE（x，y）[inf∈∆（x） y·F（x + δ）] ≥ γ。图2.具有标准训练的VGG16的腐败鲁棒性(top)和对抗训练（底部）。e.G.颜色，通常需要大的像素强度变化），因此IN丢弃样式可能导致最不鲁棒的模型。Ford等人 [13]揭示 的对抗性 训练（和高斯数据增强）显著提高了对噪声破坏的鲁棒性，即，高斯-在图2中证实，这降低了针对对比度和雾的鲁棒性。关注-由于与有用性正交，我们不能通过测量它与期望中的真实标签的相关性来平凡地定义F利用局部二次近似，先前的工作[26]提供了鲁棒性和局部线性之间强关系的理论证据因此，其中l（x，y）表示CE损失l的部分梯度，其中对于x输入，我们定义F鲁棒性如下。• F鲁棒性：如果局部线性度大于β（β >0），则特征集F是β-鲁棒的，即IE （x ，y ）D ，ν∆[sim（l（x，y），l（x+ν，y））]≥β.由（l（x，y）和l（x+v，y）之间的相似性（sim）指示的局部线性可以以不同的形式表示，例如计算它们的差的范数[26]。我们采用余弦相似性[46]来量化这种相似性：Σl（x，y）·∥∇l(x, y) ∥ · ∥∇l(x+ν, y)∥在[17]中，一个标准模型被认为是学习一个足够的大量的NRF，而鲁棒模型（通过对抗训练鲁棒化）主要具有RF。从特征的角度来看，出现以下解释：噪声破坏主要破坏NRF，而对比度和雾主要破坏RF。我们从特征角度的解释与之前从频率角度的解释相呼应[45]。我们会在补充质询中讨论两者之间的联系腐败的坚固性。没有归一化的模型比它们的对应部分更鲁棒的噪声污染鉴于我们的解释，这种对比行为表明，具有归一化的模型学习更多的NRF而不是RF。来自图2的另一观察结果是IN导致针对对比度破坏的额外高鲁棒性，表明在该上下文中较小的IN最不这与先前的结果一致，即具有IN的模型通常是最不稳健的。4. 有效性和健壮性的分离框架在[17]之后，我们将DNN分类器定义为一组特征，即F=f。f有用性和鲁棒有用性的定义。3.1可以很容易地扩展到F。• F有用性：F是ρ-有用的（ρ >0），如果它与期望中的真实标签相关，即IE（x，y）D[y·所采用的度量指示原始输入梯度和局部扰动输入梯度之间的相似性（或线性），并且因此被称为局部输入梯度相似性（LIGS）。有关采用此指标的其他理由，请参阅补充资料。尽管如此，除LIGS之外的度量也可能是合适的。LIGS的微扰选择我们通过将ν设置为高斯噪声、均匀噪声、FGSM扰动和PGD扰动来研究扰动类型的影响。在所有选择的扰动类型中，我们观察到LIGS随着训练而降低的总体趋势，并且LIGS w/o BN始终高于具有BN的LIGS。除非另有说明，否则我们从高斯分布中采样ν其他详细信息和结果见补充资料。与以前的作品有关。在这项工作中采用LIGS的主要动机是定义和量化F稳健性。 直接最大化局部线性度为 一种新的正则化器已经被证明可以提高对抗训练的对抗鲁棒性[26]。在[28]中也有类似的发现。注意，“对抗鲁棒性”主要指“鲁棒有用性”而不是单独的“鲁棒性”。为了避免混淆，我们强调F鲁棒性与有用性正交。与先前的工作[26，28]相反，通过调查（和建立）鲁棒有用性与局部线性之间的联系来提高“对抗鲁棒根据定义，局部线性E（x，y）D，ν∆.（一）7823^^^并不意味着有用，因为它与真实标签的相关性无关。尽管如此，他们的观察，最大限度地提高局部线性度可以帮助提高鲁棒有用性（鲁棒精度测量），可以被视为增加F鲁棒性的自然结果。解释和关系。非正式地但直观地，如果我们假设每个特征对于分类同样有用，则F的有用性可以被感知为特征的数量;并且F的鲁棒性可以被视为F中RF与NRF的比率。这在图1中示意性地示出，其中位于右上区域中的DNN具有高鲁棒性有用性，即高鲁棒准确性，表明模型学习了足够的特征，其中，高百分比属于RF。低的鲁棒精度可以由低F有用性或低F鲁棒性引起。图1还显示了标准训练（绿色）和对抗训练（蓝色）之间的差异。两者都是从高F鲁棒性和低F有用性的状态开始的;与标准训练相比，对抗训练最终导致更高F鲁棒性和更低F有用性的模型。对于标准训练，去除BN也增加了F鲁棒性。根据定义，F鲁棒性、F有用性和F鲁棒有用性可以分别通过LIGS、干净准确性和鲁棒准确性来测量图1中的示意图与图3中的结果很好地一致。5. 解开模型特征利用上述证据证实BN将模型转移到更多地依赖于NRF，期望具有度量以测量独立于有用性的“纯”鲁棒性。考虑到RF/NRF都是有用的并且它们的核心差异在于鲁棒性，这样的度量对于通过显示较低的“纯”鲁棒性来提供关于向NRF转变的直接证据是至关重要的此外，在训练阶段的LIGS趋势也揭示了学习的功能，即顺序。从RF到NRF，反之亦然。通过鲁棒准确性来评估对抗鲁棒性表明了模型特征的鲁棒性。因此，将鲁棒有用性分解为有用性和鲁棒性提供了对对抗鲁棒性的更好理解。图3中的总体趋势显示，稳健准确度受清洁准确度和LIGS两者的影响例如，对于adversarial（adv.）在训练期间，LIGS在整个训练阶段期间保持接近1，并且鲁棒准确度受到干净准确 度的高度影响。对于标准品（std.）然而，在训练中，LIGS低得多，导致小得多的鲁棒准确度，尽管干净准确度略高。BN的影响主要表现在LIGS上。在整个训练阶段期间，BN导致显著较低的LIGS，因此较低的鲁棒准确度。随着（标准）训练的发展，LIGS值减小，I.E.特征鲁棒性降低，表明模型随着训练的发展，更多地依赖于NRF。BN在adv.然而，培训是有限的。 这里，仅报告CIFAR10上的BN。我们在补充中提供了IN/LN/GN的更多结果和ImageNet上的结果。结果反映了图3中的趋势。图3. CIFAR10上使用ResNet18的LIGS的干净准确度、稳健准确度的趋势论BN在对抗训练中的作用。通过标准训练，我们发现BN增加了对抗脆弱性。为了提高鲁棒性，对抗训练是最广泛使用的方法之一。[43]的作者表明，BN可能会阻止网络在对抗训练中获得强大的鲁棒性。然而，这仅在训练中使用干净图像时才是正确的，并且原因归因于两域假设。对于仅使用对抗图像的标准对抗训练[24]，如图3所示，发现BN对LIGS以及鲁棒准确性没有影响。这是合理的，因为对抗训练明确地丢弃了NRF。LIGS的正规化。上述结果表明，稳健准确度和LIGS是相关的。为了验证它们之间的联系，我们在训练过程中使用LIGS作为正则化器。图4中的结果证实，通过正则化增加LIGS以大幅度提高了鲁棒准确度，尽管对干净准确度的影响很小图4.正则化LIGS的效果。5.1. 在解开的RF和NRF的数据集上训练注意，默认情况下，实验设置是相同的，只改变感兴趣的变量（例如使用和不使用BN的测试）。在以BN作为控制变量的解开的RF和NRF的数据集上的训练突出了BN对它们的影响，同时排除了相互影响。解开RF和NRF。 按照[17]的程序，我们提取DR、DNR和Drand（在补充说明中描述）。 注意，D^R主要（如果不排除的话）7824^^ ^您的位置：^^D^D^D^D^^D^D^^DDDDDD有RF，而rand只有NRF。NR具有RF和NRF（NR结果见补充资料）。在这里，为了证明BN对NRF或NRF的影响，我们在图5中报告了在R和rand上训练的结果，其中干净的准确度和稳健的准确度结果与[17]中的发现相关于LIGS结果有两个主要观察结果首先，R上的LIGS非常高（超过0.9），这解释了为什么在R上训练的模型（通常）具有相对较高的鲁棒准确性，而rand上的LIGS最终变得非常低，因为rand只有NRF。第二，w/o BN，发现模型不收敛于rand，导致10%的准确度，即。相当于随机猜测。具有BN的模型在大约25个时期之后开始收敛（实现高于10%的准确度），并且观察到LIGS在模型开始收敛之前增加。这表明该模型正在学习鲁棒但几乎没有用处的特征。这种在模型开始收敛之后，LIGS迅速下降到一个低值。图5.使用ResNet18在解纠缠特征数据集上分析BN在冲突RF和NRF的数据集上训练在原始数据集中，丰富的RF和NRF共存，模型学习两者用于分类。理解学习到的特征的顺序是很有趣的，即从RF到NRF或反之亦然，以及它们对彼此的影响。图3中LIGS的下降趋势表明模型首先主要学习RF。在这里，我们提供了另一个证据与干净的准确性的度量。 在、RF和NRF被提示用于相同的分类，因此不能从干净的准确性中推断出洞察力 为此，我们设计了一个数据集D冲突的冲突RF和NRF。具体地，我们利用所生成的目标类t+ 1的R作为起始图像，并且生成目标类T。换句话说，在冲突中RF是提示类别t+ 1，而提示类别t的NRF。图6示出了在BN的情况下，与RF对准的干净准确度在前几个时期中显著增加，并且在80%附近达到峰值，随后急剧下降，而与NRF对准的准确度缓慢增加直到饱和。它支持模型从RF到NRF的学习。最终，与NRF对齐的准确度超过与RF对齐的准确度，表明模型在后期阶段忘记了大部分第一次学习的RFW/o BN，我们发现整个阶段中的模型学习RF而忽略NRF。它清楚地表明BN对于学习NRF至关重要，这自然解释了为什么BN将模型转向学习更多的NRF。我们还讨论了结果”[17]《说文解字》：“。图6.具有冲突RF和NRF的数据集的分析5.2. 探索超越（批量）规范化网络结构因素和优化因素。除了归一化之外，其他因素也会影响DNN的行为，特别是关于其鲁棒性。我们研究两类因素：（a）结构类别，包括网络宽度、网络深度和ReLu变体;(b)优化类别包括权重衰减、初始学习率和优化器。结果示于图7中。我们发现大多数研究的因素对LIGS没有显著影响。增加网络宽度和深度可以分别增加或减少LIGS，但幅度很小在ReLU和Leaky ReLU之间没有观察到可见的差异，而SeLU导致稍高的发现来自优化类别的一些候选者在训练的早期和后期阶段不同地影响F鲁棒性。高重量衰减导致训练早期阶段的LIGS较高，并且在结束时稍低。更高的初始学习率，例如0。5，在早期训练阶段导致较高的LIGS，但最终导致较低的LIGS。对于权重衰减和初始学习速率，在早期/后期观察到较低/较高的相反趋势，具有清晰的准确性。SGD优 化 器 和 ADAGrad 在 LIGS 上 表 现 出 相 似 的 行 为 ，ADAM导致LIGS略高它们对清洗精度的影响更为显著。6. 关于BN为什么喜欢NRF和BN如何帮助优化之间的联系。如第3.1中，关于BN如何帮助优化，存在两种主要的冲突观点：（a）平滑优化景观[31] vs. (b)降低ICS[1]。视图(a)和观点（b）持有彼此完全相反的主张。另一方面，为什么国阵转向NRF也仍然不清楚。向NRF的转变是由BN的改进优化引起的（注意，两种观点都同意7825图7.其他因素对行为或DNN的影响BN改善了优化）。因此，（1）为什么BN向NRF偏移和（2）BN如何改进优化基本上是相同的，至少是高度相关的问题。我们建议未来的工作调查问题（1）和问题(2)还共同在这里，我们在这个方向上进行了尝试考虑到我们的观察结果，即没有BN的模型不能在只有NRF的数据集上进行转换，并且人们普遍认为BN可以稳定训练，我们想知道训练稳定性和F鲁棒性之间的潜在联系。ResNet捷径也稳定/加速训练[16]，因此我们研究它是否降低F鲁棒性。图8示出了快捷方式对具有ResNet20的LIGS具有微不足道的影响。对于更深的ResNet56，在训练的早期阶段，去除捷径对LIGS有显著的影响，然而，最终，这种影响也变得微不足道。Fixup初始化（FixupIni）在[47]中引入，以替换ResNets中的BN我们比较了它们对模型的影响，并观察到它们在清洁精度上的差异是微不足道的，而BN导致比FixupIni更低的LIGS总的来说，它表明增加训练稳定性不一定会导致较低的F鲁棒性。如果稳定化训练不一定导致向NRF的转变，则观点（a）可能不成立，因为它是基于BN导致更预测和稳定的梯度的观察而推断的。此外，IN/LN/GN也被发现，以改善优化以及向NRF的转变。如果观点（a）成立，则IN/LN/GN也将导致更可预测和稳定的梯度。在[31]之后，我们将梯度预测性可视化，并发现它们不会像BN那样导致强梯度稳定性（参见补充资料）。BN/IN/LN/GN之间的一个请注意，这项工作的作者没有任何兴趣与上述两种观点相冲突，只是客观地提出了我们收集的证据作者也无意主张该观点（b）是最后的理由，并欢迎未来的工作提出更多的支持或矛盾的证据。图8.快捷方式（顶部）和FixupIni（底部）对模型的影响。7. 我们的研究结果对改善对抗性转移最近的工作[30，40，37]表明，鲁棒模型更适合用于迁移学习的下游任务，这表明包含更鲁棒特征的模型在任务之间的迁移更好。一个自然的猜想是，这样的模型也可能更适合用作替代模型，用于生成跨模型的可转移对抗性示例。我们的初步发现证实了这一猜想，即在对抗训练模型上生成的对抗示例可以更好地转移到正常模型。然而，典型的对抗训练需要更多的计算资源[24，48]。我们的发现7826表3. BN对转印性的影响。使用不同基线的Ima-geNet结果：I-FGSM [21]、MI-FGSM [8]、DI-F GSM [44]和TI-FGSM [9]。源 BN RN 50 DN 121 VGG 19 RN 152 MN-V2 I-V3平均VGG19Y47.349.510032.358.820.1 51.3我VGG19N65.465.798.048.177.632.1 64.5RN50Y10080.171.686.273.434.2 74.2RN50N98.694.387.095.594.472.1 90.3VGG19Y60.765.310044.370.136.7 62.9MIVGG19N73.876.498.558.883.747.5 73.1RN50Y10088.881.992.883.050.7 82.9RN50N98.995.488.795.596.278.5 92.2VGG19Y65.468.010046.375.228.9 64.0DIVGG19N77.174.699.056.885.537.4 71.7RN50Y10098.196.997.994.459.8 91.2RN50N99.499.195.898.198.890.3 96.9VGG19Y57.958.2100.043.570.530.5 60.1TIVGG19N71.370.997.753.779.040.9 68.9RN50Y10082.475.488.677.140.3 77.3RN50N98.795.087.095.795.277.6 91.5表4.BN对转印性的影响具有各种基线的CIFAR 10结果：I-FGSM [21]、MI-FGSM [8]。DI-FGSM [44]和TI-FGSM [9]的完整结果见补充资料。源BN AlexN VGG16 RN50 DN RNext WRN AvgVGG16Y28.7100*85.781.784.783.377.4我VGG 16N39.599.899.698.098.898.989.1ResNet18Y24.773.380.780.083.885.771.4ResNet18N41.599.699.798.399.498.989.6VGG16Y34.4100*93.991.192.292.784.1MI VGG 16N44.199.799.297.298.098.489.4ResNet18Y28.786.990.188.390.892.779.6ResNet18N45.199.199.096.698.297.989.3RFs/NRFs可以在正常训练中用于增强对抗性可转移性。这项工作的一个收获是BN将模型转变在现有方法中使用正态模型（默认具有BN）[8，44，9]。考虑到RF传输更好，我们在ImageNet（见表3）和CIFAR 10（见表4）上使用替代模型w/o BN进行我们观察到，在广泛的DNN archi- tectures，替代模型w/o BN转移显着优于他们的同行。这里的结果也提供了额外的证据，BN确实改变了模型，更多地依赖于NRF。最近，引入了无归一化网络[4]。我们离开他们的鲁棒性和可转移性的调查，为今后的调查。另一个有趣的发现是，DNN主要首先学习RF，然后学习NRF。为了获得具有更多RF的替代模型，由这一发现启发的一个简单的想法默认情况下，现有方法训练用完整时期训练的替代模型我们在图9中报告了替代模型在不同时期的可转移性性能。我们可以观察到，可转移性性能在早期时期非常急剧地增加，并且在后期时期逐渐降低。结果表明，早期停止确实有助于显著改善可转移性。基于传输的黑盒攻击是一个充满活力和竞争的研究领域[8，44，9，12]，我们提出的两种技术有望成为大多数现有技术的补充更多的可转移性结果显示在补充，我们强调，我们的研究结果具有重要的意义，从NRF的角度来理解对抗性的可转移性，以及提供直接的洞察力与简单而有效的技术，以提高可转移的黑盒攻击。图9.替代ResNet18在5个黑盒模型上的不同训练时期测量的性能。8. 结论BN和其他标准化变体增加了对抗性脆弱性。我们将原因归因于模型的转变，更多地依赖于NRF，为此，我们提供了对抗鲁棒性和腐败鲁棒性分析的实证证据我们提出了一个框架disentang- gling模型特征的有用性和鲁棒性通过解纠缠解释，我们发现模型首先学习RFs，然后学习NRFs，因为RFs对于在早期阶段训练模型是必不可少的，并且BN对于学习NRFs是至关重要的。BN将模型向NRF转移的原因以及BN如何帮助优化本质上是相同的问题。对观察到的现象的联合分析表明，目前的证据支持两种相互冲突的观点之间的减少ICS的观点。我们的研究结果还从NRF的角度提供了对对抗性可转移性的新理解，并激发了两个简单而有效的想法来提高可转移攻击。确认这项工作得到了韩国政府（MSIT）（人工智能创新中心）资 助的信息和通 信技术规划与 评估研究所（IITP）赠款的部分支持，赠款为2021-0-02068。7827引用[1] Muhammad Awais，Md Tauhid Bin Iqbal，and Sung-HoBae.重新审视内部协变量偏移以进行批量归一化。Transactions on Neural Networks and Learning Systems，2020。一、三、六[2] Jimmy Lei Ba，Jamie Ryan Kiros和Geoffrey E.辛顿层归一化。arXiv预印本arXiv：1607.06450，2016。3[3] Philipp Benz，Chaoning Zhang，Adil Karjauv，and In SoKweon. 重新审视批处理归一化以提高corruption鲁棒性。WACV，2021年。第1、3条[4] 安德鲁·布洛克、索汉姆·德、塞缪尔·L·史密斯和卡伦·西蒙尼扬。无需归一化的高性能大规模图像识别。arXiv预印本arXiv：2102.06171，2021。八个[5] 尼古拉斯·卡利尼和大卫·瓦格纳。评估神经网络的鲁棒性。在SP，2017年。二个[6] Jeremy M Cohen，Elan Rosenfeld，and J Zico Kolter.通过随机平滑验证对抗鲁棒性。在ICML，2019。二个[7] Navneet Dalal和Bill Triggs。用于人体检测的定向梯度的直方图在CVPR，2005年。三个[8] Yinpeng Dong ， Fangzhou Liao ， Tanyu Pang ， HangSu，Jun Zhu，Xiaolin Hu，and Jianguo Li.以势头增强对抗性在CVPR，2018年。二、八[9] 董银鹏，庞天宇，苏航，朱军。利用平移不变性攻击规避对可转移对抗样本的防御。在CVPR，2019年。二、八[10] Alhussein Fawzi、Seyed-Mohsen Moosavi-Dezfooli和Pascal Frossard。分类器的稳健性：从对抗性到随机噪声。InNeurIPS，2016. 二个[11] Angus Galloway、Anna Golubeva、Thomas Tanay、Med-hat Moussa和Graham W Taylor。 批量规范化是对抗性漏洞的一个原因。arXiv预印本arXiv：1905.02161，2019。二、三[12] Lianli Gao，Qilong Zhang，Jingkuan Song，XianglongLiu，and Heng Tao Shen.用于欺骗深度神经网络的补丁攻击在ECCV中，第307-322页。Springer，2020年。八个[13] Justin Gilmer，Nicolas Ford，Nicholas Carlini，and EkinCubuk.对抗性示例是噪声中测试错误的自然结果。在ICML，2019。二、三、四[14] Justin Gilmer 、 Luke Metz 、 Fartash Faghri 、 Samuel SSchoenholz 、 Maithra Raghu 、 Martin Wattenberg 和 IanGoodfellow 。 敌 对 领 域 。 arXiv 预 印 本 arXiv ：1801.02774，2018。2[15] Ian J Goodfellow，Jonathon Shlens，Christian Szegedy.解释和利用对抗性的例子。2015年，国际会议。二个[16] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习在CVPR，2016年。三、七[17] Andrew Ilyas ， Shibani Santurkar ， Dimitris Tsipras ，Logan Engstrom，Brandon Tran和Aleksander Madry。对抗性示例不是bug，而是特性。NeurIPS，2019。一、二、三、四、五、六7828[18] Sergey Ioffe和Christian Szegedy。批次标准化：通过减少内部协变量偏移来加速深度网络训练。ICML，2015。一、二、三[19] 姜紫玉，陈天龙，陈婷，王张扬。通过对抗性对比学习进行鲁棒的预训练神经IPS，2020年。三个[20] Alex Krizhevsky、Ilya Sutskever和Geoffrey E.辛顿使用深度卷积神经网络的Im-ageNet分类InNeurIPS，2012. 三个[21] Alexey Kurakin，Ian Goodfellow，and Samy Bengio.大规模的对抗性机器学习。在ICLR，2017。二、八[22] David G.洛从尺度不变关键点中提取独特的图像特征。IJCV，2004年。三个[23] Ping Luo，Xinjiang Wang，Wenqi Shao，and ZhanglinPeng.理解批量规范化中的正则化2019年，在ICLR。二个[24] Aleksander Madry 、 Aleksandar Makelov 、 LudwigSchmidt、Dimitris Tsipras和Adrian Vladu。对抗攻击的深度学习模型。在ICLR，2018年。五、七[25] SaeedMahloujifa