高频组分助于解释卷积神经网络的泛化行为

Haohan Wang, Xindi Wu, Zeyi Huang, Eric P. XingSchool of Computer ScienceCarnegie Mellon University{haohanw,epxing}@cs.cmu.edu, {xindiw,zeyih}@andrew.cmu.edu86840高频组分有助于解释卷积神经网络的泛化0摘要0我们研究了图像数据的频谱与卷积神经网络（CNN）的泛化行为之间的关系。我们首先注意到CNN在捕捉图像的高频组分方面的能力。这些高频组分对人类几乎是不可察觉的。因此，这一观察引发了多个与CNN的泛化行为相关的假设，包括对对抗样本的潜在解释，对CNN在鲁棒性和准确性之间的权衡的讨论，以及对训练启发的一些证据。01. 引言0深度学习在各种任务的预测建模方面取得了许多最新进展，但是社区对神经网络的非直观泛化行为产生了警惕，例如在记忆标签混洗数据方面的能力[65]和对对抗样本的脆弱性[54,21]。为了解释神经网络的泛化行为，已经取得了许多理论突破，包括研究随机梯度下降的性质[31]，不同复杂度度量[46]，泛化差距[50]，以及从不同模型或算法角度的许多其他突破[30, 43, 7,51]。在本文中，受到卷积神经网络（CNN）可以从混淆信号[59]和表面信号[29, 19,58]中学习的先前理解的启发，我们从数据的角度研究了CNN的泛化行为。与[27]一起，我们认为CNN的非直观泛化行为是人类和模型之间感知差异的直接结果（如图1所示）：CNN可以以比人类更高的粒度查看数据。然而，与[27]不同的是，我们提供了一种解释0标签0“语义”0高频0人类如何理解数据0分布特定的相关性0模型学到了什么0数据0图1.我们论文的核心假设：在数据收集中，高频组分与图像的“语义”组分之间存在相关性。因此，模型将同时感知高频组分和“语义”组分，导致与人类直觉相悖的泛化行为（例如，对抗样本）。0模型感知的这种高粒度：CNN可以利用人类无法察觉的高频图像组分。例如，图2显示了来自CIFAR10数据集的八个测试样本的预测结果，以及高频和低频组分的预测结果。对于这些示例，预测结果几乎完全由图像的高频组分决定，而这些组分对人类几乎是不可察觉的。另一方面，低频组分对人类几乎与原始图像相同，但模型对其进行了明显不同的预测。受到上述经验观察的启发，我们进一步研究了CNN的泛化行为，并试图通过对输入的图像频谱的差异响应来解释这种行为（注释1）。我们的主要贡献总结如下：86850(a) 一只青蛙的样本0(b) 一部手机的样本0(c) 一艘船的样本0（d）一只鸟的样本0（h）一艘船的样本 图2.从CIFAR10中选择的八个测试样本，用于解释CNN如何捕捉图像的高频信息：模型（ResNet18）正确预测原始图像（每个面板的第一列）和高频重建图像（每个面板的第三列），但错误地预测低频重建图像（每个面板的第二列）。还显示了预测置信度。频率分量以r =12分割。实验的详细信息将在后面介绍。0•通过提供CNN如何利用图像的高频分量以换取准确性的示例，我们揭示了CNN的准确性和鲁棒性之间的权衡（推论1）。0•利用图像频谱作为工具，我们提出了假设来解释CNN的几种泛化行为，特别是在记忆标签混洗数据的能力方面。0•我们提出了一种防御方法，可以在不训练或微调模型的情况下提高CNN对简单攻击的鲁棒性。0本文的剩余部分组织如下。在第2节中，我们首先介绍相关讨论。在第3节中，我们将介绍我们的主要贡献，包括对CNN如何利用高频分量的形式讨论，这自然地导致了对抗性鲁棒性和准确性之间的权衡。此外，在第4-6节中，我们将着手研究CNN的多种泛化行为，包括与记忆标签混洗数据容量相关的悖论（§4），由Mixup和BatchNorm等启发式方法引入的性能提升（§5），以及对抗性脆弱性（§6）。我们还尝试在第7节中研究超越图像分类的任务。最后，在我们在第8节中简要讨论一些相关主题之前，在第9节中总结本文。02. 相关工作0深度学习的显著成功引起了大量理论工作，致力于解释CNN的泛化之谜。0例如，自从Zhang等人[65]证明了几种成功的神经网络架构的有效容量足够大以至于可以记忆随机标签，学术界对这个明显的“悖论”[61, 15, 17, 15,11]展开了许多讨论。Arpit等人[3]证明了由于训练数据在很大程度上决定了记忆，有效容量不太可能解释基于梯度的方法训练的深度网络的泛化性能。Kruger等人[35]通过展示在深度网络上训练随机标签时最大Hessian特征值的增加来进行了实证论证。对抗样本的概念[54,21]成为与神经网络行为相关的另一个引人注目的方向。沿着这个方向，研究人员发明了强大的方法，如FGSM[21]，PGD[42]和其他许多方法[62, 9, 53, 36,12]来欺骗模型。这被称为攻击方法。为了防御模型免受欺骗，另一组研究人员提出了一系列方法（称为防御方法）[1,38, 44, 45,24]。这些只是长期以来提出的攻击和防御方法的一些亮点。可以参考综述进行详细讨论[2,10]。然而，虽然提高了鲁棒性，这些方法可能会导致预测准确性略微下降，这引发了在鲁棒性和准确性之间权衡的讨论。[49]的实证结果表明，更准确的模型倾向于在生成的对抗样本上更具鲁棒性。然而，[25]认为，看似增加的鲁棒性主要是由于准确性的增加，而更准确的模型（如VGG，ResNet）实际上比AlexNet更不具鲁棒性。也有理论讨论[56,67]，这也激发了新的防御方法[67]。̸868603.高频组件和CNN的泛化性0首先，我们设立本文中使用的基本符号：�x,y�表示一个数据样本（图像和相应的标签）。f(∙;θ)表示具有参数θ的卷积神经网络。我们用H表示人类模型，因此f(∙; H)表示人类如何对数据进行分类。l(∙,∙)表示通用损失函数（例如，交叉熵损失）。α(∙,∙)表示评估预测准确性的函数（对于每个样本，如果样本被正确分类，则该函数返回1.0，否则返回0.0）。d(∙,∙)表示评估两个向量之间距离的函数。F(∙)表示傅里叶变换；因此，F^(-1)(∙)表示傅里叶逆变换。我们用z表示样本的频率分量。因此，我们有z = F(x)和x =F^(-1)(z)。请注意，傅里叶变换或其逆变换可能会引入复数。在本文中，我们简单地丢弃F^(-1)(∙)的结果的虚部，以确保生成的图像可以像往常一样输入CNN。03.1. CNN利用高频组件0我们将原始数据x分解为{x1,x2}，其中xl和xh分别表示低频组件（简称LFC）和高频组件（简称HFC）。我们有以下四个方程：0z = F(x), zl, zh = t(z; r),0xl = F^(-1)(zl), xh = F^(-1)(zh),0其中t(∙;r)表示根据超参数r将z中的低频和高频组件分离的阈值函数。为了正式定义t(∙;r)，我们首先考虑一个大小为n×n且具有N个可能像素值的灰度（单通道）图像（换句话说，x∈Nn×n），然后我们有z∈Cn×n，其中C表示复数。我们使用z(i, j)来索引位置(i,j)处z的值，并使用ci，cj来表示质心。我们将方程z1, z2 =t(z; r)正式定义为：0zl(i, j) =0如果d((i, j), (ci, cj)) ≤ r，则z(i,j)，否则为0，0zh(i, j) =0如果d((i, j), (ci, cj)) ≤r，则为0，否则为z(i, j)。0在本文中，我们将d(∙,∙)视为欧几里德距离。如果x有多个通道，则该过程独立地操作每个通道的像素。0注1：在假设A1（称为A1）中，我们假设“只有xl对人类可察觉，但xl和xh对CNN都是可察觉的”。0对于CNN来说，xh是可察觉的，我们有：0y := f(x; H) = f(xl; H)，0但当CNN使用训练数据进行训练时0arg min θ l(f(x; θ), y)，0这相当于0arg min θ l(f({xl, xh}; θ), y)，0CNN可能会学习利用xh来最小化损失。因此，CNN的泛化行为对人类来说似乎是不直观的。0请注意，“CNN可能会学习利用xh”与“CNN过拟合”不同，因为xh可能包含比样本特异性更多的信息，并且这些更多的信息可以在训练、验证和测试集上泛化，但对人类来说只是不可察觉的。由于假设A1在某些情况下已被证明成立（例如，在图2中），我们相信注1可以作为解释CNN泛化行为的原因之一。例如，对抗样本[54,21]可以通过扰动xh来生成；CNN在减少对标签重新排序的训练数据的训练误差方面的能力可以看作是利用xh并过拟合样本特异性的结果。我们将在接下来的章节中进一步讨论。03.2. 鲁棒性和准确性之间的权衡0我们继续讨论Remark1，并从图像频率的角度讨论CNN在θ给出的鲁棒性和准确性之间的权衡。我们首先正式陈述θ的准确性：0E(x,y) = α(f(x;θ),y)（1）0以及θ的对抗鲁棒性，例如[8]：0E(x,y) ≤ minx′:d(x′,x)≤�α(f(x′;θ),y)（2）0其中�是允许的扰动上限。通过另一个假设（称为A2）：“对于模型θ，存在一个样本�x，y�，使得：0f(x;θ) ≠ f(xl;θ)，”0我们可以将我们的主要论点（Remark1）扩展为一个正式陈述：0推论1.在假设A1和A2下，存在一个样本�x，y�，模型θ无法在任何距离度量d(∙，∙)和界限�下同时准确（由方程1评估为1.0）和鲁棒（由方程2评估为1.0）地预测，只要�≥d(x，xl)。020406080100epoch0.00.20.40.60.81.0Accuracynatural label050100150200250300epochshuffled labelTrainTrain L(4)Train L(8)Train L(12)Train L(16)86870图3.原始标签情况（100个epoch）和洗牌标签情况（300个epoch）的训练曲线，以及图像的低频对应。该图中的所有曲线都来自训练样本。0该证明是前面讨论的直接结果，因此被省略了。假设A2也可以通过实证验证（例如在图2中），因此我们可以安全地说Corollary1可以作为解释CNN鲁棒性和准确性之间权衡的一个解释之一。04. 重新思考数据之前的泛化04.1. 假设0我们的第一个目标是对[65]中观察到的经验结果提供一些直观的解释：神经网络可以轻松拟合标签洗牌数据。虽然我们毫不怀疑神经网络由于其容量而能够记忆数据，但有一个有趣的问题出现了：“如果神经网络可以轻松记忆数据，为什么它会关心从数据中学习可泛化的模式，而不是直接记忆所有内容以减少训练损失？”在Remark1引入的视角中，我们的假设如下：尽管训练损失的最小化结果相同，但模型在两种情况下考虑的特征级别不同：0•在原始标签情况下，模型首先会选择LFC，然后逐渐选择HFC以达到更高的训练准确率。0•在洗牌标签情况下，由于洗牌导致LFC和标签之间的关联被抹去，模型必须记忆图像，当LFC和HFC被等同对待时。04.2. 实验0我们设置了实验来测试我们的假设。我们使用ResNet-18[22]在CIFAR10数据集[33]上作为基础实验。我们将使用这个基准设置进行接下来的实验，即使用ADAM优化器[32]进行100个epoch的实验，学习率设置为10^-4。0批量大小设置为100，权重使用Xavier初始化[20]。像素值都归一化到[0,1]。所有这些实验都在MNIST[14]、FashionMNIST[63]和ImageNet[13]的一个子集上重复进行。这些努力在附录中报告。我们训练了两个模型，0表1. 我们通过使用x l或xh训练模型，并在原始测试集上进行测试，来测试LFC和HFC的泛化能力。0LFC HFC0r 训练准确率 测试准确率 r 训练准确率 测试准确率 4 0.96680.6167 4 0.9885 0.2002 8 0.9786 0.7154 8 0.9768 0.09212 0.9786 0.7516 12 0.9797 0.0997 16 0.9839 0.7714 160.9384 0.12810使用自然标签设置和洗牌标签设置，分别表示为Mnatural和M shuffle；Mshuffle需要300个epoch才能达到相同的训练准确率。为了测试模型选择了哪些信息，对于训练集中的任意x，我们生成低频对应的xl，其中r分别设置为4、8、12、16。我们测试这些低频数据集在训练过程中训练准确率的变化。结果绘制在图3中。第一个信息是M shuffle需要比Mnatural更长的训练时间才能达到相同的训练准确率（300个epoch vs.100个epoch），这表明与学习可泛化模式相比，将样本记忆为“不自然”的行为。通过比较低频训练样本的曲线，我们注意到M natural比Mshuffle学习到更多的低频模式（即当r为4或8时）。此外，当r=4时，Mshuffle几乎不学习任何LFC，而另一方面，即使在第一个epoch，Mnatural在r=4时已经学习到了约40%的正确LFC。这种差异表明当M natural更喜欢选择LFC时，Mshuffle在LFC和HFC之间没有偏好。如果一个模型可以利用多个不同的信号集，那么为什么Mnatural更喜欢学习与人类感知偏好相吻合的LFC呢？虽然有一些解释表明神经网络倾向于更简单的函数[48]，但我们推测这只是因为数据集是由人类组织和注释的，LFC-标签关联比HFC的关联更“可泛化”：选择LFC-标签关联将导致损失曲面的最陡下降，特别是在训练的早期阶段。为了测试这个猜想，我们重复了Mnatural的实验，但是不使用原始的训练集，而是使用x l或xh（标准像素尺度标准化）来测试模型在原始测试集上的表现。表1表明LFC比HFC更具“可泛化性”。因此，如果一个模型首先选择了LFC，这并不令人惊讶，因为它会导致损失曲面的最陡下降。04.3. 一个未解之谜0最后，我们想提出一个问题：网络在LFC和人类感知偏好之间的巧合对齐可能只是在攀登技术发展阶梯过程中的“生存偏差”的简单结果。换句话说，神经网络的近百年发展过程就像是技术的“自然选择”[ 60]。幸存下来的想法可能恰好与人类偏好相匹配，否则，这些想法可能由于攀登阶梯的能力不足而无法发表。然而，一个有趣的问题是这些攀登阶梯的技术与人类视觉偏好有多么吻合。我们提供使用我们的频率工具来评估这些技术。86880最先进的技术。换句话说，神经网络的近百年发展过程就像是技术的“自然选择”[ 60]。幸存下来的想法可能恰好与人类偏好相匹配，否则，这些想法可能由于攀登阶梯的能力不足而无法发表。然而，一个有趣的问题是这些攀登阶梯的技术与人类视觉偏好有多么吻合。我们提供使用我们的频率工具来评估这些技术。05. 训练启发式方法0我们继续重新评估在达到最先进准确性过程中起到帮助的启发式方法。我们评估这些启发式方法以测试其对LFC和HFC的泛化性能。在准确性阶梯中的许多著名技术似乎或多或少地利用了HFC。05.1. 不同启发式方法的比较0我们通过检查在训练过程中对LFC和HFC的预测准确性来测试多种启发式方法，并绘制训练曲线。批量大小：然后我们研究批量大小的选择如何影响泛化行为。我们在图4中绘制了结果。如图所示，较小的批量大小似乎在提高训练和测试准确性方面表现出色，而较大的批量大小似乎在缩小泛化差距方面突出。此外，泛化差距似乎与模型在捕捉HFC方面的倾向密切相关：使用更大的时期大小训练的模型对HFC更不变，并且在训练准确性和测试准确性方面引入较小的差异。图4中的观察结果是直观的，因为只有当模型表现得像人类（因为是人类对数据进行注释）时，才能实现最小的泛化差距。图4中的观察结果也为前一节关于“可泛化”特征的讨论提供了帮助。直观上，使用更大的时期大小，可以导致损失曲面最陡下降的特征更有可能是数据的“可泛化”模式，即LFC。启发式方法：我们还测试了不同的训练方法对LFC和HFC的反应，包括0• Dropout [ 26]：一种在训练过程中随机丢弃权重的启发式方法。我们在全连接层上应用了p = 0.5的dropout。0• Mix-up [ 66]：一种在线性集成样本和其标签的启发式方法。我们将其应用于标准超参数α = 0.5。0• BatchNorm [ 28]：一种对每个训练小批量进行归一化以加速深度网络训练过程的方法。它允许我们使用0学习率更高，减少过拟合，类似于Dropout。我们将其设置为γ = 1和β = 0。0• 对抗训练 [ 42]：一种通过在训练过程中使用威胁模型生成的对抗样本来增强数据的方法。被广泛认为是最成功的对抗鲁棒性（防御）方法之一。根据常见选择，我们使用PGD，� = 8 /255（� = 0.03）作为威胁模型。0我们在图5中展示了结果，其中第一个面板是基本设置，然后在接下来的四个面板中测试了四种启发式方法。在我们的实验中，Dropout的行为与基本设置大致相似。Mix-up提供了类似的预测准确性，但它捕捉到了更多的HFC，这可能并不令人惊讶，因为mix-up增强并没有明确鼓励LFC方面的任何内容，性能的提升可能是由于对HFC的关注。对抗训练的行为大多如预期：它报告了较低的预测准确性，这可能是鲁棒性和准确性之间的权衡结果。它还报告了较小的泛化差距，这可能是因为它选择了“可泛化”模式，如其对HFC的不变性所证实的（例如，r = 12或r =16）。然而，对抗训练在r =4时对HFC似乎很敏感，即使基本设置也忽略了这一点。BatchNorm的性能值得注意：与基本设置相比，BatchNorm在LFC和HFC方面提取了更多的信息，特别是当r = 4和r =8时。BatchNorm对捕捉HFC的倾向也与BatchNorm鼓励对抗性脆弱性[ 18]的观察结果相关。其他测试：我们还通过只在一个维度上进行改变，而其余维度与第4节中的基本设置相同，测试了其他启发式方法或方法。模型架构：我们测试了LeNet [ 37]，AlexNet [ 34 ]，VGG [ 52 ]和ResNet [ 23]。ResNet架构在不同层次上对先前的发明似乎更有优势：它报告了更好的基本测试准确性，较小的泛化差距（训练准确性和测试准确性之间的差异），以及对捕捉HFC的较弱倾向。优化器：我们测试了SGD，ADAM [ 32 ]，AdaGrad [16 ]，AdaDelta [ 64]和RMSprop。我们注意到SGD似乎是唯一一个在显著捕捉HFC方面受到影响的优化器，而其他优化器在我们的实验中表现相当。05.2.关于批量归一化的假设0根据观察，我们假设BatchNorm的优势之一是通过归一化来使不同的预测信号的分布差异对齐。例如，高频信号通常显示较小的幅度，而LFC则显示较大的幅度。020406080100epoch0.00.20.40.60.81.0Accuracy020406080100epoch020406080100epoch020406080100epoch020406080100epochTrainTestr=4 lowr=4 highr=8 lowr=8 highr=12 lowr=12 highr=16 lowr=16 high020406080100epoch0.00.20.40.60.81.0Accuracy020406080100epoch020406080100epoch020406080100epoch020406080100epochTrainTestr=4 lowr=4 highr=8 lowr=8 highr=12 lowr=12 highr=16 lowr=16 high020406080100epoch0.00.20.40.60.81.0AccuracyVanilla020406080100epochBatchNormTrain L(4)Train L(4) Test (Ori.)Train L(4) Test (r=4)Train L(8)Train L(8) Test (Ori.)Train L(8) Test (r=8)Train L(12)Train L(12) Test (Ori.)Train L(12) Test (r=12)Train L(16)Train L(16) Test (Ori.)Train L(16) Test (r=16)86890批量大小40批量大小200批量大小1000批量大小2500批量大小5000图4.不同批量大小的训练准确性随时间的变化情况，包括训练数据、测试数据以及LFC和HFC在不同半径下的情况。0基准模型0Dropout0混合训练0BatchNorm0对抗训练0图5.不同启发式方法的训练准确性随时间的变化情况，包括训练数据、测试数据以及LFC和HFC在不同半径下的情况。0图6.使用LFC数据训练的具有BatchNorm和没有BatchNorm的模型的准确性比较。0LFC，因此，没有BatchNorm训练的模型可能不容易捕捉到这些高频信号。因此，更高的收敛速度也可以被认为是同时捕捉不同预测信号的直接结果。为了验证这个假设，我们比较了使用BatchNorm和不使用BatchNorm训练的模型在LFC数据上的性能，并在图6中绘制了结果。如图6所示，当模型仅使用LFC进行训练时，BatchNorm并不总是有助于提高预测性能，无论是通过原始数据还是通过相应的LFC数据进行测试。而且，半径越小，BatchNorm的帮助越小。此外，在我们的设置中，BatchNorm的泛化能力不如基准设置，这可能对BatchNorm的好处提出了质疑。然而，BatchNorm似乎仍然至少提高了训练准确性的收敛速度。有趣的是，当r =4时，加速度最小。这一观察进一步支持了我们的假设：如果BatchNorm的优势之一是鼓励模型捕捉不同的预测信号，那么在r = 4时，BatchNorm的性能提升是最有限的。06.对抗攻击与防御0正如我们所注意到的，我们对HFC的观察可以直接与“对抗样本”的现象联系起来：如果预测依赖于HFC，则HFC的扰动将显著改变模型的响应，但这种扰动可能对人类来说根本不可察觉，从而产生了0神经网络的非直观行为。本节旨在研究对抗鲁棒性与模型利用高频信号的倾向之间的关系。我们首先讨论卷积核的“平滑性”与模型对高频信号的敏感性之间的联系（§6.1），这为我们后续的分析提供了工具。借助这个工具，我们首先展示了对抗鲁棒模型倾向于具有“平滑”卷积核（§6.2），然后证明了直接平滑卷积核（无需训练）可以帮助提高对某些攻击的对抗鲁棒性（§6.3）。06.1.卷积核平滑性与图像频率0根据卷积定理[6]，图像的卷积操作等价于图像频域的逐元素乘法。因此，粗略地说，如果卷积核在频域的高端具有可忽略的权重，它将相应地给高频信号赋予较低的权重。这可能仅适用于第一层的卷积核，因为更高层的卷积核不直接处理数据，因此关系不明确。因此，我们认为，为了使模型忽略高频信号，可以考虑强制模型学习仅在频域高端具有可忽略权重的卷积核。直观地说（从信号处理知识来看），如果卷积核是“平滑”的，即相邻权重之间没有剧烈波动，相应的频域将看到可忽略数量的高频信号。这些连接已经在数学上得到证明[47, 55]，但这些确切的关系超出了本文的范围。06.2. 鲁棒模型具有平滑的卷积核0为了理解“平滑性”和对抗鲁棒性之间的联系，我们可视化了在第一层训练的模型的卷积核。86900(a) M natural的卷积核0(b) M adversarial的卷积核0(c) M natural (ρ = 1.0)的卷积核0(d) M adversarial (ρ = 1.0)的卷积核图7.模型的卷积核可视化（每个通道16个卷积核×3个通道在第一层）0在图7(a)和图7(b)中，我们可以看到Madversarial的卷积核往往显示出更平滑的模式，通过观察Madversarial的卷积核的相邻权重往往具有相同的颜色可以观察到。由于ResNet中的卷积核只有[3×3]，可视化可能不太清晰，当第一层具有[5×5]大小的卷积核时，附录中的其他架构更清楚地传递了信息。06.3. 平滑核函数提高对抗鲁棒性0在§6.1的直观论证和§6.2的经验发现的基础上，我们直接提出一个问题，即是否可以通过平滑第一层的卷积核来改善模型的对抗鲁棒性。根据讨论，我们介绍了一种极其简单的方法，似乎可以提高对FGSM [21]和PGD[36]的对抗鲁棒性。对于一个卷积核w，我们使用i和j来表示其列和行索引，因此wi,j表示第i行第j列的值。0列。如果我们用N(i,j)表示(i,j)的空间邻居集合，我们的方法简单地是：0wi,j = wi,j + ρ0(h,k) ∈ N (i,j)ρwh,k，(3)0其中ρ是我们方法的超参数。我们将N(i,j)固定为具有八个邻居。如果(i,j)位于边缘，则我们0简单地通过复制边界上的值生成越界值。换句话说，我们试图通过混合相邻值来简化核函数，从而减少相邻差异。该方法几乎没有任何计算负载，但似乎可以提高对FGSM和PGD的对抗鲁棒性，即使Madversarial是使用PGD作为威胁模型进行训练的。在图7中，我们将应用我们的方法后的M natural和Madversarial的卷积核进行可视化，其中ρ =1.0，分别表示M natural (ρ = 1.0)和M adversarial (ρ =1.0)。如可视化所示，结果的卷积核往往显示出明显更平滑的模式。我们测试了通过我们的方法平滑的模型对不同选择的ε的FGSM和PGD的鲁棒性，其中扰动的最大值为1.0。如表2所示，当应用我们的平滑方法时，干净准确率的性能直接下降，但对抗鲁棒性的性能提高。特别是在允许扰动相对较大的情况下，我们的方法有所帮助。例如，当ε =0.09（大约23/255）时，M natural (ρ = 1.0)甚至优于Madversarial。总的来说，我们的方法可以轻松提高Mnatural的对抗鲁棒性，但只能在ε较大的情况下改进Madversarial，这可能是因为M adversarial是使用PGD(ε =0.03)作为威胁模型进行训练的。07. 超越图像分类0我们的目标是探索不仅仅是图像分类任务。我们研究目标检测任务。我们使用RetinaNet[40]作为骨干网络的ResNet50 [23] + FPN[39]。我们使用COCO检测训练集[41]训练模型，并在其验证集上进行推理，其中包括5000张图像，并获得35.6%的MAP。然后我们选择r =128将图像映射到xl和xh，并使用相同的模型进行测试，使用LFC获得27.5%的MAP，使用HFC获得10.7%的MAP。从35.6%下降到27.5%引起了我们的兴趣，所以我们进一步研究是否可以从人类身上期望相同的下降。07.1. LFC上的性能下降0从x到xl的性能下降是可以预期的，因为当HFC被丢弃时，x1可能没有来自原始图像的丰富信息。特别是与图像分类不同，HFC在描述一些对象，尤其是较小的对象时可能起到重要作用。图8展示了一些例子，当输入图像被低频对应图像替换时，一些对象在MAP分数方面的识别效果较差。这种差异是可以预期的，因为低频图像往往模糊，一些对象对人类来说也可能不清晰（如左图所示）。86910Clean FGSM PGD ε = 0.03 ε = 0.06 ε = 0.09 ε = 0.03 ε = 0.06 ε = 0.090M natural 0.856 0.107 0.069 0.044 0.003 0.002 0.002 M natural (ρ = 0.10) 0.815 0.149 0.105 0.0730.009 0.002 0.001 M natural (ρ = 0.25) 0.743 0.16 0.11 0.079 0.021 0.005 0.005 M natural (ρ = 0.50)0.674 0.17 0.11 0.083 0.031 0.016 0.014 M natural (ρ = 1.0) 0.631 0.171 0.14 0.127 0.086 0.078 0.0780M adversarial 0.707 0.435 0.232 0.137 0.403 0.138 0.038 M adversarial (ρ = 0.10) 0.691 0.412 0.192 0.1090.379 0.13 0.047 M adversarial (ρ = 0.25) 0.667 0.385 0.176 0.097 0.352 0.116 0.04 M adversarial (ρ =0.50) 0.653 0.365 0.18 0.106 0.334 0.121 0.062 M adversarial (ρ = 1.0) 0.638 0.356 0.223 0.186 0.3370.175 0.1310表2. 模型对不同对抗性攻击的预测性能，使用不同的ε。0图8.当使用低频图像重复实验时，一些对象的识别效果较差（较低的MAP分数）。标记的对象是引起差异的对象。0图9.当使用低频图像重复实验时，一些对象的识别效果更好（更高的MAP分数）。标记的对象是引起差异的对象。07.2. LFC上的性能提升0然而，当我们检查相反方向的性能差距时，差异变得有趣。我们确定了1684个图像，对于每个图像，其中一些对象在低频图像中的识别效果更好（高MAP分数）比原始图像中的识别效果更好。结果如图9所示。当人类检查时，这些对象为什么在低频图像中的识别效果更好似乎没有明显的原因。这些观察结果加强了我们关于CNN和人类之间的感知差异在图像分类之外的更高级计算机视觉任务中也存在的论点。08. 讨论：HFC只是噪声吗？0为了回答这个问题，我们尝试了另一种常用的图像去噪方法：截断奇异值分解（SVD）。我们将图像分解并将其分为一个由主奇异值重建的图像和一个由尾部奇异值重建的图像。通过这个设置，我们发现支持图2中故事的图像要少得多。我们的观察结果表明，CNN利用的信号不仅仅是随机的“噪声”。0论文中使用的代码：https://github.com/HaohanWang/HFC09. 结论与展望0我们研究了图像频谱如何影响CNN的泛化行为，从一个新的角度解释了神经网络的泛化行为的多个有趣解释：数据中存在多个信号，并不是所有信号都与人类的视觉偏好一致。由于本文全面涵盖了许多主题，我们简要重述了主要的学习教训：0•CNN可能会捕捉到与人类视觉偏好不一致的HFC（第3节），导致一般化的谜团，如学习标签混洗数据的悖论（第4节）和对抗性脆弱性（第6节）。0•提高准确性的启发式方法（例如Mix-up和BatchNorm）可能会鼓励捕捉高频信息（§5）。由于准确性和鲁棒性之间的权衡（§3），我们可能需要重新思考它们的价值。0• 对抗鲁棒模型往往具有平滑的卷积核，反之则不一定成立（§6）。0• 在目标检测的背景下也观察到类似的现象（§7），还有更多的结论有待得出。0展望未来，我们希望我们的工作能够成为计算机视觉研究的一个呼吁，其中最先进的技术并不像我们想象的那样重要。0•单一的排行榜数字，虽然可以显著推动研究朝着某个方向发展，但并不能可靠地反映模型与人类之间的一致性，而这种一致性可以说是至关重要的。0•我们希望我们的工作能够开启一个新的测试场景，其中低频对应物的性能需要与原始图像的性能一起报告。0•明确的归纳偏见考虑人类如何观察数据（例如[58，57]）可能在未来发挥重要作用。特别是，神经科学文献表明，人类在识别对象时倾向于依赖低频信号[4，5]，这可能启发未来方法的发展。86920参考文献0[1] Naveed Akhtar，Jian Liu和AjmalMian。防御通用对抗扰动。在IEEE计算机视觉和模式识别会议论文集中，页3389-3398，2018年。20[2] Naveed Akhtar和AjmalMian。计算机视觉中对深度学习的对抗攻击威胁：一项调查。IEEE Access，6：14410-14430，2018年。20[3] Devansh Arpit，Stanisław Jastrzebski，NicolasBallas，David Krueger，Emmanuel Bengio，Maxinder SKanwal，Tegan Maharaj，Asja Fischer，AaronCourville，YoshuaBengio等。深度网络中记忆化的更深入研究。在第34届国际机器学习会议论文集中，页233-242。JMLR.org，2017年。20[4] Bhuvanesh Awasthi，Jason Friedman和Mark AWilliams。更快，更强，更侧重：低空间频率信息支持面部处理。Neuropsychologia，49（13）：3583-3590，2011年。80[5] MosheBar。上下文中的视觉对象。自然评论神经科学，5（8）：617，2004年。80[6] Ronald NewboldBracewell。傅里叶变换及其应用，第31999卷。麦格劳-希尔纽约，1986年。60[7] Sébastien Bubeck，Eric Price和IlyaRazenshteyn。计算约束下的对抗性示例。arXiv预印本arXiv:1805.10204，2018年。10[8] Nicholas Carlini，Anish Athalye，NicolasPapernot，Wieland Brendel，Jonas Rauber，DimitrisTsipras，Ian Goodfellow，Aleksander Madry和AlexeyKurakin。关于评估对抗鲁棒性，2019年。30[9] Nicholas Carlini和DavidWagner。朝着评估神经网络的鲁棒性。在2017年IEEE安全与隐私（SP）研讨会上，页39-57。IEEE，2017年。20[10] Anirban Chakraborty，Manaar Alam，VishalDey，Anupam Chattopadhyay和DebdeepMukhopadhyay。对抗攻击和防御：一项调查，2018年。20[11] Jinghui Chen和QuanquanGu。在训练深度神经网络中缩小自适应梯度方法的泛化差距。arXiv预印本arXiv:1806.06763，2018年。20[12]陈新云，刘畅，李波，金伯利∙卢和宋黎明。使用数据污染对深度学习系统进行有针对性的后门攻击。arXiv预印本arXiv:1712.05526，2017年。20[13] J. Deng，W. Dong，R. Socher，L.-J. Li，K. Li和L.Fei-Fei。ImageNet：一个大规模的分层图像数据库。在CVPR09中，2009年。40[14] Li Deng.用于机器学习研究的手写数字图像MNIST数据库[最佳网络资源]。IEEE信号处理杂志，29(6)：141-142，2012。0[15] Laurent Dinh, Razvan Pascanu, Samy Bengio, and YoshuaBengio.尖锐极小值可以推广到深度网络。在第34届国际机器学习会议论文集中，页码为1019-1028。JMLR.org，2017。0[16] John Duchi, Elad Hazan, and Yoram Singer.自适应次梯度方法用于在线学习和随机优化。0机器学习研究杂志，12(Jul)：2121-2159，2011。0[17] Gintare Karolina Dziugaite and Daniel M Roy.计算具有比训练数据更多参数的深度（随机）神经网络的非空泛化界限。arXiv预印本arXiv:1703.11008，2017。0[18] Angus Galloway, Anna Golubeva, Thomas Tanay, MedhatMoussa, and Graham W Ta