对抗性扰动：基于广义表示的深度学习方法在少数据分类中的应用及优势

9025对抗性扰动基于广义表示董俊浩1、王元1、赖建煌1、2、3、谢小华1、2、31中山大学计算机科学与工程学院2广东省信息安全技术重点实验室3机器智能与先进计算教育部重点实验室{dongjh8，wangy975} @ mail2.sysu.edu.cn，{stsljh，xiexiaoh6} @ mail.sysu.edu.cn摘要少镜头图像分类（FSIC）的目标是在有限的数据下识别新的图像类别，这在实践中具有重要意义。在本文中，我们考虑FSIC问题的情况下，对抗的例子。这是一个极具挑战性的问题，因为当前的深度学习方法在处理对抗性样本时仍然很脆弱，即使是大量的标记训练样本。对于这个问题，现有的工作集中在训练网络的Meta学习的方式，依赖于大量的采样少拍任务。相比之下，我们提出了一个简单而有效的基线，通过直接学习概括的代表性，合法《吉他》79.3%置信度标准少量分类器对抗性“狮子”90.1%置信度Adversarialally robust few-shotclassifier没有繁琐的任务采样，这是不可预见的敌对FSIC任务的鲁棒性具体来说，我们引入了一个对抗感知机制，通过合法和对抗示例之间的特征级别差异来建立辅助监督此外，我们设计了一种新的对抗性重新加权的训练方式，以减轻对抗性的例子之间的不平衡。特征净化器也被用作对抗特征的后处理此外，我们的方法可以获得可推广的表示，以保持优越的可转移性，即使面对跨域对抗性的例子。广泛的实验表明，我们的方法可以显着优于国家的最先进的对抗强大的FSIC方法在两个标准的基准。1. 介绍目前的深度学习方法在几个计算机视觉任务上取得了重大进展[8，11，12，14，21]。然而，这些方法通常依赖于高计算预算和丰富的数据，这在现实世界的环境中是昂贵的为了解决这个问题，少镜头学习旨在开发高效的学习算法，*通讯作者对抗性特征图1.对抗性示例可以通过向合法示例添加几乎不可检测的对抗性扰动（针对可见性放大）来获得，这可能导致具有高置信度的与标准的少样本分类器相比，对抗鲁棒分类器学习一个鲁棒的决策边界，以正确分类对抗样本。有限的数据[5，22，25在实践中，深度神经网络也存在来自对抗性示例的潜在安全威胁[28]。对抗样本是一些定制的样本，与人类视觉中的自然样本几乎没有差异，但可以强烈干扰神经网络的推理[3，13]。由于用于构建鲁棒决策边界的数据稀缺，当前的深度学习方法甚至在少数情况下遭受来自对抗性示例的更严重攻击[7]。对抗性鲁棒少镜头图像分类（FSIC）的主要目的是构建在标准少镜头分类中表现良好的模型，同时对对抗性示例具有鲁棒性，如图1所示。由于有限的数据和对抗性样本的存在，对抗性鲁棒FSIC仍然是一个具有挑战性的问题。然而，现有的研究9026关于这个问题的研究仍然很少，并且主要基于Meta学习[7，31，37]，其目的是从大量的少镜头任务中学习模型，然后将其推广到不可预见的少镜头任务。每个任务由来自相同分布的有限训练示例和查询示例将数据集分为不相交类别的元训练集和元测试集。元学习模型在元训练集上进行训练，以快速适应新任务，而元测试集用于评估少量准确性。然而，在元训练集和元测试集之间仍然存在相当大的标签空间差距。从过多的少数镜头任务中学习可能会导致源标签空间上的过拟合，从而加剧不同标签空间的对抗性示例的性能，特别是在跨域场景中。在本文中，超越元学习方式，我们提出了一种新的对抗鲁棒FSIC框架，该框架学习鲁棒嵌入模型并将其推广到不可预见的对抗少数分类任务。基于从对抗示例中提取的特征对训练模型不鲁棒的观察[13]，我们设计了一个辅助对抗感知模块来学习合法示例和相应的对抗示例之间的细微差别。针对对抗样本间的不平衡性，提出了一种基于损失变化的对抗样本重加权方法。我们还附加了一个简单但有效的后处理模块来纯化恶意特征。为了充分评估我们方法的有效性，我们对两个标准的少数分类基准进行了广泛的实验：miniImageNet [30]和CIFAR-FS [1]。该评估包含合法示例和其相应的对抗性示例在少数镜头设置的准确性此外，我们验证了我们的方法，这是在各种攻击强度下进行的我们还进行了跨域传输实验，以证明我们提出的方法对对抗性示例的通用性。我们工作的主要贡献可归纳如下：我们通过直接学习鲁棒嵌入模型，消除复杂的元训练步骤，提出了一个新的对抗鲁棒FSIC基线。我们设计了一种对抗感知方法，用于合法和对抗示例之间的辅助监督。为了解决训练过程中对抗样本之间的不平衡问题，提出了一种基于损失变化的对抗样本重新加权机制.对于后处理，我们引入了一个特征纯化模块来减轻对抗效应。大量的实验表明，我们的算法实现了一个新的国家的最先进的性能对广告，鲁棒FSIC。我们的方法还可以提供额外的好处，对不同的攻击强度的鲁棒性和跨域sce- nario的泛化能力。2. 相关作品少镜头分类。最近的少镜头分类方法主要基于元学习[4，5，16，23，26，41]，其用大量采样任务训练元模型以快速适应不可预见的少镜头任务模型不可知元学习（MAML）[5]首先提出了一个通用的元学习范式，以找到一个更好的模型初始化，它可以快速适应新的少数任务。为了进一步将MAML扩展到深度模型而不过度拟合，[26]结合了元学习和迁移学习，以在比以前更深的模型上构建元分类此外，[4]还探索了元训练阶段样本片段（任务）之间的关系，并通过建模片段级关系设计了另一方面，也存在一些其他的少数镜头分类方法，通过简单地学习一个通用的嵌入[17，20，22，29]。最近，[29]提出了一种结合自监督任务和自蒸馏的简单基线，它可以学习可泛化的特征表示。此外，[22]探索了等变性和不变性特征表示，并提出了一种新的训练策略，通过几何变换联合执行等变性和不变性。类似地，我们的对抗感知模块也可以被视为作用于对抗变换的等价物，而它是用于对抗示例的辅助特征级监督的非几何变换。对抗性辩护。已经提出了一系列防御方法来提高模型对对抗性示例的鲁棒性。其中，对抗训练[10，19，34，38，39]是最有效的策略之一，它可以正则化深度神经网络，以获得更好的对抗样本分类性能。[10]首先提出了基于单步的对抗性示例的对抗性训练，而[19]将其扩展到基于多步的对抗性示例以获得更好的对抗性鲁棒性。除此之外，还存在其他对抗性示例的防御策略，例如随机化[33]，dropout [32]和JPEG压缩[18]等。针对对抗训练过程中对抗样本的不平衡性，[39]根据对手生成步骤设计了一种加权对抗训练尽管如此，这种基于步骤的对手生成权重有时可能过于粗略，无法重新加权。为了解决这个问题，我们进一步提 出 了 一 个 更 精 确 的 基 于 损 失 变 化 的 adversarial-reweighted方法。···9027⊆DAdvAdvx为ohDDD{}D{}∈L.合法示例特征提取器特征敌对意识分类器对抗性示例特征净化器黏着生成分类头实例加权对抗性重新加权培训纯化功能图2.概述我们提出的方法。蓝线和红线分别表示合法流和对抗流。对抗示例及其相应的权重因子是从合法示例生成的。然后，将提取的特征送入三个模块f ω、f p和f ω中进行优化。逆向鲁棒少镜头分类。尽管FSIC在深度神经网络方面取得了显著进展，但这些深度学习方法仍然受到对抗性样本的严重影响对抗鲁棒FSIC旨在对少数情况下的合法和对抗样本进行分类[7，31，37]。对抗性鲁棒少镜头分类的概念首先在[37]中提出，它研究了元学习与对抗性训练的联合。[7]深入探讨了在少数情况下的对抗性漏洞，此外，[31]将对抗鲁棒FSIC扩展到具有快速对手生成的半监督学习。然而，以往的方法都是基于元学习范式，这是复杂的构造丰富的元训练任务。相比之下，我们提出的方法通过强大的知识转移考虑了一个简单但有效的框架。3. 方法在本节中，我们首先描述对抗性鲁棒FSIC和对抗性训练的问题我们提出的框架的概述如图2所示。对比 为了模拟少镜头分类任务，我们从N N个测试类中的每一个中抽取K个示例以及Q个查询示例进行准确性测量。这种设置也被称为N向K射.在此基础上，对抗鲁棒FSIC考虑了对抗样本的额外评估，这些样本可以由采样的少镜头任务的Q特别地，我们的主要网络参数由两部分组成θ=（φ，θ），其中φ表示特征提取器而训练过程中，阶段总的来说，我们首先从训练集训练中学习一个对抗性鲁棒的表示f φ，然后将其转移到具有对抗性示例的不相交少数分类任务中。3.2.对抗样本在 本 文 中 ， 我 们 通 过 直 接 将 通 过 投 影 梯 度 下 降（PGD）攻击[19]生成的对抗性扰动附加到负损失函数上，从合法示例中构造对抗性示例。根据标准原则，我们将对抗扰动限制在l∞-范数界。因此，通过PGD攻击可以形式化如下：3.1.问题公式化对抗鲁棒FSIC的目标是将xt+1=S.xt+ α·sign.t; t;tt; t;tΣΣΣ（一）合法和对抗性的例子在少数镜头设置。我们首先介绍了少镜头分类的制定，它由两个不相交的集（训练，测试）的训练和评估。我们将训练集定义为train =（xtrain，ytrain） 其中ytrainNtrain是总共N个train类内的图像标签。测试集test=（xtest，ytest）由N个测试类构成。 请注意，对于公平竞争，Ntrain和Ntest其中x和xadv代表合法示例和相应的对抗示例。注意，对抗示例被限制在半径为的l∞-范数超球面S中， 在合理的例子周围搜索，α>0是步长以最大化网络参数θ的损失θ。更强大的对抗性示例可以通过迭代地从损失中添加现有对抗性示例的符号梯度来获得QxLθ9028D·AA·1i=0时φ，ω（十θ（x，y）ǁδǁ<єθ1i=0时exp（f（x+δ）i）exp（fθ对数Σ（x+δ）y）i=0时θ我对抗性训练除了正常训练的fash之外，对抗性训练是一种行业标准，用于构建对抗性鲁棒模型，同时保持自然示例的准确性，这可以表示为最小-最大优化[19]。内部最大化是找到最具对抗性的例子，而外部最小化是找到最具对抗性的例子。对抗性的例子从合法的例子，然后把他们的特征嵌入到辅助分类器，以完成一个对抗性的自我监督。这种意识到不利因素的损失可以表述为：旨在通过这些对抗性示例将损失最小化。对抗训练的过程由下式给出：L=E−log最小E最大L（x+δ，y）最小（2）∞exp（fφ，ω（x+δ）1）-Σφ，ω其中是样本对x和相应标签y上的数据分布，δ是在l∞范数范围内生成的对抗扰动。对抗训练可以帮助深度神经网络学习对抗。盟友强大的功能，而自然训练不能。此外，对抗性训练可以被视为一种正则化，使模型专注于扰动不敏感的特征。3.3. 学习逆鲁棒嵌入与对抗性鲁棒的少数镜头分类[7，31，37]的相关工作不同，我们通过使嵌入模型能够学习对抗性鲁棒表示，提出了一种简单但这种嵌入模型可以在以后转移到新的对抗性少数任务中。我们的基线方法主要基于对抗训练，在训练过程中用对抗样本替换合法样本。基线损失定义如下：exp（fθ（x+δ）y）其中ω是辅助分类器的参数，其预测输入特征嵌入是来自合法示例（0）还是来自对抗示例（1）。 fφ，ω（）是网络级联f φ（f ω（））的缩写。这种对抗性自监督学习可以进一步使提取的特征具有对抗性变换的等变性基于对对抗训练示例分配权重有助于最终分类性能的观察[39]，我们还提出了一种通过损失变化的新的对抗重新加权机制。更准确地说，由于损失值在广告生成期间变化很大，因此生成的示例对目标模型更具对抗性。因此，这些高对抗性的例子可以被视为关键的网络弱点，应该得到更多的关注。过去关于对抗性重新加权训练的工作主要是基于对手生成期间的梯度上升步骤[6，39]，而我们则专注于通过损失变化的精确重新加权方法。形式上，逆向重加权训练由下式给出：Lbl=E（x，y）D-logNtrainexp（f（x+δ））（三）Σ Σi=0时其中fθ（·）是包含特征Lar=E（x，y）D−wθ（x）logNtrainexp.F（x+δ）i提取器和分类头，其投射输入标签空间的例子。请注意，在推理时，我们只保留用于获得对抗鲁棒嵌入的特征提取器。基线损失将对抗样本引入交叉熵损失，这可以增强嵌入模型的对抗鲁棒性，同时保持对干净图像的良好性能。目前用于分类的深度神经网络严重依赖于大量数据，而它们在特征表示方面的性能在少样本场景下受到严重限制。因此，我们很难获得与大量数据相同的然而，我们考虑将对抗性信息附加到特征表示中，这可以帮助区分对抗性示例和合法示例。这可以被认为是一种对抗感知机制，它引入了一个具有特征嵌入输入的辅助分类器。在训练阶段，我们首先生成（五）其中wθ（x）是网络θ的实例对抗权重。注意，加权参数wθ（x）在[0，1]中被归一化。在我们看来，每个对抗性示例对对抗性训练都有不同程度的影响，这取决于其对深度神经网络的对抗强度。对抗性训练应该关注更具对抗性的样本，这些样本可以强烈破坏目标网络，而不是对抗性较低的样本。因此，我们根据对抗干扰的程度获得精确的我们可以首先在对手生成阶段测量对抗性示例对最终分类的破坏。迭代梯度上升时间是一个整数，很难区分，因此对迭代梯度上升时间的测量过于粗糙，难以得到对抗因此，我们的主要措施是组成的最少迭代梯度上升（x，y）exp（f（四）θ9029×L乘以t（x），以在从合法样本x产生相应的对抗样本xadv时改变最终预测和损失变化值v。这种新颖的复合对抗性重新加权机制可以为每个实例生成更精确的权重，如下所示：1 + tanh（4−10t（x）/T）v请注意，这个净化器是一个即插即用模块，它直接作用于推理时的输入特征嵌入。此外，这些纯化的特征嵌入被用来分类新的少数镜头类。这可以被视为通过对抗特征净化器建立特征级变换的差异对准，这可以增强对手分类的性能是-wθ（x）= α2+βmax（V）（6）此外，我们还确保合法我Vi∈V其中，T是最大梯度上升时间，V是对手生成中的损失变化值的批次集α和β都是复合对抗性重新加权的加权因子。注意，梯度上升时间和损失变化值的集合都是在对抗性示例的生成期间获得此外，基于梯度上升步骤的重新加权方法可以被视为针对每个对抗示例的全局重新加权，而基于损失变化的机制专注于局部批次以获得更精确的对抗权重。因此，我们的复合对抗性重新加权方法可以平衡两个权重，并专注于更多的对抗性样本。3.4. 对抗性特征净化为了进一步获得更鲁棒的嵌入模型用于少镜头分类，我们提出了一种对抗性特征纯化方法来纯化从对抗性示例中提取的特征注意，净化在于消除对抗扰动的特征级影响。此外，特征净化器是一个后处理模块，它直接作用于从对抗样本和合法样本中提取的特征嵌入，使对抗样本的特征分布接近合法样本的特征分布。这主要是基于观察结果，即正常示例的分类性能远远优于对抗训练的对抗示例[35]。因此，从对抗特征到合法特征的特征纯化可以间接地提高最终的分类性能辅助特征净化损失定义为：在纯化之前和之后保留实施例这种一致性可以特别地被认为是在少数镜头设置中对正常图像进行分类的正则化。3.5. 整体亏损一般来说，训练阶段的整体损失可以通过组合所有提出的对手感知损失Laa、对手重新加权训练损失Lar和fea来获得。实际纯化损失Lfp如下：L=Lar+λ1Laa+λ2Lfp（8）其中λ1和λ2是用于平衡不同损失的权重的参数。在推理阶段，训练的嵌入模型可以直接推广到新的少数镜头类。在验证阶段，为了白盒设置的公平性，我们将特征提取器和净化器都包括到对手生成中。然后，我们通过基于原型的度量学习来评估FSIC在合法和对抗示例上的准确性[24]。4. 实验4.1. 实验装置数据集。为了全面评估我们的方法，我们采用了广泛使用的少量基准数据集mini-ImageNet [30]和CIFAR-FS[1]。[30]第三十话包含100个类，每个类包含600个84 - 84大小的图像。此外，我们使用64个类来训练嵌入网络，16个类用于验证，20个类用于测试。CIFAR-FS [1]具有相同的数据集分割，分别为64，16，20个类，用于训练，验证和测试。按照惯例[7，31]，我们使用PGD方法[19]从合法样本LFP=E（x，y）D公司简介（fφ，p（x），fφ（x））（七）在训练和推理中。实作详细数据。为了公平比较，我们-+LMSE（fφ，p（x+δ），fφ（x））其中MSE是均方误差损失，并且p是特征净化器的网络参数。净化不仅涉及从输入对抗性示例中去除对抗性扰动，而且还保持合法示例的特征9030我们使用三种广泛使用的特征提取主干进行实验：Conv 4 -64 [30]，Conv 4 -512 [40]和ResNet 12 [12]。请注意，4块卷积网络是用64- 64 - 64-64（Conv 4 -64）或512 - 512 -512（Conv 4 -512）通道构建的。与以前的工作[7，16，36]一致，我们也使用相同的ResNet-12作为我们的特征嵌入网络，它包含64，160，320和640通道的四个残差块我们采用9031方法主干1-shot 5-shot[9] PGD [19] CW [2]天然FGSM [9] PGD [19] CW [2]AQ [7] Conv4-64 33.67± 0.3820.53± 0.3018.52± 0.3417.53± 0.3050.12± 0.4130.20± 0.3628.16± 0.36 27.21± 0.36R-MAML [31] Conv4-64 33.98± 0.3725.12± 0.3525.69± 0.2824.73± 0.3550.76± 0.3635.77± 0.3534.19± 0.37 29.61± 0.36我们的Conv 4 -6435.38±0.3929.63±0.3428.37±0.3427.12±0.3350.93±0.3939.16±0.3637.95±0.35 35.90±0.36AQ[7]Conv4-51234.55± 0.3720.72± 0.3018.87± 0.3117.73± 0.3048.02± 0.4129.43± 0.3627.42± 0.35 27.45± 0.36R-MAML [31]Conv4-51234.09± 0.3627.36± 0.3425.74± 0.3426.37± 0.3451.63 ±0.3536.56 ±0.3636.06± 0.38 34.60 ± 0.36我们的Conv 4 -51236.14± 0.4529.23± 0.3327.57± 0.3826.61± 0.3352.09± 0.4038.34± 0.3637.68± 0.36 35.93± 0.35AQ [7] ResNet12 41.89± 0.4421.91± 0.3120.53± 0.3318.38± 0.3364.47± 0.3732.16± 0.3530.80± 0.37 29.62± 0.37R-MAML [31] ResNet12 37.52± 0.3934.75± 0.3927.46± 0.3433.47± 0.3462.75± 0.4144.75± 0.3845.78± 0.38 43.88± 0.32我们的ResNet1245.81±0.4236.03±0.3735.18±0.4034.53±0.3964.60±0.3853.33±0.3950.71±0.40 47.52±0.40表1.在miniImageNet基准测试中，与以前的5路1/5镜头对抗稳健FSIC的作品进行比较。我们报告了自然和对抗样本的平均分类准确率（%），置信区间为95%每列中的最佳结果都是粗体。方法主干1-shot 5-shot[9] PGD [19] CW [2]天然FGSM [9] PGD [19] CW [2]AQ [7] Conv4-64 42.66± 0.4727.31± 0.4226.33± 0.4325.35± 0.4357.63± 0.4440.29± 0.4539.58± 0.48 38.69± 0.45R-MAML [31] Conv4-64 33.51± 0.3728.78± 0.3927.61± 0.3927.12± 0.3952.75± 0.4435.66± 0.4732.66± 0.42 31.47± 0.47我们的Conv 4 -6444.51±0.5139.19±0.4637.45±0.4836.53±0.4658.31±0.4349.14±0.4347.95±0.42 46.45±0.42AQ[7]Conv4-51244.35± 0.4927.94± 0.4526.95± 0.4525.86± 0.4560.13± 0.4540.27± 0.4739.34± 0.47 39.03± 0.46R-MAML [31]Conv4-51239.22± 0.4229.27± 0.4627.82± 0.4527.78± 0.4559.28± 0.4336.94± 0.4834.16± 0.4531.81 ±0.48我们的Conv 4 -51245.27± 0.4939.60± 0.4638.03± 0.4637.00± 0.4660.55± 0.4550.34± 0.4348.69± 0.44 47.04± 0.43AQ [7] ResNet12 47.40± 0.5230.37± 0.4929.55± 0.4828.42± 0.4865.78± 0.4044.91± 0.5144.01± 0.51 42.54± 0.51R-MAML [31] ResNet12 41.78± 0.4834.80± 0.4728.33± 0.4628.86± 0.3265.61± 0.4437.43± 0.5134.77± 0.41 33.15± 0.35我们的ResNet1248.13±0.4840.64±0.4539.29±0.4837.36±0.4766.99±0.4355.53±0.4652.66±0.46 50.61±0.46表2.在CIFAR-FS基准测试上，与以前的5路1/5-shot对抗鲁棒FSIC的工作进行比较。我们报告了自然和对抗样本的平均分类准确率（%），置信区间为95%。每列中的最佳结果都是粗体。随机梯度下降（SGD）作为我们的优化器，初始学习率为0.05，动量为0.9。我们训练了100个epoch的嵌入模型，并在60和80个epoch后将学习率降低了10倍。最大对抗扰动为λ=8，[0，255]中像素值的l∞-范数界。在训练阶段，我们通过PGD方法其中T=7步，步长为α=2以提高效率。我们设α = β= 0。对于复合对抗性重新加权，λ1= 0。5且λ2=0。三是重。4.2. 结果我们在两个标准基准测试中展示了我们的实验结果：表1中的miniImageNet [30]和表2中的CIFAR- FS[1]。我们报告了我们的方法对三种白盒对抗攻击的鲁棒性，即。、FGSM[9]、PGD [19]（20步，步长α=2）和CW [2]（通过PGD优化30步，步长α=0）。（八）。注意，所有实验结果均报告自2000 nm。Domly抽样了几次任务。两个基准上的实验表明，我们的方法优于国家的最先进的对抗性强大的FSIC方法在5路1/5杆设置的显着的margin。在miniImageNet中的单次设置下，我们使用ResNet 12主干的方法在最先进的R-MAML [31]上的合法示例和PGD对抗示例上分别提高了8.2%和7.7%。此外，我们的方法在使用ResNet12的CIFAR-FS上进行1次分类的PGD对抗性示例中，也比所有其他方法的性能高出至少8.6%随着骨干网络的深入，自然样本和对抗样本的分类结果越来越好。这主要是由于更深层次的神经网络具有强大的特征表示能力，有助于最终的分类。此外，我们发现在少数情况下也存在相同的现象，即更深的模型从对抗训练中受益更多[15]。一个合理的原因是，浅层网络在从少量ad学习时可能会感到困惑9032AA指的是adversarial-aware机制。AR是指对抗性重新加权训练。FP表示功能纯化模块。表3. miniImageNet上组件模块的平均分类准确度（%）的消融结果[30]。每列中的最佳结果都是粗体。这可能进一步导致用于分类的粗略4.3. 消融研究在本节中，我们进行消融研究实验以分析我们的三个组件的贡献：对抗感知模块、对抗重新加权训练和特征纯化，如表3所示。消融研究在具有5路1/5拍摄设置的迷你ImageNet [30]数据集的合法和对抗示例上实施。我们采用ResNet12作为我们的主干，它可以显示我们模块的各种组合之间的明显差异。基线方法基于等式（2）中的原始对抗训练，然后转移到由自然和对抗示例组成的不可预见的少量任务。请注意，我们简单的基线结果仍然与以前复杂的元学习方法有竞争力。此外，我们的方法不需要分别训练1次和5次目标模型，这在元学习设置下特别是通过附加一个辅助的对抗感知模块，在合法和对抗示例上的因此，嵌入模型可以学习对抗特征和自然特征之间的细微差别。此外，对抗性重新加权训练对用于训练的对抗性示例赋予不同的这可以导致嵌入模型关注强对抗性样本，而较少关注不能改变预测的弱对抗性样本。特征纯化直接作用于所提取的对抗特征以减少特征级的对抗扰动。 为公平和全面的比较，特征纯化模块在对手生成期间是可感知的，生成的对抗性示例也有效对抗纯化。特征纯化对于从自然样本中提取的特征也是实用的，其对应于表4.在miniImageNet [30]上不同扰动大小下的PGD鲁棒性[19]准确度（%）性能。每一行中的最佳性能以粗体标记。自然特征的平均值的分布对齐。总而言之，我们提出的方法在1-shot场景中对合法和对抗性示例进行分类时，将我们的基线进一步提高了5.2%和6%此外，类似的趋势也发生在5次拍摄设置中。4.4. 对不同攻击强度的为了全面评估我们的方法的有效性，我们探讨了对不同攻击强度的鲁棒性。注意，这里的对抗强度主要由最大扰动大小决定。较大的扰动大小表示较强的对抗攻击。然后，我们使用ResNet12的主干在四个不同的最大扰动大小（ε=4，8，12，16）下测量对抗性的少数攻击鲁棒性，如表4所示。我们的方法可以显着优于现有的对抗FSIC方法在不同的扰动大小。元学习方法的鲁棒准确性随着攻击强度的增强而急剧下降。这与我们的假设是一致的：基于元学习的方法可能会导致源标签空间的过拟合，从而无法适应更强的对抗性攻击。然后，我们在图3中可视化了各种攻击强度的对抗性示例。其他方法的预测置信度随着攻击强度的增加而急剧下降，甚至导致错误的预测。我们可以观察到，我们的方法可以在面对强大的对抗性例子时，正确地保持相当大的信心。4.5. 跨领域迁移学习在这一节中，我们主要探讨了我们的方法在有和没有辅助对手感知模块的情况下的跨域可移植性。跨域传输包括将在数据集A上训练的模型推广到数据集B上的推理。请注意，这两个数据集是跨域的，它们具有不相交的图像类和不同的图像大小。此外，我们评估了合法示例和对抗示例的准确性，AAARFP单次拍摄5次射击自然PGD [19]自然PGD [19]140.5929.1360.6547.412C41.2630.0661.7748.323C42.9430.9861.9048.784C41.9531.2462.0248.755CC43.9033.9462.4249.226CC44.9334.0063.7849.897CC45.3434.4663.9450.098CCC45.8135.1864.6050.71设置扰动阿Q[7]R-MAML [31]我们联系我们31.1935.2240.701次拍摄次数=820.5327.4635.18联系我们9.2223.7431.89联系我们4.6220.2528.05联系我们48.5154.5357.125-shot=830.8045.7850.719033ε = 0 ε = 4 ε = 8 ε = 12AQR-MAML我们“Malamute”“Malamute”“Malamute”“Malamute”“Malamute”“Malamute”“Malamute”“Malamute”“Malamute”“Hourglass”“Malamute”“Malamute”“Hourglass”“Trifle”“Malamute”图3.与AQ [7]和R-MAML [31]相比，在ResNet 12的主干下，在5次射击设置中，对抗性扰动大小g我们还提供了预测类（错误的预测以红色突出显示）和相应的置信度。转移方法1次5次自然PGD [19]自然PGD [19]阿奎43.96 26.36 61.05 37.33然后扩展到unfore-seen少数任务中的对抗性示例。相比之下，元学习方法在跨域情况下不能保持对抗鲁棒性M→CC→MR-MAML 30.55 11.94 45.34 14.99不包括机管局（我们的）机管局（我们的）44.65 37.70 61.76 52.72阿奎35.86 11.12 52.91 18.81R-MAML 28.05 22.47 36.60不包括机管局（我们的）35.98 23.79 52.56 35.11机管局（我们的）36.84 27.62 53.72 40.40设置.一个合理的原因是，对来自源域的大量任务进行元训练可能会导致域过拟合，从而削弱对跨域对抗性示例的鲁棒性。5. 结论表5.准确度（%）符合AQ [7]和R-MAML [31]的跨域转移实验在MiniImageNet（M）和CIFAR-FS（C）之间进行了传输实验。每列中的最佳性能以粗体标记。在几个镜头的设置。特别是，我们的方法是基于获得一个对抗性鲁棒的嵌入模型，它可以通过构建一个分类头（如原型模型[24]）以低成本进一步转移到另一个数据集。跨域传输实验在miniImageNet [30]和CIFAR-FS [1]之间双向实现，如表5所示。请注意，特征净化模块特定于提取的特征嵌入的大小，因此我们在跨域转移环期间忽略此模块显然，通过增加对抗感知模块，转移的对抗样本分类准确率这一结果也表明了辅助监督对对抗性转化的重要意义更具体地说，这种监督可以引导嵌入模型学习表示在这项工作中，我们提出了一个简单但有效的框架工作的adversarial-robust少数镜头分类通过概括的表示，它免除了复杂的元任务的建设。我们研究了对抗样本和合法样本之间的特征级关系，从而设计了一个对抗感知模块。此外，我们提出了一种新的对抗性重新加权方法，通过实例损失变化，使嵌入模型能够专注于高对抗性的例子。提出了特征级分布对齐的后处理特征净化模型。大量的实验表明，我们的方法获得了新的国家的最先进的结果对两个流行的adversarially鲁棒FSIC基准。此外，我们展示了我们的特征嵌入模型在跨域场景中的巨大可移植性。致谢。本项目得到国家自然科学基金（62076258，62072482 ） 、 广 州 市 重 点 领 域 研 究 与 发 展 计 划（ 202007030004 ） 、 广 东 省 自 然 资 源 厅 项 目（[2021]34）的资助。9034引用[1] Luca Bertinetto 、 Joao F Henriques 、 Philip HS Torr 和Andrea Vedaldi。使用可微封闭形式求解器的元学习。arXiv预印本arXiv：1805.08136，2018。二五六八[2] 尼古拉斯·卡利尼和大卫·瓦格纳。评估神经网络的鲁棒性。2017年IEEE安全与隐私研讨会（SP），第39-57页。IEEE，2017年。6[3] 董俊浩和谢小华。视觉上保持的图像干扰对抗deepfake面部交换。在2021年IEEE多媒体和博览会国际会议（ICME）上，第1-6页。IEEE，2021。1[4] 南一飞，陆志武，陶翔，黄松芳。MELR：通过对片段级关系建模进行元学习，用于少量学习。在第九届学习表征国际会议，ICLR 2021，虚拟活动，奥地利，2021年5月3日至7日，2021年。2[5] Chelsea Finn，Pieter Abbeel，Sergey Levine.用于深度网络快速适应的模型不可知元学习。国际机器学习会议，第1126-1135页。PMLR，2017年。一、二[6] 高瑞泽，刘枫，周凯文，牛刚，韩波，程建。对抗训练的局部权重调整。arXiv预印本arXiv：2106.15776，2021。4[7] 米 卡 · 高 布 伦 ， 利 亚 姆 · 福 尔 ， 汤 姆 · 戈 尔 茨 坦 .Adversarially Robust Few-Shot Learning ： A Meta-Learning Approach.神经信息处理系统的进展，33，2020。一二三四五六七八[8] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。NIPS，第2672-2680页2014. 1[9] Ian Goodfellow、Jonathon Shlens和Christian Szegedy。解释和利用对抗性的例子。2015年，国际会议。6[10] Ian J Goodfellow，Jonathon Shlens，Christian Szegedy.解释 和 利 用 对 抗 性 的 例 子 。 arXiv 预 印 本 arXiv ：1412.6572，2014。2[11] Kaiming He，Haoqi Fan，Yuxin Wu，Saining Xie，andRoss Girshick.用于无监督视觉表示学习的动量对比。在IEEE/CVF计算机视觉和模式识别会议论文集，第9729-9738页1[12] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在IEEE计算机视觉和模式识别会议（CVPR）的会议记录中，2016年6月。一、五[13] Andrew Ilyas ， Shibani Santurkar ， Dimitris Tsipras ，Logan Engstrom，Brandon Tran和Aleksander Madry。相反的例子不是错误，它们是特性。在第33届神经信息处理系统集，第125-136页，2019年。一、二[14] 亚历克斯·克里热夫斯基、伊利亚·萨茨克弗和杰弗里·E·辛顿。使用深度卷积神经网络的图像网分类。神经信息处理系统进展，25：1097-1105，2012。1[15] Alexey Kurakin，Ian Goodfellow，and Samy Bengio.大规 模 的 对 抗 性 机 器 学 习 。 arXiv 预 印 本 arXiv ：1611.01236，2016。6[16] KwonjoonLee，SubhransuMaji，AvinashRavichandran，and Stefano Soatto.基于可微凸优化的元学习。在IEEE/CVF计算机视觉和模式识别会议论文集，第10657二、五[17] Junjie Li，Zilei Wang，and Xiaoming Hu.通过擦除-修复学习完整特征以用于少镜头分类。在AAAI人工智能会议论文集，第35卷，第8401-8409页，2021年。2[18] 刘子豪，刘奇，刘涛，徐诺，林雪，王艳芝，温武杰特征蒸馏：面向Dnn的jpeg压缩对抗对抗性示例。2019年IEEE/CVF计算机视觉和模式识别会议（CVPR），第860-868页。IEEE，2019。2[19] Aleksander Madry 、 Aleksandar Makelov 、 LudwigSchmidt、Dimitris Tsipras和Adrian Vladu。迈向抵抗对抗 性 攻 击 的 深 度 学 习 模 型 。 arXiv 预 印 本 arXiv ：1706.06083，2017。二三四五六七八[20] Jathushan Rajasegaran、Salman Khan、Munawar Hayat、Fa- had Shahbaz Khan和Mubarak Shah。自我