没有合适的资源?快使用搜索试试~ 我知道了~
9876468112面向知识提取的对抗性局部分布正则化Thanh Nguyen-Duc1,Trung Le1,He Zhao2,Jianfei Cai1 and DinhPhung1 1莫纳什大学2CSIRO{thanh.nguyen4,trunglm,jianfei. cai,dinh. phung}@ monash.edu,he. ieee.org摘要知识蒸馏是从具有显著知识容量的大模型(教师)中提取信息以增强小模型(学生)的过程因此,探索教师的属性是提高学生表现的关键(例如,教师决策界限)。一种决策边界探索技术是利用对抗性攻击方法,其在球约束内添加精心制作的扰动以清洁输入以创建被称为对抗性示例的教师的攻击示例这些对抗性的例子是信息丰富的例子,因为它们接近决策边界。在本文中,我们制定了一个教师对抗的局部分布,一组球约束内的所有对抗的例子给定的输入。该分布用于通过覆盖可能的教师模型扰动的全谱来充分探索教师的决策边界。然后,通过使用这些对抗性示例输入匹配教师和学生之间的损失来正则化学生模型我们在CIFAR-100和Imagenet数据集上进行了许多实验,以说明这种教师对抗局部分布正则化(TALD)可以应用于提高许多现有知识提取方法的性能(例如,KD、FitNet、CRD、VID、FT等)。1. 介绍将知识从过度深度学习的模型(教师)转移到较轻的模型(学生)被称为知识蒸馏(KD)。当由于设备的受限计算和存储器能力而需要降低部署成本时,轻量学生是有利的Hinton等人[21]最初引入了KD损失的目标,它使教师和学生输出之间的KL分歧最小化。该KD损失利用温度softmax从教师的类概率中提取知识因此,学生网络被开发成比没有KD损失的学生网络更好的分类器。许多研究改进了KD损失[21]以匹配教师和学生输出,例如标签平滑[25],虚拟教师[48]和解耦KD损失[51]。此外,深度学习模型是学习良好的多层次特征表示[3]。在作品中采用了基于知识的知识分配[40,37,9],其中教师提供了用于训练学生的中间表示和提示。这些以前的方法试图操纵各种网络组件,以提高知识蒸馏过程。工作[12]表明,接近分类器决策边界的输入样本比远离它的样本更能影响性能,这有助于正则化研究[20]。因此,我们可以有效地转移教师属性的学生,利用教师决策边界附近的信息样本。探索决策边界的一种策略是利用对抗性攻击方法。对抗性攻击[18,50,13,31,20]通过在球约束内迭代添加专门设计的扰动来生成对抗性示例,从而将干净的输入传输到模型虽然发现决策边界不是对抗攻击的主要目标,但它们彼此密切相关[7]。此外,香草对抗攻击[18,50,13,31,20,5,6]只能创建一个对抗示例,这可能不足以检查可能的教师模型扰动的全部频谱作品[42,34]还展示了随机初始化的攻击如何躺在一起并失去多样性,这降低了对抗性示例的质量。在本文中,我们介绍了一个教师对抗局部分布(TALD)规则化知识的,它可以用来改善许多现有的KD方法。我们的贡献总结如下:• 我们通过引入教师对抗局部分布来探索教师决策边界,这是一组在给定最大化教师损失函数的输入的约束内的所有对抗示例。• 我们通过使用名为Stein Variational Gradient Decent98764682(SVGD)[29]. SVGD在没有任何假设的情况下充分近似了TALD,并创建了更多样化的对抗性示例。然后,通过使用这些对抗性示例输入匹配教师和学生之间的损失来正则化学生决策边界。• 我们表明,我们的方法可以很好地适应各种现有的方法。我们在CIFAR-100和ImageNet上进行了各种实验,以证明我们的TALD正则化可以提高许 多 现 有 方 法 的 性 能 , 例 如 KD [21] , FitNet[40],AT [49],SP [44],CC [38],VID [1],RKD[36],PKT [37],AB [20],FT [24],NST [22],CRD [43],SSKD [4 [11][12][13][14]2. 相关作品知识升华。Hinton等人[21]最初引入了知识蒸馏(KD),从大型深度学习模型(教师)的类概率中提取知识到较轻的模型(学生)。许多方法都采用了KD[21]的类概率知识转移观点来改进模型压缩,例如类距离损失[25],标签平滑[33],自适应正则化[15],虚拟教师[48]和解耦KD损失[51]。此外,深度学习模型在多个层次的特征表示中学习良好[3]。Romero等人利用中间教师表示,通过匹配来自多个名为FitNets的隐藏层的教师响应来训练学生模型[40]。受[40]的启发,已经提出了各种方法来显著改进学生模型。使用注意力机制选择教师特征图,以省略从教师到学生的冗余知识转移[26,22]。教师的知识可以提炼给学生并加以解释[35]。Zhou等人[52]探索教师模型中间层的参数共享跨层知识分配[9]通过匹配教师和学生之间的语义的注意力分配,自适应地为每个学生层分配适当的教师层。这项工作[19]提出了一个有效地利用预先培训的教师对比学习损失是由Tian等人提出的。[43]以捕获相关性和高阶输出依赖性。在工作[11]中提出了分层自监督学习技术,以改善学习。然而,这些方法都没有考虑到教师决策边界的角度。在本文中,我们介绍了正则化利用教师决策边界信息添加一个额外的帮助,以加强教师属性转移,提高学生。我们的正则化损失只要求教师是可学习的,没有额外的可学习模块。因此,我们认为,我们可以很容易地将正则化损失添加到许多现有的KD方法中。对抗性攻击。据报道,最先进的深度神经网络容易受到攻击[18,41]。快速梯度符号法(FGSM)[18],投影梯度下降(PGD)[30]和自动攻击[13]是对抗性攻击的几个例子,它们将特制的扰动添加到干净的输入中以产生对抗性示例。寻找扰动的最流行的技术是使用梯度来最大化给定干净输入的模型换句话说,对抗性攻击找到了一条将干净输入传输到模型决策边界的路径,这意味着欺骗模型预测。由于这些威胁,已经提出了许多使用对抗性示例的防御技术方法,例如[31,39,46,50,28,4]。最近,作品[16,34]提出了对抗性分布训练来提高模型的鲁棒性。在知识蒸馏中,探索教师的属性(例如,决策边界)是提高学生成绩的关键。因此,我们利用攻击来探索教师决策边界使用生成的adversar- ial的例子。然后,这些对抗性的例子被用来规范学生。使用对抗性攻击的知识蒸馏。许多以前的方法使用知识蒸馏将鲁棒性从防守良好的教师转移到学生。工作[17]提出了使用KD损失[21]技术将鲁棒性从鲁棒教师转移到学生。Chan等[8]训练学生模型的输入梯度,以匹配鲁棒教师的输入梯度,从而获得鲁棒性。此外,工作[10]提出了噪声特征提取,一种新的迁移学习方法,提高了鲁棒性。其他作品[23,2]使用对比学习损失来转移鲁棒性。上述这些方法仅试图提取鲁棒性以防御对抗性攻击。Heo et al.的论文[20]提出了一种BSS攻击,用于使用对抗性示例来探索教师的属性,以提高学生的干净输入准确性。这个BSS只能产生一个对抗性的例子,这不足以探索可能的教师模型扰动的全部频谱[42,34]。在本文中,我们的方法充分探讨了教师的属性(例如,决策边界)使用教师对抗局部分布(TALD)。然后通过TALD正则化来正则化学生,以提高干净的输入精度。3. 方法在本节中,我们介绍了我们的教师对抗局部分布(TALD)正则化,它可以用来提高许多以前的知识提取方法的性能KD、FitNet、CRD、SSKD等)。我们表示98764683·|AdvAdvAdv|--|AdvAdv·|·|AdvAdv大分类器教师模型由T和参数θT组成。教师是经过预先培训和固定的。学生是一个较小的模型,需要在老师的帮助下进行训练较小的学生模型S由θS参数化。让输入x∈Rd是我们在空间X 中d维干净输入数据,(x,y)PD是我们的数据标签分布。3.1. 教师对抗性局部分布我们使用对抗性的例子,这是决策边界附近,探索教师决策边界属性称为教师对抗性的例子。然后通过匹配给定这些输入示例的教师损失和学生损失来正则化学生决策边界。这些对抗性输入可以通过攻击教师模型来找到。该攻击在球约束内添加精心制作的扰动以清洁输入x,这最大化了教师loss function生成对抗样本xadv.我们将xadv的球约束表示为C(x)={xadv∈X:||p≤n},其中xadv是对抗示例,并且||p≤ ϵ}, where xadvisadversarial example, and(SVGD)[29]找到TALDPθT(x),因为找到方程中的分母M(x;θT)项。二是难处理。SVGD是一种贝叶斯推理算法,它使用迭代的基于梯度的更新来寻找一组点(或粒子)来近似目标分布。它有一个简单的形式,密切模仿典型的梯度下降优化。这使得SVGD具有高度灵活性和可扩展性,并且可以很容易地与各种最先进的技术相结合,从而成功实现梯度优化。虽然马尔可夫链蒙特卡罗(MCMC)通常很慢并且难以达到收敛,但SVGD通过使用现成的优化求解器有效地近似目标分布,并且很容易适用于大型数据集。它还加强了粒子的多样性,并且在其解决方案中没有明确的参数假设,比其他基于粒子的SGLD更[45]和基于参数的方法(具有强假设,例如目标分布遵循高斯分布)[16]。是相对于范数的球约束半径||·||p.我们记为x12Adv3Adv,的。. .,xkPθT(·|X),教师攻击可以通过最大化运算来定义-其中xi是第i个教师对抗示例(名为在Eq. 1.一、xadv= arg maxxadv∈C<$(x)n(xadv,x;θT),(1)教师对抗粒子),并且K=1,2,. . .,k是对抗样本的数量。在这里,我们表明,我们的方法可以通过使用多个对抗粒子来充分探索教师决策边界,其中,λ是Kullback-Leibler发散损失(DKL)DKL(T(xadv),T(x))[50]。然而,香草攻击方法[50,13,31,20]只能创建一个对抗性的前-香草攻击方法[50,13,31,20]。SVGD用于寻找一组教师对抗粒子来逼近教师对抗局部分布PθT(·|X)。这可能不足以探索整个太空首先,粒子{x12Adv3Adv,的。. .,xk}是初始的-可能的教师模型扰动。此外,作品[42,34]说明了即使是随机初始化的攻击也可以躺在一起并失去多样性,从而降低对抗性示例的质量。我们建议改进香草对抗攻击优化(等式2)。1)具有教师对抗局部分布(TALD),其捕获在约束C(x)内干净输入x周围的所有教师对抗示例的分布,如等式1所示。二、e(xadv,x;θT)通过将均匀噪声添加到约束在C(x)内的x来实现。然后,它们被迭代地更新并投影到C(x),直到达到终止条件(Alg. ①的人。归一化函数M(x;θT)是基于粒子数(K)估计的,这在第5行- Alg的平均算子中隐含地证明。1.一、此外,在Alg. 1项的作用是:(i)第一项使敌对粒子更多地向P θT(x)的高密度区移动;(ii)第二项阻止所有粒子进入PθT(·)的局域模|x)(例如,推动粒子P θT(xadv|x):=0e(x′,x;θT)dx′用于增强颗粒多样性)。 我们凭经验(二)使用l2 归一化(范数2)和径向基函数ker-e(xadv,x;θT)=,则M(x;θT)其中PθT(x)是CθT(x)上的教师条件对抗局部分布,归一化函数是M(x;θT)。在这里,我们表明,TALD 可以充分代表整个空间可能的教师扰动。3.2. 基于多粒子搜索在本文中,我们利用多粒子为基础的搜索方法命名为斯坦变分梯度下降得双曲余切值.得双曲余切值.得双曲余切值.得双曲余切值.C(x)987646842σ2、、、nelF(x′,x)=exp−||2||2其中σ= 1 e-3,per.我们证明了我们的方法在一个推广以前的攻击时,K=1从一个渐进分析的对抗局部分布近似部分的补充材料。3.3. 教师对抗局部分布(TALD)正则化在本节中,我们提出了我们的教师对抗局部分布(TALD)正则化。回想一下,我们形成了TALD,它是使用对抗参数近似的98764685∼−4x={xAdvθS2联系我们·|AdvAdvSAdv .Σ输入:干净的示例xPD。对抗粒子数K。约束C的半径θ。归一化函数normp. 初始噪声因子τ。均匀噪声U(λ,λ)。步长更新粒子η。迭代次数L。核函数F.1 初始化一组K粒子并投射到C(x)约束{xi∈Rd,i∈0.260.240.220.200.180.160.140.12TALDBSS2 3 4 5 6 7 8的颗粒(a) resnet32x40.260.240.220.200.180.160.140.12TALDBSS2 3 4 5 6 7 8的颗粒(b) wrn-40-2{1,2,. . . ,k}|XiadQv(x+τ<$U(−ε,ε))};adv=C2,对于l=1到Ldo对于i=1到K,i,(1+ 1)Qxi,(l)+η_(?)n(xi,(l))n;Adv图1:我们的方法和BSS的多样性比较,随机初始化使用平方误差和(SSE),使用预先训练的(a)resnet32 x4和(b)wrn-40-2架构。该图显示了来自以下数据的三个不同输入的平均值(点)和标准差(条)的平均值:5其中,)=1 ΣKΣCIFAR-100。F(xj,(l),xad v)n,(l)logP(xj,(l))|x)+AdvxadvAdv边缘蒸馏损失,如方程式所示。4.第一章f(xj,(l),xad v)F(x j,(l),x ad v)f(xj,(l),xadv)f(x j, (l) ,x ad v)f;6端部xadvAdv最小ESΣℓ+ℓ+ℓ+λΣ,(4)7端8retur n{x1,(L),x2,(L),. . . ,xk,(L)};θ(x,y)φPDSKD AMTALD输出量:AdvAdvAdv其中是学生交叉熵损失ΔCE(S(x),y)。1Adv2Adv,的。. . ,xk}P θ不(·|x)知识蒸馏损失是由算法1:Stein变分梯度下降求解器,以近似教师对抗局部分布PθT(·|X)。由SVGD生成 我们现在说明如何使用教师对抗粒子进 行 知 识 蒸 馏 。 我 们 提 出 了 TALD 正 则 化 项(TALD),关于位置x处的学生参数θS,标签为y:最小值:=最小值Ex最大值P θ(·|x)Σ∥ℓCE(T(xadv), y)−ℓCE(S(xadv), y)∥2Σ,Hinton等人[21]第20段。 CRD可能是其他现有方法(如FitNet [40],CRD [43]等)的额外损失。λ是加权损失超参数1。4. 实验在本节中,我们在CIFAR-100 [27]和ImageNet [14]上进行了各种实验。在第4.1节中,我们比较了由我们的方法生成的对抗粒子与随机初始化的BSS对抗粒子之间的多样性然后,我们表明,TALD正则化可以提高性能的许多现有的方法在第4.2和4.3节。我们评估教师和学生之间的决策边界相似性,其中,cross-entropyloss function是交叉熵损失函数。(三)第4.4节。粒子数对学生的影响将在4.5节中讨论。所有实验设置请参见补充材料。对于每个x,SVGD从以下样本中采样K个对抗粒子:PθT(x)的高密度区域以充分探索教师决策边界,而vanilla攻击方法[50,13,31,20]仅生成一个对抗性示例。我们使用这些对抗性粒子来通过匹配教师和学生模型之间的交叉熵损失来调节学生的决策边界,如等式2所示。3.第三章。在这里,我们展示了如何将TALD正则化应用于经验知识提取方法。对抗模型是用可微教师模型生成的误差平方和误差平方和得双曲余切值.Kj=1对抗粒子987646864.1. 教师对抗粒子的多样性随机初始化设置. 我们使用预先训练的分类器(例如,resnet32 x4和wrn-40-1体系结构)。所有预训练的模型都是固定的。BSS[20]是一种即时方法,可以在一次运行中生成一个对抗性示例。我们使用随机初始化多次运行BSS,以生成对抗性示例,与使用我们的方法的对抗性粒子相比。我们设置相同的半径球约束条件,更新步长η和均匀噪声并且不需要额外的可学习模块,如Alg. 1.一、因此,我们可以很容易地结合现有的知识-[1]请注意,我们忽略了其他加权损失超参数。98764687因子τ初始化请注意,所有对抗性的例子和粒子都欺骗了分类器。实验装置。我们从CIFAR-100数据集中随机选择了三张图像。给定这些输入,我们使用随机初始化的BSS生成对抗性示例。 对抗粒子是由我们的方法用不同数量的粒子生成的,如图所示。1.一、然后,我们计算这些参数之间的平方误差(SSE),以评估其多样性。在每个粒子数量设置下,我们计算SSE的平均值和标准差的平均值。结果. 注意,在Alg. 其中SVGD的第一项和第二项可以架构准确度(%)wrn-40-275.61wrn-40-171.98wrn-16-273.26resnet5672.34联系我们69.06resnet32x479.42resnet8x472.5ShuffleNetV170.5MobileNetV264.6ResNet5079.34表1:不同预训练模型在高密度区域中采样,并分别从局部分布中强制不同的对抗粒子。以前的攻击方法[50,13,31,20]可以使用随机初始化生成多个对抗性示例,但它可能躺在一起并失去多样性[42]。因此,我们的方法中的对抗粒子是多种多样的。在图1中,与随机初始化的BSS相比,我们的方法具有更大的SSE,因为生成的样本更多样化。4.2. 基于CIFAR-100的TALD正则化设置. 在这个实验中,我们评估了TALD正则化对大型网络(教师T)到较小网络(学生S)的模型压缩的影响。我们使用CIFAR-100[27],它包含50 K训练图像,每个类500个图像我们应用我们的TALD正则化,以提高现有的方法使用CIFAR-100的性能现有的方法是从RepDistiller 2和HSAKD 3存储库实现的。我们的正则化与这些现有的方法相结合,而不改变CIFAR-100上的参数设置。 我们将半径约束设为θ=0。3,粒子数K=4,λ= 0。01.实验装置。知 识 的目标是--目的是利用教师的知识提高学生S的成绩在这个实验中,所有教师T模型都在CIFAR-100上进行了预训练并固定。在CIFAR-100上训练的所有模型的准确性仅在表1中显示。TALD正则化在许多现有方法上进行了深入 评 估 , 例 如 KD[21] ,FitNet[40] ,AT[49] ,SP[44], CC[38], VID[1], RKD[36], PKT[37],[20] , [24] , [22] , [24] , [25] , [26] , [27] , [28] ,[29],HSAKD[11]. 我们为相同的架构风格设置了各种教师-学生神经网络架构(图1)。2)和跨架构风格(图。(3)知识升华设置。BSS[20]是针对知识蒸馏任务提出的攻击。因此,我们将BSS与KD与我们的TALD与KD进行比较[21],如图所示。4.第一章结果. 回想一下,所提出的方法是一种额外的方法。CIFAR-100上的架构。请注意,所有测试精度均来自[43,11]。正则化损失,它可以与许多现有的方法相结合。我们的正则化使用教师对抗粒子探索教师决策边界,然后强制教师和学生损失之间的决策边界匹配在图2中,教师和学生来自相同的建筑风格。当加入我们的TALD损失时,我们不断提高测试精度。在非常不同的教师和学生之间的转移的情况下,我们也增加了现有方法的 性 能 图 。 3. 第 三 章 。 此 外 , 我 们 的 方 法(KD+TALD)优于图2所示的蒸馏(KD+BSS)的对抗方法BSS [20]。4.第一章4.3. 使用ImageNet上的现有方法进行TALD正则化设 置 .在 这 个 实 验 中 , TALD 正 则 化 在 大 规 模ImageNet [14]数据集上进行了评估(120万用于训练,50K 用 于 1K 类 的 验 证 图 像 ) 。 我 们 采 用Torchdistill4[32]中现有方法的实现, ResNet-34作为老师,ResNet-18作为学生。ResNet-34和ResNet-18架构由PyTorch团队发布 我们保留[32]的所有原始设置,并将我们的TALD设置为λ = 0。001,粒子数K =4,半径约束条件K = 0。3 .第三章。实验设置。我们通过将教师ResNet- 34压缩到学生ResNet-18来说明TALD正则化的性能。教师是固定的,预先训练,准确率为73.31%。在没有蒸馏方法的ImageNet上训练的基础学生达到了69.75%的准确率。我们结合我们的方法来改进现有的方法,如KD [21],AT [49],FT [24],CRD [43]和SSKD [47]。结果. 我们计算学生在50K验证图像上的准确性。在图5中,所有学生精度都来自Torchdistill reposi的实现2https://github.com/HobbitLong/RepDistillerhttps://github.com/winycg/HSAKD3 https://github.com/yoshitomo-matsubara/torchdistill98764688现有方法现有方法+TALD→AdvAdvAdv787477737675727471737072现有方法+ TALD7169(c)wrn-40-2→ wrn-40-1(d)wrn-40-2→ wrn-40-1图2:在CIFAR-100上测试学生网络的准确性(%),从教师到学生(教师学生)的一些蒸馏方法。现有方法表示先前的蒸馏方法,而现有方法+ TALD是相应现有方法和我们的正则化的组合。现有方法的所有学生精度都来自[43,11]。tory [32]. 可以看出,我们的TALD正则化可以在尊重现有方法(如KD [21],AT [49],FT [24],CRD [43]和SSKD [47])的基础上持续提高ResNet-18研究的准确性。4.4. 决策边界相似性评价决策边界的相似性检验。为了验证我们的TALD正则化,我们使用Heo等人提出的度量。[20]为了测量两个分类器的判定边界之间的相似性(例如,教师和学生在知识蒸馏任务)。使用BSS攻击计算度量。 对于每个数据点x,BSS攻击决 策 边 界 , 我 们 比 较 了 两 个 向 量 的 幅 度 相 似 性(MagSim)和角度相似性(AngSim)。MagSim表示相对于从干净样本x到决策边界的距离的相似性,而AngSim反映相对于从干净样本x到决策边界的路径方向的相似性。这两个度量具有在[0,1]范围内的值,并且更高的值表示更相似的决策边界。更多信息请参见[20]Setup. 我们使用预先培训的教师和使用第4.2节中的CIFAR-100的学生。我们的基线是没有正则化的KD。我们的方法是比较KD +教师和学生生成教师xT和学生BSS使用对抗性示例来支持学生SAdv对抗性的例子。然后我们得到决策边界。我们计算MagSim和AngSim,教师(vT= xT− x)和学生(vS= xS− x)的扰动向量。由于微扰向量是ob-示于图六、结果. 回想一下,KD方法没有决策通过从干净样本x到模型边界正则化的攻击路径,而KD + BSS没有充分扩展,78(a)resnet32x4→ resnet8x4现有方法+TALD7776757473727178(b)resnet56→ resnet20现有方法+TALD767472X98764689现有方法现有方法+TALD→→→→--·|80807978767874777276707568746664736272607158(c) vgg13→ MobileNetV2(d) wrn-40-2→ ShuffleNetV1图3:在CIFAR-100上测试学生网络的准确性(%),测试了多种蒸馏方法在非常不同的教师到学生架构(教师学生)之间的传输。现有方法表示没有TALD正则化项的先前蒸馏方法,而现有方法+ TALD是相应现有方法和我们的正则化的组合。现有方法的所有学生精度都来自[43,11]。教师的困惑[42] 在图6中,我们的KD + TALD方法可以基于MagSim和AngSim度量一致地改进决策边界匹配,具有各种架构,例如wrn-40-2→wrn-16-2,resnet 56resnet32x4→ resnet8x4。4.5. 教师对抗粒子分析设置. 我们研究了影响学生在CIFAR上表现的教师对抗性parasitic的数量100. 我们在相同的架构风格(教师:resnet56学生:resnet 20)和非常不同建筑风格(教师:wrn-40-2学生:ShuffleNetV 1)与不同的知识蒸馏方法。实现采用RepDistill,所有参数保持一致到第4.2节设置,除了粒子数K。实验设置。我们改变教师对抗粒子的数量K,分别为0,1,2,4,8。当K=0时,意味着我们不使用TALD正则化。我们使用具有不同K的不同知识蒸馏方法 来 研 究 我 们 的 方 法 , 例 如 KD[21] , AT[49] 和SP[44],resnet 56→ resnet 20,以及KD[21]、 VID[1]和FT[24],用于wrn-40-2→ ShuffleNetV 1。结果. 请注意,我们使用粒子来近似教师对抗局部分布P θT(x)。因此,通过增加粒子的数量,我们相应地增加了学生模型的正则化强度。图7显示,通过将K从0增加到4,可以提高测试精度 正如预期的那样,当图中K=8时,过度正则化可能会损害性能。第7(a)段。然而,在这方面,现有方法现有方法+TALD78(a)resnet32x4→ ShuffleNetV2现有方法+TALD7368635879(b)ResNet50→ MobileNetV2现有方法+TALD7775737198764690→联系我们→→770.90.80.7750.60.5730.4KDKD + BSSKD + TALD0.250.200.150.100.05KDKD + BSSKD + TALD0.3710.0069(a) MagSim67(b) AngSimKDKD+ BSSKD图 6 : 使 用幅 度 相 似 性 ( MagSim ) 和 角 度 相 似 性(AngSim)对教师和学生(教师学生)之间的决策边界相似性进行评估。这两个度量具有在[0,1]范围内的值,并且更高的值表示更相似的决策边界。72KD AT SP77图 4 : 在 CIFAR- 100 上 测 试 KD , KD +BSS 和 KD +TALD的学生网络的准确性(%),用于传输各种教师和学生架构(教师→学生)。7170690 1 2 4 8的颗粒7573710 1 2 4 8的颗粒数72.0现有方法现有方法+TALD(a) resnet56→ resnet20(b) wrn-40-2→ ShuffleNetV171.571.0图7:在不同数量的教师对抗粒子K0、1、2、4、8下从教师到学生(教师学生)提取时学生的测试准确度(%)。当K=0时,意味着我们不使用TALD正则化。70.570.0KD州FTCRDSSKD[11][12][13][14][15][16] 在所提出的方法中,我们形成教师对抗局部分布以探索教师决策边界)。我们的策略使用SVGD来估计对抗性局部分布,图5:ResNet-18 student验证的准确性(%)ImageNet数据集(ResNet-34 ResNet-18)。现有方法的所有学生精度均来自[32]。在这些情况下,我们的方法仍然可以优于没有TALD正则化(K=0)的现有方法5. 结论和今后的工作在本文中,我们介绍了一种新的教师对抗局部分布(TALD)正则化,它可以很好地适应许多现有的方法 , 如 KD[21] , FitNet[40] , AT[49] , SP[44] ,CC[38],[2019 - 04 -19][2019 - 04 - 19][2019 - 04- 05][2019 - 0使 用 更 多 样 化 的 对 抗 粒 子 。 我 们 在 CIFAR-100 和ImageNet上进行了深入的实验,TALD不断提高了许多现有知识蒸馏方法的性能。 通过使用少量的对抗粒子,我们以增加训练时间为代价提高了学生的表现。在未来,我们希望减少TALD的运行时间,并使用TALD进行有针对性的攻击。确认这项工作得到了澳大利亚国防科学技术(DST)集团在下一代技术基金(NGTF)计划下的部分支持。KD VID FT测试精度测试精度98764691引用[1] Sungsoo Ahn,Shell Xu Hu,Andreas Damianou,Neil DLawrence,and Zhenwen Dai.知识转移的变分信息蒸馏。在CVPR会议记录中,第9163-9171页[2] Tao Bai,Jinnan Chen,Jun Zhao,Bihan Wen,XudongJiang,and Alex Kot. 特征提取与引导的对抗性对比学习。arXiv预印本arXiv:2009.09922,2020。[3] Yoshua Bengio Aaron Courville和Pascal Vincent表示学习:回顾与新的视角 。IEEE Transactions on PatternAnalysis and Machine Intelligence,35(8):1798[4] Anh Bui,Trung Le,He Zhao,Paul Montague,OlivierdeVel,Tamas Abraham,and Dinh Phung.通过增强局部和全局紧性来提高对抗鲁棒性。欧洲计算机视觉会议,第209-223页。Springer,2020年。[5] Anh Tuan Bui,Trung Le,Quan Hung Tran,He Zhao,and Dinh Phung.对抗训练的统一瓦瑟斯坦分布鲁棒性框架。在国际会议上学习代表,2022年。[6] Anh Tuan Bui,Trung Le,He Zhao,Paul Montague,Olivier deVel,Tamas Abraham,and Dinh Phung.通过协作提升和降级对抗鲁棒性来提高在AAAI人工智能集,第35卷,第6831[7] 曹晓宇和龚振强。通过基于区域的分类减轻对深度神经网络的逃避攻击。在第33届年度计算机安全应用会议的会议记录中,第278-287页[8] Alvin Chan,Yi Tay,and Yew-Soon Ong.它认为重要的东西才是重要的:鲁棒性通过输入梯度传递。在CVPR的诉讼中,第332-341页[9] Defang Chen , Jian-Ping Mei , Yuan Zhang , CanWang,Zhe Wang,Yan Feng,and Chun Chen.跨层蒸馏与语义校准。在AAAI的Proceedings,第35卷,第7028-7036页[10] 陈廷武,张查,戴安娜·马库列斯库。翻新:一种改进对抗鲁棒性的简单迁移学习方法。在CVPR的诉讼,第3243-3252页[11] 杨传广,安竹林,徐勇军。分层自监督增广知识表示。在IJCAI的会议记录中,第1217-1223页[12] 科琳娜·科尔特斯和弗拉基米尔·瓦普尼克支持向量网络。Machine learning,20(3):273[13] 弗朗切斯科·克罗齐和马蒂亚斯·海因。 可靠的评估对抗鲁棒性与不同的参数自由攻击的合奏。在ICML会议记录中,第2206-2216页。PMLR,2020年。[14] Jia Deng,Wei Dong,Richard Socher,Li-Jia Li,KaiLi,and Li Fei-Fei. Imagenet:一个大规模的分层图像数据库。在CVPR的处理中,第248Ieee,2009年。[15] 丁强刚,吴思凡,孙浩,郭家栋,夏淑涛.标签的自适应正则化。arXiv预印本arXiv:1908.05474,2019。[16] Yinpeng Dong,Zhijie Deng,Tanyu Pang,Jun Zhu,and Hang Su.对抗性分布式训练用于强大的深度学习。In H. Larochelle,M.兰扎托河哈德塞尔M. F. Balcan和H.Lin编辑,Proceedings of NeurIPS,第33卷,第8270-8283页[17] 作者:Micah Goldblum,Liam Fowl,Soheil Feizi,andTom Goldstein.逆向稳健蒸馏。在AAAI会议录,第34卷,第3996-4003页[18] Ian J Goodfellow,Jonathon Shlens,Christian Szegedy.解释和利用对抗性的例子。Proceeding ICLR,2014.[19] 何瑞飞,孙舒阳,杨继涵,宋白,齐晓娟.知识升华作为有效的预培训:更快的收敛速度,更高的数据效率和更好的可传输性。在CVPR的会议记录中,第9161[20] Byeongho Heo,Minsik Lee,Sangdoo Yun和Jin YoungChoi。支持决策边界的对抗样本知识提取。在AAAI会议记录中,第33卷[21] Geoffrey Hinton,Oriol Vinyals,Jeff Dean,et al.提取神经网络中的知识。arXiv预印本arXiv:1503.02531,2(7),2015。[22] 黄泽浩和王乃艳随你喜欢:通过神经元选择性转移进行知识提取.arXiv预印本arXiv:1707.01219,2017。[23] 姜紫玉,陈天龙,陈婷,王张扬。通过对抗性对比学习进行鲁棒的预训练。Proceedings of Advances in NeuralInformation Processing Systems,33:16199[24] Jangho Kim,Seonguk Park,and Nojun Kwak.解释复杂网络:通过因子转移进行网络压缩。Proceedings ofNeurIPS,31,2018。[25] 金升旭和金孝恩将知识转移到具有类距离损失的较小网络。在ICLR的Pro-ceedings,2017年。[26] Nikos Komodakis和Sergey Zagoruyko。更加注意的:通过注意力转移改进卷积神经网络的性能。在ICLR的程序中,2017年。[27] Alex Krizhevsky,Geoffrey Hinton,等.从微小的图像中学习多层特征。2009年[28] Trung Le,Anh Tuan Bui,He Zhao,Paul Montague,Quan Tran,Dinh Phung,et al.基于对抗性攻击的全局防御与防御风险保证界限。在人工智能和统计学国际会议上,第11438-11460页PMLR,2022年。[29] 刘强和王迪林。Stein变分梯度下降:一种通用贝叶斯推理算法。 在D. 李 , M 。 Sugiyama , U. 勒 克 斯 堡 岛 Guyon 和R.Garnett,编辑,Proceedings of NeurIPS,第29卷,2016年。[30] Aleksander Madry 、 Aleksandar Makelov 、 LudwigSchmidt、Dimitris Tsipras和Adrian Vladu。迈向抵抗对抗 性 攻 击 的 深 度 学 习 模 型 。 arXiv 预 印 本 arXiv :1706.06083,2017。98764692[31] Aleksander Madry 、 Aleksandar Makelov 、 LudwigSchmidt、Dimitris Tsipras和Adrian Vla
下载后可阅读完整内容,剩余1页未读,立即下载
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- VMP技术解析:Handle块优化与壳模板初始化
- C++ Primer 第四版更新:现代编程风格与标准库
- 计算机系统基础实验:缓冲区溢出攻击(Lab3)
- 中国结算网上业务平台:证券登记操作详解与常见问题
- FPGA驱动的五子棋博弈系统:加速与创新娱乐体验
- 多旋翼飞行器定点位置控制器设计实验
- 基于流量预测与潮汐效应的动态载频优化策略
- SQL练习:查询分析与高级操作
- 海底数据中心散热优化:从MATLAB到动态模拟
- 移动应用作业:MyDiaryBook - Google Material Design 日记APP
- Linux提权技术详解:从内核漏洞到Sudo配置错误
- 93分钟快速入门 LaTeX:从入门到实践
- 5G测试新挑战与罗德与施瓦茨解决方案
- EAS系统性能优化与故障诊断指南
- Java并发编程:JUC核心概念解析与应用
- 数据结构实验报告:基于不同存储结构的线性表和树实现
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)