没有合适的资源?快使用搜索试试~ 我知道了~
7649Tk ML-AP:Top-k多标签学习的对抗性攻击Shu Hu1,Lipeng Ke1,Xin Wang2,Siwei Lyu11University at Buffalo,State University of New York2 Keya Medical{shuhu,lipengke,siweilyu}@ buffalo.edu,xinw@keyamedna.com摘要Top-k多标签学习从输入返回前k个预测标签,具有许多实际应用,例如图像标注,文档分析和Web搜索引擎。然而,这种算法关于专用对抗性扰动攻击的脆弱性先前尚未被广泛研究在这项工作中,我们开发了创建对抗性扰动的方法,这些扰动可用于攻击基于top-k多标签学习的图像注释系统(Tk ML-AP)。我们的方法明确考虑前k排名关系,并基于新的损失函数。在包括PASCAL VOC和MS COCO在内的大规模基准数据集上的实验评估证明了我们的方法在降低最先进的top-k多标签学习方法的性能方面1. 介绍过去十年见证了现代深度神经网络(DNN)的发展,其显著改善了许多计算机视觉问题的最先进性能,或者在某些情况下彻底改变了许多计算机视觉问题的最先进性能。尽管取得了巨大的成功,但万能的DNN模型却令人惊讶地容易受到对抗性攻击[24,6,12]。特别是,具有特别设计的扰动的输入,通常称为对抗性示例,很容易误导DNN模型做出错误的预测。DNN模型对对抗性样本的脆弱性阻碍了机器学习系统在实际应用中的安全采用它还激发了对生成对抗性示例的算法的探索[3,17,14],作为分析DNN模型的漏洞并提高其安全性的一种手段大多数现有的生成对抗性示例的工作都集中在多类分类的情况下[1,24,6,19,3,17],其中一个实例只能被分配给一组互斥类(标签)中的一个。由于标签的单一性,现有的图1:PASCAL VOC 2012数据集图像的前3个多标签图像注释的非靶向和靶向攻击的说明性示例。绿色图标对应于地面实况标签。红色图标表示攻击的目标标签这个数字在颜色上看起来更好。用于多类分类的对抗性扰动生成方案基于前1攻击(即,,CW [3],Deepfool [17]),仅旨在使用对抗扰动来改变顶部预测标签。然而,在诸如图像注释、文档分类和web搜索引擎的许多现实世界应用中,解决多标签学习问题是更自然的,其中实例与标签的非空子集相关联。此外,在这些应用中,系统的输出通常是对应于前k个预测标签的固定大小的标签集合。我们称之为top-k多标签学习(Tk ML)。Tk ML的实际案例为攻击者提供了更多的机会,并为防御者带来了更大的不确定性。有两个常见的设置,我们将考虑随后的Tk ML对抗性攻击。无目标攻击的目的是仅将前k个标签替换为任意k个标签的集合,这些标签是7650∈········不超过||⊆| | | | ≥≥||⊆| |≥| |联系我们∈而不是未篡改输入的真实类。另一方面,有针对性的攻击旨在强制TkML分类器使用不是输入的真实类的k个标签的特定集合作为前k个预测。在这项工作中,我们描述了第一个无针对性和有针对性的对抗性攻击算法的Tk ML的基础上连续制定的排名操作,我们称之为Tk ML-AP。具体来说,我们注意到,要扰乱Tk ML算法的预测,从top-k集合中清除任何真实标签就足够了。有许多不同的方法来实现这一点,但我们将重点放在那些争取“最少的行动”,即。用对原始标签排序的最小改变来扰乱预测对于非目标攻击,这意味着将地面实况标签移出前k个预测,并且对于目标攻击,这意味着将目标标签移动到前k个集合。图1给出了所提出的想法的说明性解释。因此,为Tk ML生成对抗性示例的关键挑战是优化可能导致预测标签的前k个排名的变化。为此,我们引入了一个重新制定的顶部-k总和,本身的梯度下降方法的基础上,有效的数值算法。特别是,我们提供了损失函数的对抗扰动Tk ML是convex的个人预测得分。这具有另一个优点,即使模型可能是非线性的,凸损失函数也可以鼓励许多同样有效的局部最优。因此,任何可能导致模型具有相同损失值的对抗性扰动都将具有相同的影响。我们证明了我们的方法的有效性攻击国家的最先进的TkML算法使用大规模基准数据集(PASCAL VOC 2012[4] 和MS COCO 2014 [11])。 的主要贡献我们的工作可归纳如下:1. 我们提出了第一个算法的非目标和焦油-X.注意,Y和y是x的真值标签的等价符号。我们引入连续多标签预测函数F (x)=[f1(x),f2(x),,f m(x)],与每个f j(x)[0,1],其对应于关于第j个类1的X的预测分数。我们表示[f[1](x),f[2](x),,f[m](x)] 的排序值F(x)按降序排列,即,f[1](x)是最大(前1)分数,f[2](x)是第二大(前2)分数,以此类推。此外,[j]对应于前j个预测分数的标签索引,即,j′=[j],如果fj′(x)=f[j](x). 在对值进行排名时,可以在任何一致的路上了 对于输入x,前k个多标签分类器返回集合Y(k(x)=[1],,[k]for1k1个可能标签的一般多标签分类问题。针对输入x∈Rd,它的真标号用一个二元标号表示条件C为真,否则为0。因此,对于输入X的成功的多标签分类,E(Y,Yk(X))为1,否则为02.2. Top-k和AverageTop-kTop-k排名作为学习目标中的自然元素出现在各种问题中,例如多类学习和鲁棒二进制分类[10,13,8]。但随着1这里,我们假设预测得分被校准,即,取值范围为[0,1]。对于fR,我们可以使用简单的变换,例如1将其映射到[0,1]的范围,而不改变其排名。1+e−f向量y=[y,y,· · ·,y ]∈{0,1}m,其中y =1in-2多标签学习中的另一个策略是返回所有带有预12m表明判断分数高于预设阈值。结果将是x与第j个标签相关联我们也使用Y={j|yj=1}来表示变化的长度。top-k多标签分类可以被认为是使用变化的阈值来固定返回标签的数量。7651····≥j=1| |zKj=1Kj=1∈ΣΣ一个集合中所有元素的函数,前k个排序函数是不连续的、不可微的和非凸的。这使得涉及前k排名的优化具有挑战性。为了减轻top-k运算符的这些问题,我们可以使用top-k函数[5]的平均值,该函数定义为一个集合F={f1,...,fm},k(F)=1Σkf[j]。(二)表1:与先前的作品之间的差异的总结我们的方法(Tk ML-AP)。不难证明(i)k(F)f[k],以及(ii)k(F)=f[k],当f[1]==f[k]。 因此,在top-k的年龄是top-k的紧上界。可以证明k(F)是F[2]。更重要的是,它提供了一个与优化问题[18]。引理1. 对于fi(x)∈[0,1],我们有在top-k预测中。kFool是基于多类问题中k个标签和真值标签之间的决策边界的几何视图。 UAP方法在[25]中被扩展到top-k通用对抗扰动(kUAP)。此外,CW方法在[26]中被扩展到称为CWk的top-k版本然而,所有这些方法仍然是为多类分类而设计的(即, |= 1), 并且不 能直接 适应|= 1), and cannot bedirectly adapted to thek(F) =1minλ[0,1]{kλ+m[fj−λ]+}(3)f[k]∈argminλ∈[0,1]{kλ+m[fj−λ]+},(4)其中[a]+=max{0,a}是铰链函数。为了完整起见,我们在附录A.1中包括了引理1的证明。引理1使我们能够在传统的基于次梯度的优化中结合平均top-k函数2.3. 相关作品由于篇幅所限,我们仅对相关作品进行简要概述。对深度学习模型的对抗性攻击的完整调查可以在[1]中找到。本文的工作和相关工作之间的主要差异总结在表1中。大多数现有的对抗性攻击方法针对多类分类问题(对应于对于所有输入k=1和Y=1的Tk因此,这些方法通常以顶部预测为目标,并旨在通过扰动来改变它。对于无目标的攻击DeepFool [17]是一般决策边界下的最小攻击的概括,通过交换前2个预测的标签[16](UAP)的工作旨在找到独立于单个输入图像的通用对抗性扰动。DeepFool和UAP都是顶级的多类对抗攻击方法。对于有针对性的攻击,FGSM [6]和I-FGSM [9]是两种流行的攻击方案,它们使用DNN模型的梯度来生成对抗样本。CW方法[3]通过使用正则化和修改的约束来改进先前的方法。意识到仅攻击顶部预测可能不是有效的,一些工作引入攻击多类分类系统中的前k(k >1kFool [25]和CWk[26]扩展了原始的Deep- Fool [17]和CW [3]方法,以排除真理标签攻击到更一般的top-k多标签学习。[22]的作者描述了对多标签分类的对抗性攻击,将现有攻击扩展到多类分类。在[27]中进一步研究了该方法,其将生成攻击的问题转移到线性规划问题。为了预测训练数据分布内部的对抗性示例,[15]提出了一种带有附加领域知识约束分类器的多标签攻击程序这些都是用于没有top-k约束的多标签学习。我们在第4节中的实验表明,它们对于top-k设置是无效的。3. 方法在这项工作中,我们引入了新的方法来生成对抗扰动攻击top-k多标签分类。我们称我们的方法为Tk ML-AP。与[22]中的多标签对抗扰动方法不同,我们认为Tk ML问题中的前k排名是我们方法中设计损失函数的基本要求。因此,在我们的方法中,使用2.2节中的结果显式地处理排名关系。具体来说,我们详细描述了我们的方法,用于特定于实例和独立于实例(通用)的非目标攻击(Tk ML-AP-U和Tk ML-AP-Uv)和目标攻击(Tk ML-AP-T)。表1中给出了与先前工作的比较。3.1. 无目标攻击配方。对前k个多标签学习的无目标攻击(Tk ML-AP-U)旨在找到对输入的最小扰动,该最小扰动可以将真值标签的预测分数推到前k个集合之外。它可以公式化为找到输入x的扰动信号z,使得minz2,s.t. E(Y,Yk(x+z))=0, (5)特征方法多非目标通用标签攻击目标Top-k攻击[25]第二十五话联系我们×✓ ✓✓× × ×× × ××✓×✓✓ ✓✓×个[25]第二十五话CWk [26][22]第二十二话TkML-AP-U ( 本 文 )TkML-AP-UV ( 本 文 )TkML-AP-T(本文)✓ ✓×✓ ✓✓× × ××✓✓×✓✓76522ΣΣ−Σ−-你好Σm−k1∈- -m−kj=1这是一个独立的输入[16],所以可以共享的所有m−kj=1λ∈[0,1]m−kj=1λ]+。 替换了tj的定义,即内部项(普适)对抗扰动 z被公式化为ni=1}{|M联系 我们其中E(Y,Y(k)在等式中定义。(1)3. 因为k≤m−算法一:无目标攻击(T k ML-AP-U)1,我们可以重写Eq。(5)用更能揭示事实的对等词形式,1输入:X,预测器F,k,η1,β输出:对抗示例x*,扰动z*1初始化:l=0,x*=x,z0,λ0minzmaxf j(x+z)≤f[k+1](x + z)。(6)z 二 、二j∈Y2当E(Y,Yk(x+z))0做注意,该约束等价于具有Yj f j(x+z)0优化.在Eq.(7)可以进一步去除。具体而言,表示m−kj=1·I[fy′(x+zl)-fj(x+zl)>λl],x′x′.x′=x+zltm+1 −j =[maxy∈Yfy(x + z) fj(x+z)]+,其中j= 1,m.稍微滥用一下符号,我们将t[j]表示为top-j,tm}中的元素。 请注意,有一个SIM卡-λ1+ 1=λ1-η1·M第11章m−kj=1I[fy′(x+zl)−fj(x+zl)>λl]Σ,(九)简单对应,如t[m−k]=[maxy∈Yfy(x+z)]f[k+1](x+z)]+。如第2.2节所示,我们使用{t1,···,tm}的平均值得到了前k值的以下界,因为t[j]≥t[m−k]=[maxy∈Yfy(x+z)−其中ηl是步长,y′maxy∈Y。该迭代过程继续,直到满足终止条件。在算法1中详细描述了整个过程。通用无目标攻击。我们可以将特定于实例的无目标攻击扩展为通用的对抗性攻击f[k+1](x+z)]+。 此外,使用引理1,我们可以重写{t1,···,tm}的top-(m-k)个元素的平均值实例.具体地,给定数据集X = X1,…,Xn和 其 地面 真值标签集,作为1 Σm−kt= minλ+1Σm[tj−Y={Y1,···,Yn}[[maxy∈Yfy(x+z)−f[m+1−j](x+z)]+−λ]+可以是minλ∈[0,1],z1ΣnL(z,λ;xi,Yi),其中L(z,λ;xi,Yi)[maxy∈Yf y(x + z)f[j](x + z)λ]+。引理2. 当λ ≥ 0时,[[a − x]+− λ]+=[a − x − λ]+。引理2的证明推迟到附录A.2。综合所有结果,我们得到了在非目标攻击--[j]其中Yi:=Y(xi),找到实例无关通过去除双铰链功能进一步简化.7653~∩z是等式中的目标函数。(八)、可以使用基于算法1的类似过程来获得对通用无目标攻击的解决方案。有关Tk ML-AP-UV算法的详细信息,请参见附录B.33.2. 针对性的攻击配方。 我们接下来考虑有针对性的攻击,其目的是种植一组k个标签,Y〜{1,···,m}3请注意,定义是最小的:它只改变由F(x)正确预测的标签,i。e. x(x,y)被F错误地预测并且不在Yk(x)中的T rue标签被期望是完整的。4注意,t[j]中的[j]可以不对应于与在t [ j]中的索引相同的索引。f[j]的情况,因为它取决于不同集合的排名和YY =,作为前k个预测。我们制定的top-k多标签定向攻击的学习目标学习(Tk ML-AP-T)为minz2,s.t. Y〜=Yk(x+z)。(十)7654~不超过Σ~jYj=1~j=1j=1,Σkλ+ΣΣΣ~~~~−∈{−}∈联系我们MΣ5l=l+1;f[j](x+z)−Σ22j=1j∈Y22i=1--Eq.中的约束公式(10)精确地反映了扰动的前k个预测标记全部来自目标标记集的要求。放松. 类似于无目标攻击,我们将目标函数重写为适合于优化的形式。mization 具体地说,如果我们有一个Y≈=Yk(x+z),这意味着k等级。中的标签的预测得分之和算法二:定向攻击(T k ML-AP-T)输入:X,预测因子F,Y,最大值,η1,β输出:对抗示例x*,扰动z*1初始化:l=0,x*=x,z0,λ02whilel max iterdo3用等式2计算zl+1和λ l+1。(13);Y中的标签的预测得分发生在最高的位置。4x*=x+zl+1,z*=zl+1;集合Y〜和Yk(x+z)也是相同的,i. e. ,我们有Kj=1fi(x+z)= 0。此夕h如果∈6端部七个 返回x*,z*Y~=Yk(x+z),Σk f[j](x+z)−Σ~fj(x+z)≥0j∈Y根据定义,第二项不能大于第一学期。这表明Σkf[j](x+z)−4. 实验Σj∈Y~fj(x+z)j=1是等式中约束的替代。(十)、我们评估所提出的对抗性的性能当所有目标攻击标签都在前k个位置时,它为零,否则为正。引入拉格朗日形式,我们可以重新公式化Eq。(10)作为minzβz2+Σkf[j] ( x+z ) −Σfj ( x+z ) ,(11)攻击(即、Tk ML-AP-U、Tk ML-AP-Uv和Tk ML-AP-T),其目标由于空间的限制,我们提出了最重要的信息-其中β >0是预先选择的折衷参数。请注意,等式中的第二项为:(11)恰好是前k个元素的和。使用引理1的结果,我们可以去除等式1中的显式排名操作。(十一)、我们特别图5示出了我们的实验的详细信息和结果,以及补充材料5中的更详细信息和附加结果。4.1. 实验设置hav eΣkf[j](x+z)=minλ∈[0,1]{kλ+Σm[fj(x +z)z) λ]+。进一步简化Eq.(十一)收益率数据集和基线模型。我们的实验是基于两种流行的大规模图像注释数据集,mj=1.[fj(x+z)−λ]+,−Σj∈Y~fj(x+z)Σ即PASCAL VOC 2012 [4]和MS COCO 2014 [11]。两个数据集都有多个与每个图像相关联的真标签:每个实例=Σj∈Y~[fj(x+z)−λ]+−(fj(x+z)−λ)在PASCAL VOC 2012和MS COCO 2014中为1.43(超出+j∈Y[fj(x+z)−λ]+=j∈Y[λ−fj(x+z)]++j∈Y[fj(x+z)−λ]+,其中我们使用一个事实,即[a]+−a=[−a]+。引入Sj=2IjY11,1,我们可以重写等式(1)。(11)更简洁的20)和3.67(80)。 所有RGB图像具有在以下范围内的像素强度 0,1,、255。在这两个数据集上,我们训练基于深度神经网络的前k个多标签分类器作为基线模型。对于PASCAL VOC2012数据集,类似于[22],我们采用在ImageNet [21]上预训练的inception-v3 [23]模型和在PASCAL VOC 2012上进行了微调为MS COCO 2014minλ∈[0,1],zβz2+Σm[sj(λ−fj(x+z))]+(12)优化. 这个优化问题也可以用迭代梯度下降方法来解决,如在无目标攻击中。我们初始化z和λ,然后通过以下步骤更新它们:zl+1=(1−βηl)zlΣfj(x′).最初是为多类分类设计的,所以我们通过用sigmoid分类层替换soft-max层将它们转换为多标签模型,如[20]6中所示。我们进一步修改模型以输出前k个预测标签。我们从PAS中的验证集中选择1,000个图像-CAL VOC 2012和MS COCO 2014数据集-ηl j=1(−sj)x′.x′=x+zl·I[sj(λl-fj(x+zl))>0]作为测试集来测试无目标攻击和有目标攻击方法。Mλl+1=λl−ηlsj·I[sj(λl−fj(x+zl))>0]j=1数据集,我们使用基于ResNet50的模型。两种模型7655(十三)耗氧物质这些图像由基线T k ML模型正确预测,即,预测的前k个标签包含5代码:https://github.com/discovershu/TKML-AP。其中η1是步长。在算法2中详细描述了整个过程。当满足终止条件时,算法停止。6在重新训练模型之后,我们在相应的验证数据集上获得了PAS-CAL VOC 2012的0.934mAP性能和MS COCO 2014的0.867 mAP性能,这接近最先进的性能[22,20]。7656--| || |不超过ni=1ni=1n·ASRi=1xi的像素数ΣΣ或者完全来自真实标签。然而,对于通用的非目标攻击,我们需要一个训练数据集来找到通用的扰动。因此,我们从MS COCO 2014的验证集中选择了3,000张图像作为训练集,并评估了来自同一验证集中的另外1,000张图像对于有针对性的攻击,我们选择目标标签,如[3,26]中所示,其中我们考虑三种不同的策略(见图2)。4更多细节)。• 最好的情况。在这种情况下,我们选择k个不是真标签并且具有最高预测分数的标签。这些标签是亚军和被认为是最容易攻击的标签。• 随机案例在这种情况下,我们随机选择k个标签,这些标签不是遵循均匀分布的真实标签。• 最坏的情况。在这种情况下,我们选择k个不是具有最低预测分数的真标签的标签这些标签最难攻击。评估指标。对于特定于实例的非目标攻击和目标攻击,我们使用攻击成功率(ASR)作为攻击性能的评估指标,其定义为ASR=1−1nE(Y(xi),Yk(xi+zi)),(14)其中n是评估数据的数量。较高的ASR值表明相应的方法具有高的粘着性能。此度量扩展了[25] 对于多类分类,Y=1。在通用无目标攻击中,我们使用稍微不同的ASR定义来反映扰动由所有实例共 享 , 因 为 ASR=1−1nE ( Y ( xi ) , Yk(xi+z)). 评估K方法Pascal VOC 2012MS COCO 2014Pert(×10−2)ASRPert(×10−2)ASR3k傻瓜1.6493.75.4961.4Tk ML-AP-U0.5199.60.491005k傻瓜2.3993.59.9165.2Tk ML-AP-U0.5699.30.5310010k傻瓜4.8888.716.4468.1Tk ML-AP-U0.6398.30.59100表2:在两个数据集上k =3、5、10的非靶向攻击方法的Pert和ASR(%)的比较。最佳结果以粗体显示。• 有针对性的攻击(ML-AP):我们将[22]中的秩I算法与损失函数[maxj∈/Pfj(x+z)minj∈Pfj(x+z)]+适应于有针对性的攻击比较方法,其中P包含有针对性的标签(例如:包括地面真值标签)和P=k。 应该提到的是,当我们不考虑目标标签的顺序时,这种损失类似于[26这些方法,连同所提出的方法,即Tk ML-AP-U,TkML-AP-Uv,Tk ML-AP-T,被应用于攻击在数据集上训练的基线模型。4.2. 结果无针对性的攻击。非靶向攻击的性能示于表2中。注意,对于不同的k值,Tk ML-AP-U方法在PASCALVOC 2012数据集和MS COCO 2014数据集上实现了几乎完全的obviation(具有非常高的ASR值),具有小的扰动尺度(由较小的Pert值表示)。另一方面,简单采用DeepFool方法(kFool)的效果要差得多。这可以归因于在TkML-AP-U中明确考虑前k个预测定量结果得到了证实中所示的PASCAL VOC 2012的示例感知质量,我们定义平均每像素pertur-所有成功的攻击图二、 虽然kFool和Tk ML-AP-U都显示出有效的从基线攻击前k个预测的能力Pert=1Σnzi(十五)Pert的较低值意味着扰动较不易察觉。选择超参数β以实现ASR与Pert之间的良好折衷。比较方法。我们用实验来测试TkML-AP的实际性能。然而,由于没有专门的对抗性扰动生成方法用于前k个多标签学习,我们将几种现有的针对一般多标签或多类学习设计的对抗性攻击作为比较基线。具体来说,我们使用以下方法。• 无目标攻击(kFool):我们将kFool [25]算法中一个地面实况标签的预测得分替换为所有地面实况标签中的最大预测得分,作为无目标攻击比较方法。• 通用攻击(kUAP):我们使用来自[25]仅用我们修改的无目标攻击比较方法替换内部k在许多情况下,扰动是可见的,如图所示二、当在实践中部署时,有可能攻击是针对top-k预测而设计的,但实际系统用于查找top-k’输出。换句话说,在攻击k中使用的截止秩与在系统k’中使用的截止秩之间可能存在失配。注意,通过Tk ML-AP-U的定义,对于k′k的top-k′的情况,对top-k多标签学习系统的成功攻击必然是对同一系统的成功攻击。这是因为顶k′集是顶k集的子集。另一方面,我们进行了一组实验来验证当k′> k时的情况。具体来说,在表3中,我们展示了分别针对k=3和k′=5、10运行T k ML-AP-U的结果。注意,在这些情况下,效应的有效性从k = k ′的情况显著降低。这是预期的,因为成功的top-k攻击将把原始的top-k标签移动到大于k的排名。然而,我们的目标Eq。(8)不能避免的情况下,一些方法,kFool一般引入较大的扰动在7657~图2:PAS-CAL VOC 2012上的非目标攻击方法的可视化示例。扰动被缩放20倍以增加可见度。绿色图标表示被攻击的真相标签(GT)这个数字在颜色上看起来更好。k′方法(k=3)Pascal VOC 2012MS COCO 2014Pert(×10−2)ASRPert(×10−2)ASR3 Tk ML-AP-U0.5199.60.491005 Tk ML-AP-U0.243.60.4326.510 Tk ML-AP-U0.180.30.353.9表3:当设置k =3时,在两个数据集上,在k’= 3、5、10中的无针对性攻击方法的Pert和ASR(%)的比较。K123度量Pert ASR Pert ASR Pert ASRk个UAPTk ML-AP-UV0.51六十三点九0.13八十六点五0.51七十四点六0.15八十二0.51七十三点二0.16八十点五表4:对MS COCO 2014的通用非靶向攻击方法的Pert和ASR(%)的比较。原始标签被放置在k和k′之间,因此对top-k情况的成功攻击可能不会推广到对top-k′(k k′)情况的成功攻击。图3:通用非目标攻击方法的示例在MS COCO 2014上k = 3。这个数字在颜色上看起来更好例K方法Pascal VOC 2012MS COCO 2014Pert(×10−2)ASRPert(×10−2)ASR3ML-AP0.4496.20.55100最好ML-AP-T0.4496.60.571005ML-AP0.50 920.6699.9ML-AP-T0.5092.80.6999.910ML-AP0.5584.20.8199.8ML-AP-T0.5686.40.8599.83ML-AP0.59 860.9599.8随机ML-AP-T0.5989.80.9999.95ML-AP0.6277.91.1196.5ML-AP-T0.6383.71.1897.810ML-AP0.6367.71.2284.2ML-AP-T0.6476.41.2894.53ML-AP0.66 681.08 90最糟糕ML-AP-T0.6675.81.1491.45ML-AP0.6753.31.1881.8ML-AP-T0.6966.61.2587.210ML-AP0.67 39.11.25 59ML-AP-T0.69571.3073.1表5:在两个数据集上的最佳、随机和最差情况下,具有k=3、5、10的定向攻击方法的Pert和ASR(%)的比较。最佳ASR结果以粗体显示。比那些在实例特定攻击中的视觉扰动更大。有针对性的攻击在表5中,我们评估了Tk ML-AP-T(我们的方法)的性能,并将其与ML-AP方法在三种攻击设置(最佳、随机和最差)中进行比较,如第4.1节所述。在两个数据集上并且在所有情况下,对于不同的k值,TkML-AP-T优于ML-AP,并且在具有可比较的扰动强度的ASR通用无目标攻击。 表4中示出了通用非目标攻击的结果。在MS COCO 2014数据集上,Tk ML-AP-UV在所有情况下都优于kUAP。 图3进一步展示了宇宙的视觉示例-具有Tk ML-AP-UV和k个UAP(k=3)的sal扰动。利用类似的扰动,Tk ML-AP-Uv成功攻击所有前3个标签,但存在k个UAP未能攻击的图像。另一方面,由于实例独立的要求,为了实现相同级别的攻击,通用无目标攻击需要引入特别地,随着k的增加,TkML-AP-T和ML-AP方法之间的ASR评分的差距也增加。另一方面,我们注意到,当k值增加时,ASR这是因为攻击方法需要花费更多的努力来将集合Y中的标签放置到前k个位置。当根据最差设置选择目标标签时,攻击对于两种方法变得更具挑战性,反映出需要更大的扰动来修改对更困难标签的预测。使用Tk ML-AP-T的定向攻击的可视化结果7658图4:最佳(左上,目标标签接近GT)、随机(左下,目标标签被随机选择)和最差(右,目标标签远离GT)情况下的目标攻击。TA表示针对性攻击标签。扰动被缩放20倍以增加可见度。红色图标表示攻击的目标标签这个数字在颜色上看起来更好和ML-AP在图中示出。4.第一章5. 结论Top-k多标记学习(TkML)有许多实际应用。然而,这种算法的脆弱性方面在这项工作中,我们开发了白盒生成方法的对抗性扰动Tk ML基于图像注释系统的无针对性和有针对性的攻击。我们的方法显式,itly考虑前k排名关系,并基于新的损失函数。大规模的基准数据集,包括PASCAL VOC和MS COCO的实验评估表明,我们的方法在减少国家的最先进的Tk ML方法的性能的有效性。有几个方向,我们希望进一步改善我们目前的方法。首先,我们在当前的工作中只考虑白盒攻击,很自然地将类似的攻击扩展到黑盒设置,其中我们没有详细的模型知识。钉好了。此外,标签不是独立的,并且针对性攻击倾向于更容易用于语义上遥远的标签,例如。,将标签“狗”改为“猫”可能比“飞机”更容易。因此,在我们随后的工作中,我们要考虑的语义依赖性设计,ING更有效的攻击Tk ML算法。我们还将研究对这种攻击的防御作为一个重要的未来工作。致谢。本研究是在美国国家科学基金会的资助下进行的。IIS-2103450。7659引用[1] Naveed Akhtar和Ajmal Mian。对抗性攻击对计算机视觉中深度学习的威胁:一个调查。IEEE Access ,6:14410-14430,2018。第1、3条[2] StephenBoyd , StephenPBoyd , andLievenVandenberghe.凸优化剑桥大学出版社,2004年。三个[3] 尼古拉斯·卡利尼和大卫·瓦格纳。评估神经网络的鲁棒性。2017年IEEE安全与隐私研讨会(SP),第39-57页。IEEE,2017年。一、三、六、十一[4] Mark Everingham 、 SM Ali Eslami 、 Luc Van Gool 、Christo-pherKIWilliams 、 JohnWinn 和 AndrewZisserman 。 Pascal Visual Object Classes Challenge : ARetrospective.International Journal of Computer Vision,111(1):98二、五[5] Yanbo Fan,Siwei Lyu,Yingming Ying,and BaogangHu.平均top-k损失的学习。神经信息处理系统的进展,第497-505页,2017年。三、四[6] Ian J Goodfellow,Jonathon Shlens,Christian Szegedy.解释和利用对抗性的例子。2015年国际学习表征会议。第1、3条[7] Kaiming He,Xiangyu Zhang,Shaoying Ren,and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and patternrecognition,第770-778页,2016中。五个[8] Shu Hu,Yingming Ying,Siwei Lyu,et al.通过最小化排序范围的总和来学习。神经信息处理系统的进展,33,2020。二、四[9] Alexey Kurakin,Ian Goodfellow,and Samy Bengio.大规模的对抗性机器学习。2017年学习表征国际会议。三、十一[10] Maksim Lapin,Matthias Hein,and Bernt Schiele. Top-k多类SVM 神经信息处理系统的进展,2015。二个[11] 林宗义、迈克尔·梅尔、塞尔日·贝隆吉、詹姆斯·海斯、皮埃特罗·佩罗纳、德瓦·拉马南、皮奥特·多尔·拉尔和C·L·劳伦斯·齐特尼克。微软coco:上下文中的公用对象。欧洲计算机视觉会议,第740Springer,2014. 二、五[12] Yanpei Liu,Xinyun Chen,Chang Liu,and Dawn Song.深入研究可转移的对抗性例子和黑盒攻击。2017年学习代表国际会议。一个[13] 吕四维和应一鸣。ROC下面积的一元界。在2018年人工智能不确定性会议(UAI)的会议记录中。二个[14] Aleksander Madry 、 Aleksandar Makelov 、 LudwigSchmidt、Dimitris Tsipras和Adrian Vladu。对抗攻击的深度学习模型2018年国际学习表征会议。1、11[15] Stefano Melacci、Gabriele Ciravegna、Angelo Sotgiu、Ambra Demontis、Battista Biggio、Marco Gori和FabioRoli。多标签分类器中领域知识能减轻对抗性攻击arXiv预印本arXiv:2006.03833,2020。三个[16] Seyed-Mohsen Moosavi-Dezfooli , Alhussein Fawzi ,Omar Fawzi,and Pascal Frossard.通用对抗扰动-选项。在IEEE计算机视觉和模式识别集,第1765三、四[17] Seyed-Mohsen Moosavi-Dezfoooli , Alhussein Fawzi ,and Pascal Frossard. Deepfool:欺骗深度神经网络的简单而准确的方法。在Proceedings of the IEEE conferenceon computer vision and pattern recognition,pages 2574-2582,2016中。第1、3条[18] Wlodzimierz Ogryczak和Arie Tamir。在线性时间内最小化k个最大函数的信息处理快报,85(3):117-122,2003. 三个[19] Nicolas
下载后可阅读完整内容,剩余1页未读,立即下载
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)