新的目标函数实现高度可转移的有针对性扰动生成方法

we propose a new generative approach for highly trans-ferable targeted perturbations (TTP). We note that the ex-isting methods are less suitable for this task due to theirreliance on class-boundary information that changes fromone model to another, thus reducing transferability. In con-trast, our approach matches the perturbed image ‘distri-bution’ with that of the target class, leading to high tar-geted transferability rates. To this end, we propose a newobjective function that not only aligns the global distribu-tions of source and target images, but also matches thelocal neighbourhood structure between the two domains.Based on the proposed objective, we train a generatorfunction that can adaptively synthesize perturbations spe-cific to a given input.Our generative approach is in-4<77080生成可转移的有针对性扰动0Muzammal Naseer �，†，Salman Khan †，Munawar Hayat §，Fahad Shahbaz Khan †，◦，Fatih Porikli ‡0�澳大利亚国立大学，澳大利亚，§莫纳什大学，澳大利亚，‡高通，美国0†穆罕默德∙本∙扎耶德人工智能大学，阿联酋◦林雪平大学，瑞典0muzammal.naseer@anu.edu.au，{salman.khan，fahad.khan}@mbzuai.ac.ae，munawar.hayat@monash.edu.au0fatih.porikli@gmail.com0摘要0我们提出了一种新的生成方法，用于高度可转移的有针对性扰动（TTP）。我们注意到现有的方法对于这个任务来说不太适用，因为它们依赖于从一个模型到另一个模型的类边界信息，从而降低了可转移性。相反，我们的方法将扰动图像的“分布”与目标类别的分布进行匹配，从而实现高度有针对性的转移率。为此，我们提出了一个新的目标函数，不仅可以对齐源域和目标域图像的全局分布，还可以匹配两个域之间的局部邻域结构。基于提出的目标函数，我们训练一个生成器函数，可以自适应地合成特定于给定输入的扰动。我们的生成方法是无监督的，不需要源域与目标域相同（例如，可以从绘画中学习扰动并在自然图像上进行转移）。0对抗扰动的黑盒可转移性已经得到广泛研究，但将未知模型的决策更改为特定的“目标”类别仍然是一项具有挑战性的任务。在本文中，0我们在ImageNet验证集上从（一个对抗性较弱的）VGG19BN到（一个强大的）WideResNet实现了32.63％的目标转移率，这比以前最好的生成式攻击高出4倍，并且比实例特定的迭代攻击好16倍。代码可在以下网址找到：https://github.com/Muzammal-Naseer/TTP。01. 引言0我们研究了有针对性转移的挑战性问题。0对抗扰动的能力。在这种情况下，对抗者的目标是将未知模型的决策更改为特定的目标类别（例如，将任何绘画图像误分类为消防车，见图1）。这个任务比仅仅将决策更改为随机类别要困难得多。0自然图像0源域0或0绘画0消防车0目标域0或0降落伞0目标0潜在空间0Q0Q 4：生成器<：鉴别器0最大化分布协议0对抗性0增强对抗0图1：攻击概述（TTP）：TTP不是寻找模型学习的类边界信息特定的扰动，而是寻求匹配源域和目标域之间的全局分布统计数据。具体而言，我们的生成器函数被训练成在特征空间中最大程度地匹配扰动源分布、其增强版本和目标分布之间的一致性。重要的是，我们的攻击可以以无监督的方式进行，并且不需要源域与目标域相同（例如，可以从绘画中学习扰动并在自然图像上进行转移）。0目标领域的dom目标类或任何类似类（例如，将“猫”改为“飞机”比改变对“狗”的决策更困难）。因此，目标可转移性可以导致目标驱动的对抗扰动，从而对被攻击模型提供所需的控制。然而，目前的对抗攻击[25, 23, 4, 43, 14, 13,12, 20,41]在黑盒设置中仍然具有挑战性，其中被攻击模型的架构和训练机制未知，并且攻击受到一定扰动预算的限制。0我们观察到现有方法的性能适度77090针对性转移性方法的性能较低是因为它们依赖于模型学习到的类边界信息，缺乏泛化能力。例如，迭代实例0特定攻击依赖于分类得分信息来扰动给定的样本，从而忽略了全局的类别特定信息[25，4，43，13]。这种对抗方向在不同模型之间也有所不同[23]，导致目标转移性差[23，4]。另一方面，虽然通用和生成扰动被设计为编码全局噪声模式[26，35，31]，但它们仍然利用了神经网络学习到的类别印象，这本身不能完全代表目标分布，因此只能实现适度的黑盒愚弄率[36]。此外，它们依赖于分类信息，需要一个监督预训练模型来指导生成器，因此不能直接使用无监督特征[1，9]。另一组技术利用中间特征，但它们要么通过设计找到非针对性扰动[28，37]，要么在转移有针对性扰动的能力上有限[20，14，12，13]。0我们引入了一种新颖的生成训练框架0它通过最大化预训练鉴别器在潜在空间中两者之间的相互一致性来将给定的源分布映射到特定的目标分布。我们的主要贡献是：0• 生成有针对性的可转移性：我们提出了一种新颖的0生成方法来学习可转移的有针对性对抗扰动。我们独特的训练机制允许生成器在训练过程中探索增强的对抗空间，从而增强了推理过程中对抗性示例的可转移性（第3.1节）。0• 互相分布匹配：我们的训练方法是0基于最大化给定源分布和目标分布之间的相互一致性，我们的方法可以为训练生成器提供有针对性的指导，而无需类别边界信息。这使得攻击者可以从无监督特征[1，9]中学习有针对性的生成扰动，并消除标记数据的成本（第3.2节）。0• 邻域相似性匹配：与全局0分布匹配，我们在对抗性和目标类别样本之间引入了基于批次的邻域相似性匹配目标，以最大化两个分布之间的局部对齐（第3.3节）。0我们在各种ImageNet分割和CNN架构上进行了广泛的实验，展示了针对自然和对抗训练模型、风格化模型和基于输入处理的防御的最先进的有针对性的转移能力。结果表明，与最近的有针对性实例特定方法和其他生成方法相比，我们的方法具有优势。此外，我们的攻击表现出快速收敛。02. 相关工作0迭代实例特定扰动：在Szegedy等人[40]强调神经网络的脆弱性之后，许多对抗性攻击被引入以研究对抗性示例是否可以从一个模型转移到另一个模型，当目标模型未知时。其中，迭代实例特定攻击[4，43，5]通过迭代使用梯度信息来扰动给定的样本。目标0这种攻击的可转移性非常差[4，23]（如第4节所示）。其他攻击也使用特征空间，通过最大化特征差异[44，11，21]、应用注意力[42]、在反向传播梯度时避免非线性[8]或利用跳跃连接[41]。然而，这些攻击主要是为了增强非针对性的可转移性，这是一个较容易的问题。最近，提出了不同的实例特定（可转移的）有针对性攻击，包括[20]，它引入了三元损失，将对抗性示例推向目标标签，同时增加它们与原始标签的距离。Inkawhich等人[12，13]提出利用特征空间[14]以及分类器信息[13]来生成相对其他实例特定攻击更好的转移性的目标对手。这些攻击[12，13]具有以下限制。a）它们需要访问一个带标签的数据集，例如ImageNet[38]，以训练攻击目标类别的一对多二进制分类器。b）它们需要识别最佳性能的单层[12]或多层组合[13]，这增加了攻击优化的复杂性。c）最后，攻击性能随特征质量的下降而显著降低，例如，它在VGG模型上难以转移目标扰动[12]。通用扰动：与实例特定扰动相反，[26]学习一个单一的通用噪声模式，该模式代表整个数据分布，并且可以欺骗大多数样本上的模型。Li等人[22]引入梯度变换模块来找到平滑的通用模式，而[28]表明这样的模式可以在没有任何训练数据的情况下找到。虽然基于通用扰动的攻击[26，27，28，22]是高效的（攻击者只需在推理时将噪声添加到任何给定的样本中），但它们在产生可转移的对手方面的能力有限，这些对手可以在不同的数据分布和模型之间推广[35，31]。生成扰动：生成对抗性扰动比直接优化通用噪声[37，35，31]效果更好。Poursaeed等人[35]首次提出了将扰动调整到输入样本的生成方法。Naseer等人[31]通过相对论训练目标改进了这个框架，该框架还允许跨域转移性。我们的方法属于生成类别，并且可以通过单次前向传递适应输入样本。与[37，35，31]不同，我们寻求通过匹配源和目标的分布来欺骗模型。tion matching and neighbourhood similarity criteria. Ourproposed framework does not require labeled source or tar-get data and can extract target perturbations from a discrim-inator model trained in an unsupervised manner while pre-vious generative methods are dependent on class-boundaryinformation learned by the model. Further, our method con-verges faster (Sec. 4) and provides improved targeted trans-ferability owing to its novel loss and training mechanism.3. Generating Targeted Adversariesfool a model to misclassify any given input to a specific tar-get class t. We assume access to source and target domaindata represented by P and Q, from which the source and tar-get class samples are obtained i.e., xs ⇠ P, xt ⇠ Q. Thesource and target domains are likely to be non-aligned i.e.,P 6= Q, making it challenging to achieve targeted transfer-ability of adversarial perturbations. We also consider a per-turbed source datas of adversarially ma-nipulated samples xx0s = clip min(xs + ✏, max(W ⇤ G✓(xs), xs � ✏))77100s �  P  0 ，其中 x 00s =  x s + δ .  x s ， x 00s 和0x t  表示源域、对抗性和目标域样本，而 D ( x s ) ， D ( x 00s ) 和 D ( x t ) 是它们的对应关系。03.1. 生成模型0我们提出了一种生成方法来扰动源域的 x 0 。0将源域样本 x s转换为指定的目标类别。该框架（见图2）由一个生成器 G �和一个判别器 D 组成，分别由参数  � 和参数化。生成器函数 G �学习将源图像映射到目标类别的映射，使得输入图像的变化最小，即对抗性噪声 δ 在l1范数距离 �下严格受限。这通过使用可微分的剪切操作将来自 G �的无界对手投影到 x s 的固定范数距离内来实现。0�，（10其中，W是一个具有固定权重的平滑算子，可以在不违反l1距离约束的情况下减小高频率。等式1中的平滑投影（在图2中表示为P）不仅将生成器的输出严格限制在l1范数内，还鼓励避免冗余的高频率[ 34]，从而使生成器能够收敛到一个更有意义的解。0现有的对抗性攻击生成模型0[ 35 ,  31 ]利用判别器的决策空间来制造扰动。在这种情况下，判别器学习到的类边界信息被用来欺骗DNN模型（例如，对于ImageNet，判别器在1k个类上进行预训练）。这种依赖关系是有问题的，因为攻击者必须能够访问在大规模标记数据集上训练的判别器[ 3]。然后，攻击者试图学习目标类别的样本。0算法1 生成TTP0要求：源数据 X s ，目标数据 X t ，预训练的判别器。0tor  D ，扰动预算  � ，损失准则  L G 。0确保：随机初始化生成器 G � 。01: 重复执行 2: 随机抽样小批量数据 x s  � X s  和 x t  � X t03: 创建源小批量数据的增强副本  ˜ x s 。04: 将 x s 和  ˜ x s  通过生成器进行前向传播，生成无界对手； x 00s05: 使用等式1来限制对手的行动，使其满足以下条件：0kx00s−xs k1�� and k˜x00s−˜xs k1��06: Forward pass x00s, ˜x007: Compute the matching losses; L, Laug and Lsim usingEq. 3, 4 and 8, respectively.08: Compute the generator loss given in Eq. 9.09: Backward pass and update G�010: until G� converges.0class impressions using either cross-entropy (CE) [35] orrelativistic CE [31]. Thus, the generated perturbations aredirectly dependent on the quality of the discriminator’s clas-si�cation space. Furthermore, the generated adversaries aredependent on the input instance-speci�c features and do notmodel the global properties of the target distribution, result-ing in only limited transferability.0To address above limitations, our generative design mod-0els the target distribution Q and pushes the perturbed sourcedistribution P0 closer to Q using the latent space of D,0kδk1��, s.t., D(x00s) � D(xt). (2)0This global objective provides two crucial bene�ts. First,reducing mismatch between perturbed and targetdistribu- tions provides an improved guidance to thegenerator. The resulting perturbations well align the inputsamples with the target distribution, leading totransferable adversaries. Second, the distributionsalignment task makes us independent of the D’sclassi�cation information. In turn, our approach canfunction equally well with a discriminator trained in aself-supervised manner on unlabelled data [1, 9]. In ourcase, we simply align the feature distributions from D tomatch P0 and Q. Thus, for a given sample x,n-dimensional features are obtained i.e., D(x) 2 Rn. If D istrained in a supervised manner on ImageNet then n =1000, and if D is trained in an unsupervised fashion then nis equal to the output feature dimension.03.2. Distribution Matching0We measure the mutual agreement between P0 and Q us-0ing Kullback Leibler (KL) divergence de�ned on discrimi-!!!!!"!""!"!!""!!&) !"&) !""6DKL(QkP 0), and not a valid distance measure, we defineour loss function for distribution matching [19] as follows:L = DKL(P 0kQ) + DKL(QkP 0).(3)As a regularization measure, we add augmented versionsof the source domain samples during distribution match-ing.This enables the generator to focus specifically onadding target class-specific patterns that are robust to in-put transformations. To this end, we randomly apply rota-tion, crop resize, horizontal flip, color jittering or gray scaletransformation to create augmented samples ˜xs from theoriginal xs. The ˜xs ⇠ ˜P are passed through the G✓ andthe perturbed augmented samples ˜x0s ⇠ ˜P 0 are projectedusing Eq. 1 to stay close to the augmented samples i.e.,k˜x0s � ˜xsk1  ✏. No augmentation is applied to the targetdomain samples. We then pass ˜x0s through the discrimi-nator and compute the mutual agreement between D (˜x0s)and D (xt) as follows:Laug = DKL( ˜P 0kQ) + DKL(Qk ˜P 0).(4)The impact of data augmentations and their effectivenessfor our proposed targeted attack is studied in Sec. 4.3.3. Neighbourhood Similarity MatchingThe above objective promotes alignment between thedistributions but does not consider the local structure e.g.,the relationship between a sample and its augmented ver-sions. For a faithful alignment between perturbed sourcesamples and the target class samples, we propose to alsomatch the neighbourhood similarity distributions betweenthe two domains. Specifically, consider a batch of targetdomain samples {xit}Ni=1 and a batch of perturbed sourcedomain samples {x0is }Ni=1. For the case of x0s, in a giventraining batch, we compute a similarity matrix Ss whoseelements encode the cosine similarity between the originalsample and its augmented version ˜x0s, i.e.,Ssi,j =D (x0,is ) · D (˜x0,js )kD (x0,is )kkD (˜x0,js )k.(5)In contrast, for the case of xt, we compute similarity be-tween only the original target samples (no augmentations)as we need to model the local neighbourhood connectiv-ity in the target domain. This choice is impractical for thesource domain case where many categories co-exist, whilefor the target distribution, we assume a single category.Thus the target similarity matrix St is computed as,Sti,j =D (xit) · D (xjt)kD (xit)kkD (xjt)k.(6)The resulting similarity matrices are normalized along therow dimension with softmax to obtain probability estimates,¯Si,j =exp(Si,j)Pk exp(Si,k), where, S 2 {Ss, St}.(7)Here, each term shows the probability with which the twosample pairs are related to each other. Given ¯Ss and ¯St, we77110Shared Weights0Augmenter0Pretrained0Features0Target Samples Unrestricted Adversaries0Projection (#)0Generator,!!0Discriminator0Source Samples0KL0Divergence0�+�$%&0Neighbourhood0Similarity0�!'(0Distribution Matching0Generator Loss0!≈&)(0!≈&)(0Figure 2: Targeted Transferable Perturbations: During training, TTP matches adversarial and augmented adversarial samples to a target domainwithin discriminator’s latent space for improved transferability. The adversarial samples corresponding to original and augmented images arebounded (via projection) around their source samples to explore adversarial space around natural as well as augmented samples.0nator features D(x00s) and D(xt),0D KL(P0kQ)=10N0N0i=10n0j=10σ(D(x0,i0s))j log σ(D(x0,i0s0σ(D(xi0t))j,0where N represents the number of samples, n is the dis- criminator’s outputdimension, and σ denotes the softmax operation. In simple terms, KL divergencemeasures the difference between two distributions in terms of the aver- agesurprise in experiencing xt when we expected to see x0compute the KL divergence to enforce a loss term that seeksto match the local neighbourhood patterns between sourceand target domains,Lsim =+.(8)Naturally Trained (IN) ModelsSrc. AttackVGG19BNPGD [25]95.67⇤0.310.300.200.25MIM [4]99.91⇤0.920.680.360.47DIM [43]99.38⇤3.102.081.021.29DIM-TI [5]89.71⇤1.080.660.420.45Po-TRIP [20]99.40⇤4.613.211.782.01GAP [35]98.23⇤16.1915.835.897.78CDA [31]98.30⇤16.2616.225.738.35Ours-P97.38⇤45.5342.9026.7231.00Ours98.54⇤45.7745.8727.1832.63Dense121PGD [25]1.2897.40⇤1.781.011.37MIM [4]1.8599.90⇤2.711.681.88DIM [43]7.3198.81⇤9.065.786.29DIM-TI [5]0.9188.59⇤1.180.770.86Po-TRIP [20]8.1099.00⇤11.217.838.50GAP [35]39.0197.30⇤47.8539.2534.79CDA [31]42.7797.22⇤54.2844.1146.01ResNet50PGD [25]0.921.3893.74⇤1.861.89MIM [4]1.583.3798.76⇤3.393.17DIM [43]9.1415.4799.01⇤12.4512.61DIM-TI [5]0.792.1288.91⇤1.471.45Po-TRIP [20]12.0119.4399.22⇤14.4115.10GAP [35]58.4771.7296.81⇤64.8961.82CDA [31]64.5873.5796.30⇤70.3069.2777120i，j0¯ t0i，j log0¯ S0i，j ¯S 0i，j0X0i，j0¯ s0i，j log0¯ S0i，j ¯S 0i，j03.4. 总体损失函数0最后，通过小批量优化更新生成器参数：0通过最小化以下损失（算法1）更新生成器参数：0LG = L + Laug + Lsim. (9)0该损失鼓励生成器扰动源样本，不仅匹配目标分布的全局特征（L +Laug），还匹配基于邻域连接的局部信息（Lsim）。04. 实验0我们的生成器G�基于ResNet架构[16]，0并输出与输入相同大小的对抗样本（图3）。该生成器架构与基线生成性攻击[35,31]中的相同。我们的鉴别器D是以监督或自监督方式预训练的。对于训练G�，我们冻结D。我们使用Adam优化器[18]，学习率为10−4（β1 = 0.5，β2 =0.999），进行20个周期的训练。对于源域数据，我们使用ImageNet训练集中的50k个随机图像。我们的方法对于源样本的选择不敏感，因为它可以从其他领域（例如绘画）学习可转移的扰动。与其他生成方法[35,31]类似，我们固定源数据。对于目标域数据，我们使用从ImageNet训练集中收集的每个目标的1300个图像（不包含其原始标签）。我们使用基线攻击的作者提供的默认设置或实现。同样，我们使用开源的（预训练的）风格化[7]、对抗性[39]和净化器（NRP）[29]模型来评估鲁棒性。04.1. 评估设置0我们在ImageNet验证集上进行推理（50k个样本）。0样本）。推理时不应用任何数据增强。扰动预算严格限制，并在每个实验中明确说明，遵循标准做法l1 ≤ 16 [4, 14, 13]和l1≤ 32 [31,22]。我们对所有ImageNet验证集样本（除目标样本外）进行扰动，使其归类为预定义的目标类别。我们对所有给定的目标重复此过程，并报告所有目标的平均Top-1（%）准确率。我们在两个主要设置下比较我们的方法（10个目标和100个目标），如下所述。10个目标：我们进一步考虑两个设置。（a）10个目标（子集源）与[12]一致，在推理时具有源类别的子集。（b）10个目标（全部源）是一个更具挑战性的大规模设置。0目标（子集源），与[12]一致，在推理时具有源类别的子集。（b）10个目标（全部源）是一个更具挑战性的大规模设置。0VGG19 BN Dense121 ResNet50 ResNet152 WRN-50-20V ens Ours 97.34 � 71.41 71.68 50.78 48.030我们的-P 57.91 97.41 � 71.35 55.57 53.450我们的 58.90 97.61 � 68.72 57.11 56.800D ens  我们的 76.96 96.25 � 88.81 83.48 81.850我们的-P 73.09 84.76 96.63 � 76.27 75.920我们的 78.15 81.64 97.02 � 80.56 78.250R ens  我们的 90.43 94.39 96.67 � 95.48 � 92.630表1：目标可转移性：{ 10个目标（全源） }在10个目标上，通过对49.95KImageNet验证样本进行平均，得到的Top-1目标准确率（%）。扰动预算：l 1 ≤16。我们的方法在特定实例和生成方法上都大大优于以前的方法。'*'表示白盒攻击。Ours-P表示在绘画上训练的TTP。0因为源图像可以来自除目标类别以外的所有ImageNet类别。为了保持一致性和直接比较，十个目标类别与[ 12]中相同。0- 10个目标（子集源）：根据[ 12]，对于每个目标类别，属于其余9个类别（除目标类别外）的450个源样本成为输入，以转移到所选目标的G �。0-10个目标（全源）：对于每个目标类别，ImageNet验证集中所有999个源类别（除目标类别外）的样本被考虑，即对于每个目标类别，999个类别的49950个样本成为G �的输入。0100个目标（全源）：我们将ImageNet1k类分为100个互斥的集合。每个集合包含10个0类。我们从每个集合中随机抽取1个目标，创建100个目标（有关详细信息，请参阅附录E）。生成器针对这些目标进行训练，并在100个目标（全源）设置下使用与10个目标（全源）相同的协议在ImageNet验证集上进行评估。Src.AttackVGG19BNDense121ResNet50VG19BNA[14 ]–0.80.6FDA-fd[12 ]–3.02.1FDAN [13 ]–6.05.4CDA[31 ]–17.8217.09Dense121AA [14]0.0–0.0FDA-fd [ 12]34.0–34.0FDAN [13 ]42.0–48.3CDA[31 ]4.84–53.73fol-anetriorin-ilityura-:tur-77130靛蓝文鸟0洋蓟0斑马0木兔0起重机0大象0消防车0消防车0消防车0消防车0消防车0消防车0图3：目标对手0由TTP生成器生成的目标是为了最大化与Dense121ImageNet模型的'消防车'分布的一致性。第一行和第二行0展示对抗生成器的干净图像和无限制的输出，分别是第三行显示有效投影后的对手。请参阅附录F，了解更多定性示例，包括来自某个网络族群的不同源模型学习的目标模式之间的比较。0我们的-P – 48.56 44.470我们的 – 48.29 47.070我们的-P 59.81 71.320我们的 61.75 – 69.600ResNet500AA [14] 1.1 2.0 –0FDA N [13] 32.1 48.3 –0CDA [31] 68.55 75.68 –0Ours-P 75.18 85.710Ours 79.04 84.42 –0表2：目标可转移性：{10个目标（子源）}10个目标的Top-1准确率（%）。我们的方法在转移目标扰动方面显示出显著改进，与生成方法以及基于特征的实例特定方法[12,13]相比。扰动预算：l1 ≤16。只显示黑盒攻击结果。Ours-P表示在Paintings上训练的TTP。04.2. 攻击协议和结果0我们在以下情况下评估黑盒目标可转移性：0以下情况。 (a)未知目标模型：攻击者可以访问在标记数据上训练的预训练判别器，但对目标模型的架构一无所知。 (b)未知决策空间：攻击者可以访问以无监督方式在未标记数据上训练的预训练判别器，但不知道目标模型学习的架构和类边界信息。 (c)未知防御：攻击者不知道目标模型部署的防御类型，或者是否应用了任何防御，例如防御可以是输入处理方法或鲁棒训练机制，如对抗训练。04.2.1 未知目标模型0自然训练：我们评估自然训练的ImageNet模