QAIR：一种高效黑盒攻击图像检索的方法

3330QAIR：一种实用的查询高效黑盒攻击图像检索算法李晓丹1*，李金凤1，陈跃峰1，叶少凯2，何元1，王淑慧3，苏航4，薛慧1阿里巴巴集团2，EPFL3，计算研究所。技术人员：中国科学院4清华大学THBI实验室人工智能研究所，北京，100084，中国{fiona.lxd，jinfengli.ljf，yuefeng.chenyf，heyuan.hy，hui.xueh}@ alibaba-inc.comshaokaiyeah@gmail.com，wangshuhui@ict.ac.cn，suhangss@mail.tsinghua.edu.cn摘要我们研究了针对图像检索的基于查询的攻击，以评估其对黑盒设置下的对抗性示例的鲁棒性，其中对手只能从数据库中查询访问排名前k与图像分类中的查询攻击（根据返回的标签或置信度得分产生对手）相比，由于难以量化对部分检索列表的攻击效果，该挑战变得更加突出本文对基于查询的图像检索攻击（QAIR）进行了首次尝试，完全颠覆了top-k检索结果。具体而言，设计了一种新的基于相关度的损失度量方法，通过测量攻击前后top-k检索结果的集合相似度来量化攻击效果，并指导梯度优化.为了进一步提高攻击效率，提出了一种递归的模型窃取方法来获取目标模型上的可传递先验，综合实验表明，该攻击在黑盒环境下，对图像检索系统对真实世界中的可视化搜索引擎的攻击评估表明，它成功地欺骗了商业系统，如Bing可视化搜索，攻击成功率为98%，平均只有33个查询1. 介绍尽管它在许多任务例如图像分类[17]，对象检测[7]和图像检索（IR）[37]，深度神经网络（DNN）已被证明容易受到对抗性示例的影响，这些示例可能会触发人类无法感知的扰动[14，10，13]。这种漏洞引起了人们对DNN用于图像检索[24，39]和对象检测[7]的鲁棒性和现实世界部署的*通讯作者。基于白盒传输基于查询目标模型训练数据查询访问一B图1. （一）（左）对抗性攻击的分类。与现有的IR攻击不同，我们的攻击适用于现实世界的场景，因为它只需要查询访问目标模型。（右）图像分类（Cls）的输出是标签或置信度分数，而它是IR中未标记图像的列表。(b)对IR的基于查询的黑盒攻击的演示。给定目标模型，攻击者使用查询来更新和生成对抗性扰动。等人.例如，在数字版权管理中，通过检查从整个图形设计数据库检索的前k个相似设计中是否存在相同的设计来保护原始图形设计通过在受保护的设计上添加对抗性扰动，攻击者可以欺骗目标红外系统检索一些不相关的图像，以逃避专业监视器的审查。因此，研究一种实用的鲁棒性评估技术，对研究红外系统对抗攻击的脆弱性，进而制定相应的对抗措施具有重要意义。对抗性攻击的一般思想是通过最大化某个损失函数来生成沿着梯度方向具有人类不可感知的扰动的对抗性示例，例如。，分类损失[14，11]。然而，如图1所示，IR系统产生用于查询输入的图像列表。这使得很难定义目标CLSIR更少的信息FGSM，MIMFGSM转账BA，HSJA，RGF类别，0.9999UAP、DeepMisR原始查询1初始化扰动+根据最后一个状态更新2+根据最后一个状态更新N+我们…目标红外系统……使用Query攻击3331仅用检索到的列表指示攻击有效性的函数在这种情况下，很难估计梯度来导出有效的攻击。虽然在攻击分类模型时存在一些基于决策的方法[3，5]，这些方法仅依赖于最终决策来指示攻击是否成功，但它们通常需要大量的查询来通过贪婪搜索跨越决策边界[10]。此外，在对抗性攻击中，用于引导攻击过程的梯度通常基于目标模型的知识来计算，例如，模型的结构和参数。针对红外系统的对抗性攻击的现有研究主要集中在白盒攻击中，其中攻击者被假设具有关于目标模型的完整知识[41，24，36，33]，因此可以直接获取梯度然而，潜在的白盒假设在现实中并不成立。一些研究尝试使用近似梯度来制作对抗性示例[27，36]。近似梯度可以是替代模型的梯度（也称为基于转移的攻击）或通过方法（a.k.a. 基于查询的攻击），如零阶优化[6]。基于转移的方法通过对针对白盒替代模型生成的对抗性示例进行分类来攻击目标模型[36，24]，需要通常受保护的训练数据。此外，当生成的对抗性示例未能攻击目标模型时，由于缺乏自适应过程，它们的攻击成功率仍然不令人满意[10]。基于查询的攻击使用有限差分[6，2]、随机梯度估计[27]等方法然而，由于缺乏关于目标模型的知识，它们不够有效。为了解决上述挑战，我们提出了第一次尝试在实际的查询有效攻击图像检索（QAIR）下的黑盒设置。首先，我们建立了红外系统的黑盒攻击问题，并提出了一种新的基于相关损失的概率解释来量化攻击对目标模型的影响。通过这种方式，IR系统的结构输出可以帮助指导攻击期间的梯度估计此外，考虑到检索图像是根据与输入图像的相似性进行排序的，这会产生大量的标记三元组，在排序表上构造递归模型窃取方法，获取基于转移的先验信息，并生成先验引导梯度。实验结果表明，该方法对红外系统具有较高的攻击成功率，且查全率下降明显。我们还评估了我们对真实视觉搜索系统1的攻击效果，证明了它在现实世界中的实用性。我们的主要贡献可归纳如下：第1https://www.bing.com/visualsearch• 我们制定了针对图像检索系统的黑盒攻击的问题，并提出了一个新的基于相关性的损失来量化的攻击效果。• 为了提高查询攻击的效率，我们提出了一种递归的模型窃取方法来获取目标模型的基于迁移的先验信息• 我们证明了我们的攻击的有效性，通过广泛的实验模拟环境和真实世界的商业系统。2. 相关工作在本节中，我们将简要介绍图像检索并回顾现有的对抗性攻击。2.1. 图像检索图像检索是计算机视觉中的一个热门话题，并已广泛用于商业系统，如Google Image Searching2，BingVisual Search1等。基于深度度量学习的图像检索系统通常由度量学习模型（也称为图像检索模型）和数据库（称为图库）组成。给定一个查询图像，度量学习模型将提取其特征并与图库中的图像进行比较，然后根据它们与查询的相似性检索相关图像。度量学习模型在训练策略方面可以是不同的。例如，对比损失[16]被提出来使来自正对的样本的表示更接近，而来自负对的样本的表示则相距较远。一些研究人员声称，成对度量学习通常会生成大量的成对样本，这些样本是高度冗余的。使用随机采样进行训练可能会显著降低模型能力，并且还会减慢收敛速度。因此，提出了硬开采策略[32]和提升结构损失[28]。最近，多相似性损失[37]被提出来建立一个通用的对加权框架，将深度度量学习公式化为对加权的统一视图，并实现了最先进的性能。2.2. 对抗性攻击对抗性示例是通过添加人类无法感知的扰动来恶意制作的，这些扰动会触发DNN行为不端[14]。 根据攻击者所依赖的信息[11]，用于生成对抗示例的攻击可以总结为白盒攻击[14，26]，基于传输的攻击[11]和基于查询的攻击[3，5梯度计算在这些类型的攻击中也有很大不同。白盒子在白盒设置下，攻击者可以完全访问目标模型，并且可以直接获取损失w.r.t.的真实梯度。输入. 比如说，2https://images.google.com/网站33322相反方向特征攻击（ODFA）[40]通过查询目标模型的参数并将对抗查询的特征推向与初始对应项相反的方向来生成对抗示例。为了生成与图像无关的通用对抗扰动（UAP），Li等人。 [24]尝试优化传统的三元组损失，与特征嵌入的度量学习相反。然而，潜在的白盒假设通常在现实世界的场景中不成立。基于转移。基于转移的攻击不依赖于模型信息，但需要有关训练数据的信息来训练完全可观察的替代模型[29，15]。例如，DeepMisRanking（DeepMisR）[1]基于通过白盒攻击针对替代模型生成的对抗示例的可转移性来欺骗目标模型。但是训练数据在实际应用中可能是不可用的。虽然一些工作[42，22]提出了以无数据的方式窃取模型，例如。通过生成模型产生输入，这个问题需要在图像检索任务中进一步研究。此外，当代理模型的梯度指向目标模型的非对抗区域时，由于缺乏调整，基于转移的攻击的性能受到限制[10]。基于查询。 基于查询的攻击更实用，因为攻击者在现实中通常只有查询访问目标模型的输出。这种攻击在图像分类任务中得到了广泛的研究，主要可以分为基于分数的攻击和基于决策的攻击[3，11]。在基于分数的设置下，攻击者可以访问预测的置信度分数，这可以用来指导攻击过程[6，27]。大多数基于分数的攻击通常通过查询访问目标模型的输出，通过零阶优化方法来估计梯度[10]。具体地，扰动首先是初始的-不存在用于图像检索的基于查询的攻击。3. 方法在本节中，我们首先阐述了黑盒设置下攻击图像检索模型的问题，然后详细阐述了我们提出的攻击。整个攻击流水线在Alg中显示1中，给定输入图像x，我们首先对预先用递归模型窃取方法获得的替代模型s进行白盒攻击（如图3所示），以提供用于以下基于查询的攻击的基于传输的pri-or。在此基础上，采用基于相关度损失的方法对攻击效果进行量化，并遵循基于分数的方法的基本思想进行梯度估计，为攻击提供正确的方向。最后，我们重复上述步骤，直到生成的广告图像x可以成功地识别目标模型3.1. 问题公式化如图1所示，给定查询图像x，具有度量学习模型f和图库G的图像检索系统返回图像RListn （ x ， f ） ={x1 ， x2 ， . ， xi ， . ，Xn|xi∈G}，（1）按它们与x的相似性排序，其中n是返回图像的数量，f将x投影到特征空间如f（x）。 换句话说，Df（x，xi）≤Df（x，xj ），s. t. 其中I我们设n=1000，NC=10，C=3，λ=0。05所有实验因此，我们只需要1，111（1+10+100+ 1，000）个查询就可以窃取一个模型。此外，被盗模型完全依赖于目标模型。除了被偷的模型外，偷窃成本也由所有测试样本分担。例如，如果测试样本数量为1000。我们的模型窃取方法的特点是，它不需要事先的数据这与通常基于与目标模型相同的训练数据执行的模型蒸馏算法[24]完全不同它也不同于基于生成模型的方法[42]，其中收集的数据通常不在目标模型的图库中分布。此外，我们认为，随机噪声图3. 偷模型的管道。首先，将任意图像输入目标图像检索（IR）系统（图1）。然后均匀地选择检索到的图像以构建新的查询集，它将在下一次迭代（2012，2013）中被放入IR系统中以获得更多的三元组。最后，被盗的三胞胎（104）将被用来训练替代模型。使扰动在预算中有界[34]。此外，生成的对抗性示例在输入目标模型之前被转换为整数，以确保其有效性。在RGF中，通过独立于诸如高斯分布的随机向量采样来实现基初始化。 这一点可以通过可转移的优先级来改善。 或[15]。为此，我们遵循最先进的工作可学习的黑盒攻击[38]，其利用代理模型来获得基于转移的先验并指导基础选择。具体而言，首先采用动量迭代方法（MIM）[12]进行基于被盗模型的白盒攻击。导出的动量项u然后被用作基于查询的攻击的基础。用于白盒攻击的损失Lw为K所生成的样本的多样性可能是有限的Lw（x，y）=||s（x）−i=1 wi·s（xi）||二、（十）模式崩溃的问题。相反，通过不断地查询目标模型，我们可以以递归的方式从图库中窃取数据，并保证性能。3.4. 基于先验的动量的优化过程是：u=β·u+λxλ（Lw（xλ，y）），x=CLIPx，（x+α·sign（u）），（十一）由于Eq中的决策问题。2是放松与提出的相关性损失，大多数基于查询的攻击提出的图像分类任务可以扩展到检索任务。因此，我们采用RGF攻击[27]作为我们的基本框架，并通过提出的基于相关性的损失来定义其损失，以扩展到检索系统。攻击过程可以概括为两个部分，即：梯度估计和扰动优化。将ui表示为第i个采样的基向量，其被采样q次，并且将gi表示为最终估计的梯度。然后，梯度估计和扰动优化完成如下：其中u初始化为0，β=0。9 .第九条。上述程序将重复Ni次。请注意，我们的QAIR与以前针对图像检索的基于传输的攻击不同，这些攻击利用替代模型直接制作对抗性示例。相反，QAIR采用被盗模型来获得基于传输的先验并生成用于查询攻击的先验引导梯度通过这种方式，对抗性示例可以进一步与查询响应进行确认，直到攻击成功。4. 实验在本节中，我们评估了对var的拟议攻击g= 1个月qQi=1gi，gi=L（x+σui，y）−L（x，y）σ ·ui，（九）各种图像检索模型。更多的细节可以在我们的补充材料中找到。x=CLIPx，（x+α·sign（g）），其中σ是控制采样方差的参数，α是学习率。CLIPx，campaign行动旨在4.1. 实验设置数据集。我们在三个公共数据集上评估我们的攻击。加州理工大学-加州大学圣地亚哥分校鸟类-200-2011（CUB-200）[35]：412……………………SIR系统IR系统333361Cub-2000.94740.8246店内0.56140.0175SOP0图4.攻击过程（左）和攻击结果（右）的可视化。红框中的图像是生成的对抗性示例，它可以欺骗目标模型返回不相关的图像，在相应的行中具有不可感知的扰动。左边的分数是他们右边搜索结果的相应损失随着原始集合中更多的样本消失，损失衰减到0。攻击Cub-200SOP店内12481632AQASR1 10 100 1000AQASR1 10 20 30 40 50AQASR原始0.61 0.91 0.98 0.99000.904 0.960000.926 0.938 0.94500与最新方法的[8]第十八话0.08 0.15 0.300.49 0.639708 0.042012年12月31日7931 0.2880.004 0.0200.564 0.680 0.764 0.8283017 0.948签署选择[9]0.11 0.57 0.70 0.888833 0.002008年12月31日6746 0.3722019 - 04 - 25 00：00：00 00：005564 0.492中国科学院[5]0.13 0.47 0.60 0.9210000 0.000 00.632 0.8805888 0.420 2019 - 04 - 24 0.316 0.470 0.564 0.624 5379 0.472QAIR0.16 0.23 0.320.45 0.56 0.76930.692016年12月31日350.9042019 - 04-25 00：00：00350.916成分分析QAIRC0.59 0.94 0.96 0.971990.012016年12月31日113 0.4800.296 0.556 0.716147 0.310QAIRC−I0.36 0.51 0.60 0.741520.322019年12月31日600.8122019 - 04 - 22 00：00：00650.784QAIRC-S0.31 0.46 0.52 0.58 0.72 0.851420.37 2019 - 05 - 25 00：00：00510.8362019 - 05 - 22 00：00：00 00：00500.844QAIRR−S0.16 0.23 0.32 0.45 0.56 0.76930.692016年12月31日350.9042019 - 04 - 25 00：00：00350.916表1. 与CUB-200、SOP和In-Shop攻击前（原始）和攻击后（其他）的最新方法进行比较。较小的召回@K，较小的平均查询数（AQ）在成功和失败的攻击以及较高的攻击成功率（ASR）意味着更强的攻击。它有200种鸟类，11788张图片。前100个班被分成训练班，其余的用于测试。这是一个小但很难攻击的数据集，因为它在测试数据中只有100个类。Stanford OnlineProducts（SOP）[28]：这是一个大规模的图像检索数据集，包含来自eBay.com的23k类120k它分为11，318类59，551张图像用于训练，11，316类60，502张图像用于测试。In-Shop Clothes（In-Shop）[25]：该数据集包含来自Forever21的11，735件服装的54，642张图像。它提供了3，997和3，985个培训班（25，882张图片），测试（28，760张图片）。评价指标。我们使用图像检索中常用的度量Recall@K[28]进行评估。更大还雇用了sarial攻击社区。我们认为进攻是成功的，当EQ。2满足，因此ASR可以被评估为成功攻击的百分比。请注意，ASR旨在评估黑盒设置下针对图像检索的攻击。这与Recall@ K不同，Recall@K需要真正的标签。实施细节。我们采用最先进的图像检索模型3[37]作为目标。它们使用BN-Inception Network [20]实现，因为大多数图像检索工作都是为了公平起见，并通过其多相似性损失进行训练。图像检索结果列在选项卡中。1（具有“原始”的行对于模型窃取，采用ResNet50[17]作为默认骨干，并且仅使用随机水平翻转和调整大小的裁剪进行训练，因为目标模型的预处理不可用Recall@K的下降表示更强的攻击。 而且adver-3中常用的攻击成功率（ASR）指标https://github.com/bnu-wangxun/Deep指标/3337攻击Cub-200原始FGSM [14]T BIM [23][12]第十二话模型Cub-200度量学习模型在我们的攻击之前召回@K在我们的攻击之后召回@KAQASRDRR@11248163212481632[20]第二十话多相似性[37]对比[16][32]第三十二话取消[28]0.610.730.870.910.980.990.160.230.320.450.560.7693.400.6973.77%0.570.660.810.890.920.960.160.280.450.550.640.7889.990.6871.93%0.620.750.810.880.940.970.240.290.390.480.620.7596.340.6461.29%0.620.730.840.920.940.970.140.240.280.400.520.8090.140.7177.42%[19]第十九话多相似性[37]对比[16][32]第三十二话取消[28]0.660.810.890.940.960.990.080.150.240.370.530.6784.460.7287.88%0.660.800.880.910.950.980.100.150.230.290.420.6083.800.7084.85%0.660.760.850.920.970.990.120.170.270.330.470.65161.920.2781.82%0.660.790.870.920.950.980.070.150.260.410.510.6584.360.68百分之八十九点三九表2.回想一下攻击前后CUB-200数据集上的@K性能实验结果表明，该攻击对不同的图像检索结构都是有效的。DRR@1是Recall@1的丢弃率。它越高，图像检索模型越脆弱。1248163212481632AQASR0.610.730.870.910.980.99原始0.610.730.870.910.980.99000.330.450.560.660.760.85SR180.180.240.350.530.620.7892.140.700.280.440.600.770.770.85SR500.160.230.320.450.560.7693.400.690.200.280.390.520.610.75SR1010.240.290.350.440.600.7999.920.650.160.230.320.450.560.76Sv160.280.370.440.520.650.82121.840.54表3. 与基于传输的攻击（T）的比较。Q表示基于查询的攻击。攻击者。我们评估随机抽样的250张图像表4.回想一下在我们的攻击之后，在不同架构的被盗模型方面的@K性能在SOP和In-Shop（CUB-200为100）上的测试组扰动budget在范数下被设置为0.05，并且查询T的最大数量被设置为200。的参数由方程式9被设置为如下：q=1，σ=0。1，α=0。01[27].对于每个数据集，我们在等式中设置K=162默认4.2. 与现有技术方法的1.00.80.60.41.00.80.60.4由于黑盒环境下对图像检索系统的对抗性攻击是一种基于决策的攻击，我们将我们的QAIR算法与几种现有的算法进行了比较。0.20.00.00 0.05 0.10 0.15 0.200.20.01561111 3616 8421基于决策的攻击，包括基于优化的攻击，最大扰动：窃取查询数tack（OptAttack）[8]、Sign-Opt [9]和HopSkipJumpAt-tack（HSJA）[5]。对于这些攻击，最大查询数量设置为10，000，以查找具有小扰动的对抗性示例如Tab.所示。1.我们的方法可以达到相当的攻击效果，同时，需要更少的查询。这证明了该方法的实用价值我们发现，尽管基于决策的方法在大多数情况下，可以完全颠覆前K个结果，在10，000次查询后所需的最大扰动通常是-尤其是远高于100%，导致低ASR。为了进行全面的研究，我们进一步评估了不同最大扰动限制下的ASR如图5（左）所示，我们的攻击总是可以得到比其他方法更高的ASR，显示了所提出的方法的有效性。生成的对抗示例的可视化比较和防御模型的比较可以在我们的补充材料中找到。图5. 在CUB-200数据集（左）和Recall@K上的不同扰动预算下，根据用于窃取目标模型的不同数量的查询（右）进行比较。4.3. 传输攻击和查询攻击的比较我们还比较了基于查询的攻击与基于传输的攻击。评价结果列于表1中。3，从中我们可以看出，所提出的攻击优于基于不同白盒攻击的转移攻击，如快速梯度符号方法（FGSM）[14]和基本迭代方法（BIM）[23]，以及动量迭代方法（MIM）[12]。这是合理的，因为基于查询的攻击可以根据检索结果调整优化方向，而基于转移的攻击严重依赖于生成的对抗性示例的可转移性。OptAttackSign-OptHSJA我们1 42 581632攻击成功率（ASR）召回@KSd1210.140.230.340.420.550.7787.640.73Sd1690.180.240.300.450.560.7486.480.713338原始K=1K=2K=4K=8K=16K=321.0 1.00.80.80.60.60.40.40.20.20 10 20300 10 2030K图7.之前（奇数行）和之后（偶数行）的搜索结果图6. 根据所考虑的候选项的不同数量K（左）和扰动预算K（右）召回@K。4.4. 对各种图像检索模型的攻击对于全面的研究，我们进一步评估了在不同架构（包括BN-Inception和Densenet 121 [19]）上使用各种度量学习方法（多相似性损失，对比损失[16]，半硬挖掘策略[32]和提升结构损失[28]）训练的不同目标模型上提出的方法。 如Tab.所示。2、该攻击对不同的图像检索模型都能产生较大的召回率下降，具有一定的泛化能力。4.5. 消融研究成分分析我们将基于计数的损失作为我们的基线（QAIRC）来处理RGF攻击，它像RGF一样从高斯分布中采样基。如Tab.所示。1，所提出的攻击已经可以在SOP和In-Shop数据集上对Recall@K进行大幅这验证了大规模图像检索模型的脆弱性。为了验证所提出的模型窃取的有效性，我们将攻击与我们的被盗模型（ QAIRC-S ） 和 在 Ima-geNet [31] 上 预 训 练 的 模 型（QAIRC-I）提供的基础进行比较，以确保公平性。我们可以发现，在所有数据集下，与被盗模型的攻击都更强。此外，基于相关性损失的攻击（QAIRR-S）比基于计数损失的攻击更强，验证了我们基于相关性损失的有效性。模型窃取的查询数。我们发现基于高斯分布的QAIR在大规模数据集上已经可以获得很高的ASR，例如SOP和In-Shop，所以我们只评估了CUB-200数据集上不同查询次数（156 /1，111/3，616/8，421，分别对应于NC=5/10/15/20）的窃取模型的攻击性能。如图5所示，查询越多，攻击越强。参数分析K和ε。如图6（左）所示，随着K的增大，攻击导致更高的Recall@K。随着更多候选人的参与，攻击程序保持原始查询的更多相关样本不受攻击。不同条件下攻击的召回@K我们的攻击与Bing视觉搜索。扰动预算可以在图11中找到6（右），从中我们可以看出，更大的k导致更高的Recall@K下降。被盗模型的不同模型架构。 选项卡. 图4显示了从各种模型架构中窃取模型的攻击结果。可以发现，在所有情况下，Recall@K都会下降很多，验证了宇宙-所提出的模型窃取方法的安全性。4.6. 对真实世界商业系统的攻击图7示出了针对真实世界图像检索系统生成的几个攻击示例，即，，Bing视觉搜索[18].偶数行显示了被干扰的查询以及检索到的图像，这些图像与奇数行的原 始 图 像 完 全 不 同 。 在 定 量 分 析 方 面 ， 我 们 从ImageNet中随机抽取1,000幅图像进行测试，所提出的方法平均只需33次查询就能达到98%的攻击成功率，证明了其在现实场景中的实用性。5. 结论本文介绍了在黑盒条件下，在既无模型参数也无训练数据的情况下，针对图像检索的基于查询的攻击首先，设计了一种基于相关度的损失度量方法，通过度量攻击前后top-k检索结果的集合相似度来量化攻击效果，指导对抗性实例的优化.为了进一步提高攻击效率，提出了一种递归模型窃取方法，用于获取基于转移的先验信息和生成先验引导梯度。大量的实验表明，该攻击实现了高的攻击成功率，对各种图像检索模型的查询少最后，通过对工业视觉搜索系统的评价，进一步证明了该方法的实用潜力。我们的方法的一个局限性是，当图库中真正相关的图像数量很大时，攻击可能会失败，如补充材料所示。在未来的工作中，我们的目标是更进一步的更先进的目标，对更强的黑盒攻击，发展强大的图像检索模型。原始=0.01=0.02=0.03=0.04=0.05=0.06查询检索的图像原始对抗性原始对抗性召回@K3339引用[1] Song Bai ， Yingwei Li ， Yuyin Zhou ， Qizhu Li ， andPhilip HS Torr.度量攻击和防御人员重新识别。arXiv预印本arXiv：1901.10650，2019。[2] Arjun Nitin Bhagoji，Warren He，Bo Li和Dawn Song。使用高效查询机制对深度神经网络进行实用黑盒攻击在欧洲计算机视觉会议上，第158-174页Springer，2018年。[3] 维兰德·布伦德尔、乔纳斯·劳伯和马蒂亚斯·贝奇。基于决策的对抗性攻击：对黑盒机器学习模型的可靠攻击。arXiv预印本arXiv：1712.04248，2017。[4] Thomas Brunner、Frederik Diehl、Michael Truong Le和Alois Knoll 。 Guessing Smart ： Biased Sampling forEfficient Black-Box Adversarial Attacks.在IEEE计算机视觉国际会议论文集，第4958- 4966页[5] Jianbo Chen，Michael I Jordan，and Martin J Wainwright.Hopskipjummattack：一种基于查询效率的决策攻击。2020年IEEE安全与隐私研讨会（SP），第1277-1294页。IEEE，2020年。[6] Pin-Yu Chen，Huan Zhang，Yash Sharma，Jinfeng Yi，and Cho-Jui Hsieh. Zoo：基于零阶优化的黑盒攻击，无需训练替代模型即可对深度神经网络进行攻击。在第10届ACM人工智能和安全研讨会的会议记录中，第15-26页[7] Shang-Tse Chen ， Cory Cornelius ， Jason Martin ， andDuen Horng Polo Chau. Shapeshifter：对更快的r-cnn对象检测器进行强大的物理对抗攻击。在联合欧洲会议机器学习和知识发现数据库，第52-68页。Springer，2018年。[8] Minhao Cheng，Thong Le，Pin-Yu Chen，Jinfeng Yi，Huan Zhang，and Cho-Jui Hsieh.查询高效硬标签黑盒攻击 ： 基 于 优 化 的 方 法 。 arXiv 预 印 本 arXiv ：1807.04457，2018。[9] Minhao Cheng，Simranjit Singh，Patrick Chen，Pin-YuChen，Sijia Liu，and Cho-Jui Hsieh. Sign-opt：一种查询高 效 的 硬 标 签 对 抗 攻 击 。 arXiv 预 印 本 arXiv ：1909.10773，2019。[10] Shuyu Cheng，Yinpeng Dong，Tanyu Pang，Hang Su，and Jun Zhu.用基于转移的先验改进黑盒对抗攻击。神经信息处理系统的进展，第10934-10944页，2019年[11] 尹鹏东，傅启安，肖扬，庞天宇，苏航，肖子豪，朱军。对图像分类的对抗鲁棒性进行基准测试。在IEEE/CVF计算机视