深度跨模态汉明检索中的广告攻击方法 AACH

2218深度跨模态汉明检索Chao Li1，*Shangqian Gao2，*Cheng Deng1，† Wei Liu3 Heng Huang2，41西安电子科技大学2匹兹堡大学3腾讯数据平台4京东探索学院{chaolee.xd，chdeng.xd，henghuanghh} @ gmail.com，shg84@pitt.edu，wl2223@columbia.edu摘要最近，跨模态汉明空间检索（CMHR）重新获得了越来越多的关注，这主要得益于深度神经网络的出色表示能力。另一方面，深度网络的脆弱性使深度跨模态检索系统暴露于各种安全风险（例如，对抗性攻击）。然而 ， 在 - tacking 深 跨 模 态 汉 明 检 索 仍 然 是underexplored。在本文中，我们提出了一种有效的对深度跨模态汉明检索的广告攻击，称为AACH，它在黑盒设置中欺骗目标深度CMHR模型。具体来说，给定一个目标模型，我们首先构建其替代模型，以利用汉明空间内的跨模态相关性，通过对目标模型进行有限查询来创建对抗性示例。此外，为了提高对抗性攻击的效率，我们设计了一个三元组构建模块来利用跨模态的正面和负面实例。通过这种方式，可以学习扰动来欺骗目标模型，通过将扰动的示例拉离正实例，而将它们推近负实例。在三个广泛使用的跨模态（图像和文本）检索基准上的大量实验证明了所提出的AACH的优越性。我们发现AACH可以成功地攻击给定的目标深度CMHR模型，并且交互较少，其性能与以前的最先进攻击相当。1. 介绍深度神经网络（DNN）已被广泛采用以提高CMHR中的检索性能，其中早期网络层捕获跨模态数据的隐式结构，并且二进制代码源自更深的网络层。 通常，DNN架构被训练为通过检测不同模态之间的语义相似性或不相似性来构建跨模态相关性。在这样一个优秀的代表性的启发下-*同等贡献。†通讯作者。图文z散列函数汉明空间011001111000X100y跨模态数据对(a) 跨模态汉明检索对抗性积极(b) 对跨模态汉明检索的攻击图1：常规的跨模态汉明检索和我们基于三元组的跨模态汉明攻击。为了提高DNN的可行性，许多努力已经集中在利用深度网络来通过学习共享空间中的共同表示来增强模态之间的相关性。然而，DNN结构的鲁棒性和稳定性在很大程度上被忽视了：即使是最精确的深度学习模型也可以容易地被精心设计的扰动所欺骗，该扰动对于人眼来说是视觉上不可察觉的。因此，潜在模型故障的成本和风险不断增加，导致了对抗性攻击的研究。在本文中，我们专注于一种实用的跨模态汉明对抗攻击，它满足两个标准：1) 攻击是针对黑盒设置而设计的，其中目标跨模态网络通常不可用，攻击者只能通过查询与目标模型交互; 2）考虑到实际情况，查询效率应该是高度优先的，即频繁和大量的查询将容易被防御者发现。尽管在文献中提出了大量的对抗性攻击，但主要关注的是在单一模态中用于基于图像的分类或检索的对抗性示例学习问题。很少有人致力于研究对抗性示例如何影响跨模态检索中的深度汉明学习。在学习对手方面，大学生与非大学生存在很大差异负锚攻击例如负拉推积极查询摄动2219现有分类任务和CMHR。如图1a，给定来自一个模态的查询实例（例如，图像），CMHR被应用于将原始数据映射到二进制代码中，然后执行逐位XOR运算以从另一模态返回语义相关的实例（例如，文本）。相比之下，对CMHR的攻击致力于欺骗一个训练有素的模型，以返回语义上不相关的实例。因此，传统的面向分类的对抗攻击不适合CMHR。开创性的工作CMLA [17]是设计对抗样本以欺骗目标深度CMHR模型的第一次尝试。 但是，CMLA在两个主要方面不适用于实际案例。首先，CMLA被构造用于白盒设置，其中攻击者需要目标模型的全部知识，包括模型架构和参数。第二，CMLA中需要查询实例的标签信息，这在现实中也是不可用的。因此，在CMHR中进行实际的反面范例学习仍然是一个开放的问题。实际上，考虑到CMHR的本质是探索和保持实例之间的相似语义结构，我们可以设计如图所示的基于三元组的跨模态汉明攻击。1b.学习对抗扰动并将其添加到查询实例中以操纵原始相似性结构，减小查询到负实例的距离并扩大其到正实例的距离。在本文中，我们提出了一种有效的对抗性攻击的深度跨模态汉明检索（AACH）。具体来说，AACH主要针对黑盒环境下的深度跨模态汉明检索模型进行攻击，因此更适用于实际案例。此外，为了降低查询目标模型期间的成本和风险，我们提出了跨模态三元组构造模块，其中利用查询的跨模态正实例和负实例来增强对不利扰动的学习。我们强调这项工作的贡献如下：• 提出了一种黑盒环境下的对抗性样本学习方法.该算法通过构建目标网络的代理模型，在没有任何先验知识的情况下，仅通过有限地查询目标模型来学习跨模态对抗样本。• 为了充分利用目标模型获取的有限信息，设计了一个简单有效的跨模态三元组构造模块，利用该模块，代理模型通过挖掘汉明空间中的跨模态正反实例来学习对抗性实例.• 我们通过攻击三个最先进的跨模态检索模型来流行的基准测试，MIRFlickr-25 K，NUS-WIDE和MS COCO。大量的结果证明了所提出的三重构造模块的有效性和我们的AACH攻击目标深度CMHR模型的能力。2. 相关作品深度跨模态汉明检索。不同于CMHR的传统深度CMHR [12，37，3，32，6，15，2，35，11，4]学习通过构建深度网络来构建跨模态的相关性，从而实现二进制代码。现有的方法可以根据是否使用标签信息分为无监督和监督设置。对于无监督设置，致力于研究语义相似性的探索和保持。[33]中提出了矩阵分解和图拉普拉斯算子来保持原始数据的邻域结构。Su等人。 [29]探索了来自不同模态的联合语义相似性矩阵，以整合多个模态相似性信息。在[40]和[16]，生成对抗网络（GAN）被构建来弥合语义模态差距。 相反，监督设置中的方法通常从标签信息构建跨模态相关性，其中分别采用成对[12，37，2]，三元组[6]和排名[20]语义约束以实现高检索性能。Li等人[15]构建了自监督学习模型来指导深度跨模态网络训练。为了增强语义相似性，将注意力机制集成到一个基于GAN的跨模态网络中[41]，以提取跨模态的共享语义组件。跨模态汉明攻击。在深度学习领域取得的成功为CMHR带来了巨大的进步。然而，DNN的脆弱性引起了各界的广泛关注，这使得基于DNN的检索模型也面临着被攻击的风险。 [31]这是第一次显示 一个性能良好的深度网络可能会被设计良好的人眼察觉不到的扰动。在此之后，提出了许多白盒攻击方法[23，24，36，22，8，30，28]，其中[28]可以在极其有限的场景中成功攻击目标深度模型，因为只能修改一个像素。同时，发现了对抗性示例在深度网络之间的可转移性，以提出黑盒设置攻击[21，34，26，9，5，10]，它们共享一个共同的想法，即使用近似梯度来创建对抗性示例。这些方法中的大多数被设计用于解决在单个模态内基于图像的分类或检索的问题[38，13]。对于CMHR任务，恶意用户破坏检索系统的风险始终存在。然而，很少有人关注安全性2220联系我们ǁ·ǁ∞ǁ ǁ ≤一P我Ni=1一P我 我δv焦油一焦油N焦油一焦油P一焦油P焦油一焦油N----与目标网络交互的跨模态对抗性示例学习图2：我们提出的用于跨模态汉明学习的AACH的管道基于DNN的CMHR系统。跨模态对抗性示例的学习首先在CMLA [17]中提出，其中探索模态内和模态间相似性以学习保留模态内相似性但操纵模态间相关性的对抗性示例。如上所述，CMLA被设计用于白盒攻击设置，并且需要关于查询实例的标签信息，使得其在现实中不适用。3. 对深度CMHR的其中D表示两个码之间的汉明距离：1D（X，Y）=2（K− ﹥X，Y﹥），（3）X和Y是输入代码。相反，对于跨模态汉明攻击，其旨在学习跨模态对抗性扰动δv以欺骗目标深度网络输出具有如下相反不等式的二进制代码：D（Fv（o v+ δ v），Ft （o t））> D（Fv（o v+δ v），Ft （ot））。3.1. 问题公式化焦油A焦油磷焦油A焦油N（四）通常，CMHR可以被转换为度量学习问题。 给定跨模态数据集O={o}M，其中形式上，给定图像-文本三元组ov，ot，ot，其中ov和ot共享类似的语义相关性，我们重写M个实例，〇 i=〇 v，〇 t，其中〇 v和〇 t分别表示两个数据模态（例如，图像-文本对）。深度跨模态汉明检索的目标是通过不同的网络学习两个函数Ft*ar（o*; θ*），* ∈ {v，t}跨模态Hamming攻击如下：minD. Fv （o v+δ v），Ft （ot）Σ-D Fv（o v+δ v），Ft（o t）Σ，s.t. δv其中θ*表示要学习的参数。因此，原始的交叉模态实例用二元码B*1，1K表示，K表示所需的代码长度这可以用公式表示如下：B*=sign（H*），H*=Ft*ar（o*;θ*），*∈ {v，t}，（1）其中H*是类二进制表示（H*∈[−1，1]K）哪里p表示Lp范数（p=在这项工作中）。吉夫表示攻击强度，其中约束 δvpεv限制了视觉上不可感知的扰动δv。学习文本扰动δt以查询图像也是如此：min D. Ft （ot+δt），Fv（ov）Σ由目标深度交叉模态的输出层产生δt焦油- D. Ft一（ot焦油+δt），FvN（o v）圣雅各福群会，圣雅各福群会δ t网络一个训练有素的Ftar（o）总是能保持准确的焦油A焦油磷（六）相似的语义结构。 具体来说，假设v的图像查询实例与正3.2. 拟定AACH测试实例一ot，它鼓励F*图2显示了我们的AACH的完整流程图，其中P大于负例N满足如下不等式：焦油主要由三部分组成：目标深度跨模态网络作品（ImgNet和TxtNet），三元组构建模块，目标ImgNet黑色跨模态查询目标TxtNet黑色代理ImgNet4096K攻击锚攻击推拉POSNegNeg锚定期POS锚定期NegPOS推锚拉POSNeg攻击D：汉明距离Pos：阳性实例负：负实例对抗性示例创建跨模态三重构式D0911590492140021900952290图像→文本锚POSNeg文本→图像锚POSNeg代理TxtNetK攻击对抗性示例创建锚锚将原始模态实例投影到汉明上（2221焦油D（Fv（ov），Ft（ot））

下载后可阅读完整内容，剩余1页未读，立即下载