电商推荐系统中的对抗性图像攻击和冷启动问题分析

3590对抗性项目提升：使用图像解决冷启动的Top-N推荐器的核心漏洞刘卓然荷兰Radboud大学liu@cs. 茹nl玛莎·拉森荷兰Radboud大学Larson@cs. 茹nl摘要电子商务平台向其客户提供匹配客户偏好的推荐物品的排名电子商务平台上的Mer- chants希望他们的商品尽可能出现在这些排名列表的前N位在本文中，我们展示了无良商家如何创建物品图像，人为地推广他们的产品，提高他们的排名。使用图像来解决冷启动问题的推荐系统容易受到这种安全风险的影响。我们描述了一种新型的攻击，对抗性项目推广（AIP），直接打击前N名的核心：排名机制本身。推荐系统中对抗性图像的现有工作研究了针对深度学习分类器的传统攻击的影响。相比之下，我们的AIP攻击是嵌入式攻击，试图以欺骗排名器（而不是分类器）的方式推送特征表示，并直接导致项目促销。 我们介绍了三种AIP攻击内幕攻击，专家攻击和语义攻击，这是相对于三个相继更现实的攻击模型定义。 我们的实验评估了这些攻击的危险时，安装对三个代表性的视觉感知推荐算法的框架，使用图像来解决冷启动。 我们还评估了潜在的防御，包括对抗性训练，并发现常见的，目前存在的技术并不能消除AIP攻击的危险。总之，我们表明，使用图像来解决冷启动打开推荐系统的潜在威胁具有明确的实际意义。CCS概念• 信息系统→推荐系统;·安全冷品注射用于排序的候选个性化项目排名合作项目形象对抗项目图像Dockers男式短靴拖鞋Skechers男子围棋2Timberland Altamont男式渔夫凉鞋男士Born全粒面皮革DonjonCarmelBorn Men'sHerschel凉鞋Timberland Watercrest渔夫凉鞋Clarks男士摇摆天空渔夫凉鞋Clarks男士Shiply Step拖鞋Rockport男士棕榈街渔夫凉鞋O'NeillSouthport男士卡其色Florsheim男装Welter自行车滑套隐私→ Web应用程序安全。ACM参考格式：刘卓然和玛莎·拉森。2021年对抗性项目推广：使用图像来解决冷启动的前N个推荐器的核心弱点。 在网络会议2021（WWW '21）的会议记录，2021年4月19日至23日，斯洛文尼亚卢布尔雅那。ACM，美国纽约州纽约市，13页。网址：//doi. org/10. 1145/3442381。34498911引言视觉感知推荐系统[20，24，32]将图像信息纳入其排名机制。这些信息本文在知识共享署名4.0国际（CC-BY 4.0）许可下发布。作者保留在其个人和公司网站上以适当的署名传播作品的权利WWW©2021 IW 3C 2（国际万维网大会委员会），在知识共享CC-BY 4.0许可下发布。ACM ISBN 978-1-4503-8312-7/21/04。网址：//doi. org/10. 1145/3442381。3449891图一：合作冷项图像及其对应的对抗冷项图像（顶部）各自被注入到由第一阶段排序器（这里为BPR）生成的候选集合中。在由视觉感知的第二阶段排名器（这里是DVBPR）生成的个性化排名列表中，建议项（右）比合作项（左）高得多（图中显示了一个真实的例子。对抗性项目图像是由我们的INSA攻击生成的，其中x2 = 32，epoch = 5，详见第4.1节）。有助于解决冷启动的挑战，因为它补偿了与新用户或项目相关联的交互在本文中，我们将展示如何使用图像内容的冷启动打开视觉感知的漏洞。1该漏洞是由于对抗性示例造成的，这些示例是故意设计的样本，旨在使机器学习系统1代码可在：https：//github. com/liuzrcc/AIPSkechers男子围棋2Timberland Altamont男式渔夫凉鞋男士Born全粒面皮革DonjonCarmelBorn Men'sHerschel凉鞋Timberland Watercrest渔夫凉鞋Clarks男士摇摆天空渔夫凉鞋Clarks男士Shiply Step拖鞋Dockers男式短靴拖鞋Rockport男士棕榈街渔夫凉鞋O'NeillSouthport男士卡其色Florsheim男装Welter自行车滑套3591WWW就会犯错.计算机视觉社区已经深入了解了对抗性图像如何被用来攻击分类器，从[3，41]开始。以分类器为目标的广告图像可以对利用图像内容的推荐系统产生影响，正如TAaMR所证明的那样[13]。然而，到目前为止，推荐系统研究人员还没有考虑如何修改图像以创建对抗性项目，通过直接针对排名器而不是分类器来攻击视觉感知的Top-N推荐系统。我们通过提出一系列攻击和实验评估它们构成的威胁，暴露了视觉感知推荐系统对对抗性项目的脆弱性。我们也检查了可能的防御措施。对抗训练是为了提高多媒体推荐系统的整体性能而提出的目前主要的方法是AMR [42]。我们的实验表明，AMR不足以防御我们的对抗性攻击。此外，其他常见的防御措施，如图像压缩，也达不到要求。总之，我们在这里调查的视觉感知推荐系统的漏洞是严重的，需要研究界进一步关注。我们的工作是致力于推荐系统算法的安全性和鲁棒性的长期研究传统的一部分[5，9，15，16，27，29，33，35，43]。然而，大多数工作都集中在与用户配置文件相关的漏洞上。早期的工作着眼于shilling[27]，它使用假用户。先令后来被推广到侧面注射攻击[33]或中毒攻击[29]。相比之下，在我们的工作中，我们正在研究能够直接操纵物品的攻击者，特别是选择物品图像。换句话说，我们不是关注与简档相关的攻击，而是关注表示攻击的项目。具体地，这种攻击的风险本身存在于销售个体商家的物品的电子商务平台的情况中，例如，电子商务或客户对客户（C2C）市场。商家创建自己的商品描述，包括图片。 我们表明，如果这样的商家肆无忌惮地行事，他们可以人为地促进他们的项目和妥协的推荐系统的安全性。图1说明了我们在本文中考虑的攻击机制，称为对抗性项目提升（AIP）攻击。在左边，我们看到当推荐系统没有受到攻击时用户的个性化项目排名（即， 冷启动项目是“协作项目”）。在右边，我们看到当推荐系统受到肆无忌惮的商家的攻击时的排名，该商家在物品表示中使用了被操纵的图像（即，冷启动项是 该设置反映了推荐系统平台将向用户的个性化排名列表添加一定数量的冷项目以便允许项目开始积累交互的方式。我们选择两阶段推荐器，因为它们在工业中使用[11，45]。使用两阶段推荐器，我们确保对抗性冷项目与已经与用户非常相关的选定候选项目竞争。我们提供了图1的简短演示，它说明了单个冷项目和单个用户级别的攻击使用传统的个性化Top-N推荐器为该用户选择了一组然后将冷项目注入该集合。最后，使用视觉感知的个性化Top-N推荐器对候选项集进行排序，呈现给用户。 我们看到，在合作图像（左）的情况下，冷项目落在排名列表中的某个位置，但可能不在顶部。相比之下，在对抗性图像（右）的情况下，冷项目位于个性化项目排名的顶部攻击的总体影响取决于攻击对所有用户的累积影响，而不仅仅是图1所示的单个攻击实例。重要的是要明白，合作社与非合作社的最终排名位置。对抗性物品对于每个攻击实例将是不同的然而，一般来说，如果不道德商家的对抗性项目始终比它应得的更接近用户的个性化推荐列表的顶部，那么，在大规模上，商家将获得相当大的利益。我们选择专注于冷启动问题，因为它的重要性推荐系统。然而，还有一个-其他原因。一种简单实用的方法来阻止对非冷启动项目的对抗性图像推广攻击，就是防止商家在他们的项目开始积累互动时改变图像。冷启动是商家将对抗性图像引入表示的最重要机会 每一个项目开始在某种程度上冷，这个问题特别是极端的C2C市场销售许多独特的项目。通过本文，我们做出了以下贡献：我们提出了三个对抗性项目推广（AIP）攻击的排名机制的视觉感知推荐系统在冷项目的情况下，并通过实验评估其影响。攻击对应于三个不同的知识水平，我们使用两个真实世界的数据集进行测试。我们表明，没有简单的防御AIP攻击。目前占主导地位的对抗性训练，以及传统的防御措施，如压缩，不足以消除漏洞。我们发布了我们的攻击和防御的实现，允许测试和扩展。本文遵循安全研究的标准程序首先，我们指定了一个框架，包括预期的攻击类型（攻击模型），被攻击的系统，以及衡量攻击影响的方法。然后，我们针对每个攻击模型提出攻击，并评估它们的成功率。我们攻击的系统是视觉感知推荐系统的代表，即 ， 基 于 AlexNet [ 25 ] 的 基 于 视 觉 特 征 的 相 似 性 模 型（AlexRank），利用视觉特征的协作过滤（CF）模型（VBPR[20]）和最先进的基于学习的神经模型（DVPBR [24]）。最后，我们转向分析可能的防御措施，并结束了结论和展望。2相关工作2.1推荐系统的鲁棒性在本节中，我们回顾了以前的工作推荐鲁棒性。请注意，这项工作的重点是用户配置文件，而不是图像内容。O'Mahony等人 [35]介绍了推荐系统鲁棒性的定义，并提出了几种攻击方法来识别影响鲁棒性的特征。Lam和Riedl [27]探索先令···对抗性项目提升：使用图像解决冷启动的Top-N推荐器的核心漏洞WWW3592通过评估不同场景下的推荐性能，分析推荐系统中的攻击特别是，他们发现新的或不起眼的项目更容易受到攻击，他们建议从可信来源获得这些项目的评级可以使它们不那么容易受到攻击。 Mobasher等人 [33]提出了一个形式化的框架来描述不同的推荐系统攻击，他们还提出了一种检测攻击特征的方法。在[33]和[5]中，评价指标，例如，讨论了项目命中率和预测偏移对推荐系统鲁棒性的影响。最近，代替模型不可知的配置文件注入攻击，已经提出了利用精确推荐模型信息的中毒攻击。 Li等人 [29]提出对基于因子分解的CF算法的中毒攻击，该算法基于一阶KKT条件近似梯度。Christakopoulou和Banerjee [9]提出了一种生成方法来生成虚假的用户配置文件以进行配置文件注入攻击。 Fang等提出对基于图的推荐系统的poisoning攻击[16]。他们还建议基于影响函数生成虚假的用户-项目交互[15]。 Tang等人 [43]提出了针对推荐系统的有效的基于传输的中毒攻击，但他们提到他们的方法对冷项目不太有效。我们的2.2视觉感知推荐系统视觉感知推荐系统将视觉信息纳入其推荐排名机制。最初，视觉感知的决策者依赖于图像内容检索来进行偏好预测。 给定一个查询图像，Kalantidis etal. [23]收集分割部分并检索每个预测类中的视觉相似项。之后，图像的语义信息也被纳入，以提高检索性能。Jagadeesh等人 [21]收集具有详细注释的大规模数据集Fashion-136 K，并提出几种基于检索的方法来基于查询图像推荐匹配项。除了基于图像检索的推荐方法之外，用户-项目交互在视觉感知的浏览器中被利用。IBR [32]通过考虑替代或互补的项目来模拟人类的相似性概念算法还将视觉信号结合到CF模型中，以便同时利用用户反馈和视觉特征，例如，[20]第20章：一个女人的秘密最近，随着计算资源的进步，已经提出了基于学习的神经框架，并且在时尚推荐（DVBPR [24]）和互惠推荐（ImRec [34]）上实现了最先进的性能在本文中，为了综合评估不同攻击者中的AIP攻击，我们选择了三个代表：基于图像检索的相似性模型，利用视觉特征的CF模型和基于学习的神经网络模型。模型2.3对抗性机器学习对抗性示例是故意设计以误导机器学习算法的数据样本[3，41]。如上所述，有限的工作量已经解决了推荐系统的广告图像。最密切的工作与我们自己有关的[13]只着眼于基于分类的问题。DiNoia等人 [13] 提 出 了 针 对 多 媒 体 推 荐 系 统 的 针 对 性 对 抗 攻 击（TAaMR），他们使用两种基于分类的对抗攻击，即快速梯度符号方法（FGSM）[41]和投影梯度下降（PGD）[26]，来评估两个视觉感知推荐系统。与[13]相比，我们证明了推荐系统中的对抗性示例问题超出了分类器目标对抗性示例的问题。对抗性训练是一种很有前途的处理对抗性示例的技术[31]。如第1节所述，到目前为止，视觉感知推荐系统中对抗性训练的研究主要集中在提高总体性能上。具体来说，AMR [42]旨在通过对抗训练来改善推荐（参见。节7.1的细节），并考虑了系统内部表示的推荐系统扰动的鲁棒性。 相反，我们的目标是调查来自外部对手攻击项目图像的安全漏洞。 我们表明，简单的对抗训练（即，AMR）并不能保证对AIP攻击的鲁棒性（参见第7.1节）。3背景和框架本节介绍开发和评估攻击模型的背景和框架 图2给出了设置的概述。 如第1节所介绍的，我们使用两阶段方法.第一阶段推荐器生成候选项的个性化集合。 为此，我们选择贝叶斯个性化排名（BPR）[38]，这是一个代表性的CF模型，它是在用户-项目交互数据上训练的。 我们使用视觉感知的第二阶段推荐器进行合作项目和对抗项目的冷启动之间的比较。在本节中，我们首先介绍我们的三种攻击模型（第3.1节），它们是三种特定AIP攻击的基础，INSA，EXPA和SEMA，在第4节中解释。然后，我们提出了我们攻击的三个代表性的视觉感知攻击者（第3.2节）。最后，我们解释了我们评估攻击影响的维度（第3.3节）。表1：三种AIP攻击模型，其特征在于攻击者可以访问每个模型的知识。攻击模型一般知识 视觉特征提取模型嵌入高知识参见INSA（第4.1节）×媒介知识参见EXPA（第4.2节）× ×低知识参见SEMA（第4.3节）×3.1攻击模型我们根据可信推荐系统的三个维度定义了三种攻击模型[33]。意图维度捕获攻击者的目标。我们所有的模型都使用“推”意图，即，攻击者是商人，他们想让自己的物品WWW刘卓然和玛莎·拉森3593u（）下一页UI.u（）下一页|、（1） |,(1)uuBPR个性化排名合作项目AIP攻击INSAEXPASeca候选集合对抗性项目利用视觉特征（VBPR）和基于学习的神经方法（DVBPR）。 我们之所以选择这三种推荐器，是因为它们代表了三种常用的视觉感知推荐器系统。3.2.1AlexRank 基于图像内容检索的 推荐是一种最近邻推荐方法，它根据产品图像的视觉特征相似性对商品进行排序。这些方法通常用作视觉感知推荐系统研究中的基线方法[24]。在这里，我们使用AlexNet [25]的第二个全连接层的输出作为项目图像的视觉特征给定物品i的图像，计算物品i的视觉特征与用户u已经交互的所有物品之间的平均欧几里得距离，因此较小的距离意味着较高的偏好预测。等式1示出了相似性预测器的计算. −<$Φf（Xi）−Φf（Xj）<$2j∈I+u在用户个性化推荐中排名更高其中，reI+是用户u已经与之交互的元素的集合，并且列表. 知识维度捕获攻击者拥有多少关于被攻击系统的信息。限定Xi，Xuj表示项目i和j图像Φf是预先训练好的模型知识水平在对抗机器学习研究中很常见[3，7]。我们的三种攻击模型对应于三种不同的知识水平：高、中、低。“比例”（Scale）尺寸捕捉干涉的范围在我们所有的攻击模型中，我们假设攻击规模最小，例如，在任何给定时刻只有一个项目受到攻击这种小规模的袭击最不可能被注意到。显然，袭击造成的危害将随着规模的扩大而增加。用于图像特征提取。请注意，项目i的最终排名对于用户u，仅由偏好得分pu，i确定。3.2.2VBPR。 从BPR [38]扩展而来，VBPR [20]将视觉特征纳入CF模型。通过利用预训练CNN模型的图像特征，VBPR提高了BPR的推荐性能。VBPR的偏好预测在等式2中描述：pu，i=α+βu+βi+γTγi+θT（EΦf（Xi）），（2）表1总结了我们的攻击模型，涉及的知识。对于我们的高知识攻击模型，我们假设攻击者是推荐系统平台的内部人员，并且可以访问经过训练的推荐模型的用户嵌入。这种情况并不特别现实，但它很重要，因为它展示了AIP攻击可能造成的潜在损害的上限。中等知识和低知识攻击模型更加真实，并假设攻击者对其中θu是用户内容嵌入，E是视觉特征的参数。ΦfXi表示来自预训练模型Φf的项目Xi的视觉特征，并且α、βu和βi是用户、项目偏差和全局偏移项。γu和γi表示用户和项的基于潜在交互的嵌入。对于模型学习，VBPR采用BPR的成对排序优化框架。训练三元组集合Ds在等式3中描述Ds={（u，i，j）|u ∈U<$i∈I+<$j∈I/I+}（3）推荐系统运行的市场特别是，攻击者必须能够识别（通过观察销售趋势或广告）至少一个在平台上销售良好的项目我们把这个项目称为钩项目.当钩子在空中时，其中和表示用户和项目集，i表示交互项目，j表示非交互项目。训练三元组的引导抽样用于模型训练。VBPR的优化目标如公式4所示项目图像是由推荐器使用的图像，但它也可以是在别处获取的项目的图像 如第4节所述，对抗项将使用钩项来拉argminΘ（u，i，j）∈Ds– lnσ（pu，i– pu，j）+λΘ||第二章（四）||2(4)自己在排行榜上在中等知识攻击模型中，除了一般知识之外，攻击者必须能够访问由视觉感知推荐系统使用的预训练的视觉特征提取器。利用预先训练的视觉特征提取器的推荐系统在学术研究和工业中都是普遍的，例如，[17、20、28、32、37、40]。这些模型通常作为迁移学习中的公共资源发布3.2视觉感知推荐系统在本节中，我们介绍了三个代表性的视觉感知推荐系统，我们将在我们的实验攻击：基于视觉特征的相似性模型（AlexRank），CF模型，其中，Θ表示所有模型参数，λΘ是正则化项的权重。3.2.3DVBPR。 DVBPR [24]是一种简洁的端到端模型，其视觉特征提取器直接以成对方式进行训练。DVBPR在多个数据集上实现了最先进的性能，以实现视觉感知建议[24]。DVBPR的偏好预测在等式5中描述：pu，i=θTΦe（Xi），（5）其中θu是用户内容嵌入，ΦeXi是项目内容嵌入，其中CNN模型Φe以成对方式直接训练。秩列比较指标秩列图2：攻击和攻击评估的设置pu，i=视觉感知排名器AlexRankVBPRDVBPR对抗性项目提升：使用图像解决冷启动的Top-N推荐器的核心漏洞WWW3594∞.联合∈Uj∈I u→（）下一页3.3攻击评估维度我们根据机器学习安全中区分的完整性和可用性方面来评估攻击[1]。我们主要关注的是攻击危及推荐系统完整性的能力，这与我们攻击模型的“推送”意图的成功有关（参见第3.1节）。 我们测量我们的攻击的能力，以提高排名的冷启动项目，使敌对的冷启动项目土地高于相应的合作冷启动项目在用户的个性化配置列表。具体来说，我们报告的变化排名的冷启动在项目图像上添加扰动δ迭代地优化扰动，使得对项目的偏好强度在所有用户简档上最大化。 在本文中，δ的大小由L范数限制，L范数代表δ的最大值，并且通常用于计算机视觉研究以测量不可感知性[7，41]。形式上，给定物品i的产品图像Xi，我们优化扰动δ以增加所有用户对物品i的偏好pu，i。不同的优化目标在等式6中指定了参数具有预测偏移和命中率变化的项目（参见，第5.2节）。此外，我们还衡量可用性，这与是否AlexRank：argmax.− <$Φf（Xi+δ）−Φf（Xj）<$2|I+|该推荐系统在受到攻击时仍然对其他商家和顾客有用为此，我们使用“普通”测试项目。（我们采用数据集定义的测试项目我们计算普通测试项目在candi中的命中率变化δVBPR：argmaxδ+uuθT（EΦf（Xi+δ））联合∈Uu（六）日期设置与合作冷项目时，相同的普通测试项目在具有对抗性冷项目的候选集中DVBPR：argmaxδu∈U exp（θTΦe（Xi+δ））我们还考虑了攻击对人眼可见的程度随着攻击强度的增加，图像中的扰动变得可见，而知道自己在寻找什么的专家然而，电子商务平台如此之大，物品的周转如此之快，以至于不可能手动检查表示物品的所有图像，参见图1。已知的过滤禁用或不安全产品的项目集合的困难[2]。 由于这些原因，强烈的攻击（即，较大的图像扰动）是相当真实的。通过将我们的实验集中在强攻击上，我们可以评估系统的脆弱性程度我们还进行了额外的实验，证明了攻击强度从弱到强的影响通过这种方式，我们揭示了如果用户点击受到图像中存在扰动导致的低质量印象的影响，可能会发生什么 我们额外的实验表明，攻击的成功并不依赖于图像外观的高度明显的变化。4广告宣传Φ：Xiθi是特征提取或嵌入模型，其中θi表示项i的内容嵌入。θu表示用户内容嵌入。优化可以通过小批量梯度下降来实现，并且当满足某些条件时停止，例如，它达到一定的迭代次数4.2专家攻击（EXPA）中等知识攻击模型假设攻击者可以选择钩子（即，流行）项目。它还假设攻击者可以访问视觉特征提取模型（见第3.1节），并具有在迁移学习管道中使用它所需的专业知识。我们提出了一种专家攻击（EXPA），其中攻击者使用钩子项来标记对抗项应该移动到的项空间区域。具体来说，EXPA攻击产生的扰动添加到合作项目，以创建敌对项目通过减少代表性的挂钩项目的距离。形式上，通过EXPA生成对抗项图像在等式7中描述：攻击在本节中，我们将介绍三种对抗性物品促销（AIP）argminδΦ（Xi+δ）−Φ（Xhook）对应于先前介绍的三种攻击模型的攻击（参见，第3.1节）。4.1内部攻击（INSA）高知识攻击模型假设攻击者拥有对训练模型的用户嵌入的内部访问权限（参见第3.1节）。 一些视觉感知的用户（例如，AlexRank）仅使用视觉嵌入（特征）来构建基于最近邻的推荐器，而其他推荐器（例如，DVBPR）以CF方式使用点产品将视觉内容嵌入与用户内容嵌入一起建模（参见图1）。第3.2节）。例如，在DVBPR中，用户嵌入θu和项目嵌入Φe Xi的内积表示用户u对项目i的偏好。我们提出了一种内部攻击（INSA），其中攻击者可以修改项目图像的嵌入，以增加预测的偏好分数，仅决定推荐排名。具体来说，INSA通过以下方式更改项目嵌入：其中Φ是特征提取或嵌入模型。EXPA攻击利用与[39]提出的目标视觉特征攻击相同的机制。EXPA的新颖之处在于它使用了一个挂钩图像，可以在图像空间中移动对抗图像，使其在个性化推荐列表中上升。注意，钩子图像本身不一定存在于由BPR选择的候选集合中，并且因此也不一定存在于推荐列表中。算法1描述了使用INSA和EXPA生成对抗性产品图像Xi是冷项的原始图像，Xhook是钩项。 Φ是从图像内容提取嵌入或特征的神经网络。 我们的目标是找到可以通过所有用户内容嵌入（INSA）或针对挂钩项（EXPA）进行优化来增加个性化偏好预测的扰动δ。微扰的大小可以通过δ来调整。为了确保输出图像相对于标准图像编码格式是有效的，WWW刘卓然和玛莎·拉森3595∞一←ku←一←（−）←（）k kk← k−←（）k k kj∈I+Fk−1+|I|FJ一个非常成功的对抗性物品图像已经可以导致uk−1八：算法1对抗项提升攻击输入：X：冷项图像，X钩：钩项图像δ：对抗扰动，δ：L范数界Φ：神经网络，θ：用户内容嵌入K：迭代次数，：攻击挂载（INSA或EXPA）输出量：X′：对抗性产品形象1：初始化x′0X，x′表示迭代k2：δ←03：对于k←1到K，表2：数据集统计#用户#物品#互动亚马逊男士34244 110636 254870Tradesy.com33864 326393 655409图3n-SEMA显示了另一种类型的语义攻击，我们称之为自然语义攻击（n-SEMA）。在这里，钩子项的集成是自然的。 n-SEMA图像可以在照片工作室或专业照片编辑器中创建。 我们在这里不测试它们，因为创建是耗时的，我们使用的是1000个项目图像的冷测试集。然而，一个不道德的商人会4：如果A是INSA，则..−Φ（x′+δ）−Φ（X）<$2有动机投入时间来创建n-SEMA图像。u∈Uu6：δu买家增加，利润增加。7：VBPR：δ ←argmax.u∈UθT（EΦf（x′ +δ））9：DVBPR：δ ←argmax.u∈Uexp（θTΦe（x′k−1+δ））Eq.(6)在图像空间中，通过操纵，10：否则如果 是EXPA11：δargminδ12：其他13：休息14：如果结束δ然后<$Φ（x ′k −1+ δ）− Φ（X hook）<$2<$方程式(7)描绘图像的所描绘的内容首先，这意味着SEMA对抗图像的质量没有限制将c-SEMA和n-SEMA与图3中的INSA和EXPA照片进行对比。该项目是可见的图像，消费者谁决定购买产品不会发现他们被误导。然而，并不是所有的图像都是清晰的，更强的攻击会引入艺术，15：δclipδ，δ扰动在预定义的L范数范围内16：x′ x′1+δ17：x′clipx′+δ，0， 1确保扰动图像保持在有效图像范围18：结束19：x′x′确保x′在8位图像格式中有效20：returnX′←x′k是对抗项图像函数将对抗项图像限制在[0，1]范围内，量化函数确保输出图像可以以8位格式保存生成的对抗图像X'是原始图像和剪切扰动的总和。4.3 语义攻击（SEMA）低知识攻击模型只假设选择钩子项所需的一般知识（见3.1节）。我们提出了一种语义攻击（SEMA）使用图像的语义内容，即，图像中显示的内容，以实现物品的推广这种攻击与INSA和EXPA有很大的不同，它们在不改变图像描述的情况下对现有图像进行扰动。图3c-SEMA展示了我们将在这里测试的语义攻击，我们称之为合成语义攻击（c-SEMA）。使用c-SEMA，攻击者通过将原始图像编辑为钩子项图像作为插入来创建对抗图像。在这里，c-SEMA攻击是促进一双鞋和钩项目是牛仔裤。可以包括文本（在这里，“匹配你的牛仔裤/外套”）以有助于产生这样的印象，即合成图像是为了提高潜在客户的兴趣而进行的公平竞争。影响感知图像质量的因素其次，SEMA图像攻击的影响不依赖于推荐系统使用的算法。事实上，SEMA图像可以有效地攻击任何使用视觉特征的推荐系统，而不仅仅是这里研究的使用神经嵌入的系统。5实验装置在本节中，我们首先介绍用于实验的数据集（第5.1节），并介绍评估设置的详细信息，包括指标（第5.2节）。然后，我们描述实验的实施（第5.3节）。5.1数据5.1.1数 据 统 计 。 我 们 在 两 个 数 据 集 上 进 行 实 验 ：www.example.com和www.example.com中的男装Amazon.comTradesy.com，这是公开的，并广泛用于视觉感知推荐系统研究。两个数据集的统计数据见表2。 男装Amazon.com类别是www.example.com数据集的一个重要子集，其中视觉特征的有效性已在以前的工作中得到验证[ 20，24，32 ]。 Tradesy.com是一个C2C二手服装交易网站，用户可以在这里买卖时尚物品。www.example.com库存的性质Tradesy.com使得视觉感知的冷项目推荐至关重要，因为它的“一次性”特性。对于这两个数据集，每个项目都有一个描述性图像，我们遵循[24]的协议，并将用户对于每个用户，在所有交互的项目中选择一个项目作为测试项目，因此我们的测试项目数量与用户数量相同。5.1.2冷试验项目选择。 为了验证在冷启动场景中攻击的有效性，在Amazon Men和Tradesy.com的每个数据集中，我们随机选择了1000个没有用户交互过的冷测试项目，并将它们作为冷测试集。这些冷∞5：AlexRank：δ←argmaxδ语义攻击之所以特别有趣，有两个原因。SEMA实现了图像嵌入的变化，对抗性项目提升：使用图像解决冷启动的Top-N推荐器的核心漏洞WWW3596..--.我我AlexRankVBPRDVBPR原始INSA EXPA= 4c-SEMA图3：不同方法的对抗性项目图像示例。INSA攻击基于等式6。EXPA、c-SEMA和n-SEMA选择流行的项目，例如，李维斯501牛仔裤，作为挂钩项目。c-SEMA采用简单的共描述方法，n-SEMA以更自然的方式合并目标项。关于推荐性能的影响的更多细节可以在第6.2项目被排除在培训过程之外稍后，它们作为冷启动项目被注入候选项目集合，然后将集合馈送到视觉感知排名器中。5.2评估指标冷启动项目的排名变化通过预测偏移和命中率变化（HR@N）来衡量，遵循前N个推荐系统鲁棒性的评估指标[33]和[5]。等式8定义了项目i的平均预测偏移Δpi，以及测试项目集合Δ pset的平均预测偏移。我们的结果将报告|拉克塞特|和方向分别为clar-是的。pu′，i是p-攻击p_r_e指示器，pu，i是原始的第一项的主席团成员名单。 我测试了一组测试项目。5.3执行在第一阶段中，我们使用BPR来生成一个候选集的前1000名的项目，选择个性化的偏好排名。请注意，我们使用了一个集合，这意味着视觉感知的排名器不会考虑原始的排名顺序。 然后，我们将普通测试项注入前1000个候选项集中，并为每个用户获得1001个测试项的集合。为了比较攻击前后的情况，我们在候选集中注入一个合作冷项或其对应的对抗冷项因此，对于每个冷启动项目，我们有两组1002个项目，每组包括一个测试项目，还包括一个合作或一个对抗性冷项目。我们使用我们的三个视觉排名模型，AlexRank，VBPR和DVBPR（见3.2节），对1002个项目进行排名，并根据完整性和可用性进行评估（见3.3节）。阿尔普岛 =u∈U（pu′，i−pu，i）|U|拉克塞特=i∈I检验阿尔普岛、|Itest|（八）5.3.1模特训练 我们在PyTorch中实现了BPR，AlexRank，VBPR和DVBPR [36]。 对于第一阶段模型BPR，我们将因子数设置为64。随机梯度下降（SGD）等式9根据用户u的项目i的Hu，i@N定义了项目i的平均命中率HRi@N。测试项的平均命中率HR @ N是测试集上HRi @ N的平均值。公司简介 是平均命中率的变化，其中HR′@N是攻击后用于优化BPR，亚马逊男性的学习率为0.01，对于Tradesy.com为0.5，其中在两个数据集上L2罚分的权重衰减被设置为0.001AlexRank的特征维数为2048，VBPR和DVBPR的嵌入长度均为100。项目i的命中率。我们的结果将报告|吉吉|和方向{ 0}中学习率的网格搜索。1，0。01，0。001，0。005}和重量为了清晰起见分开HRi @ N=.Hu，i@ NHR@NHR @ N=.HRi@N在0中衰减。001，0。0001，0。对VBPR和DVBPR进行0001以选择超参数，并且我们选择具有最佳验证性能的模型。5.3.2AIP攻击。如果没有特别提到，N=时的HRu∈U∈I检验|U|HR′@N−HRi@N|Itest|i∈I检验|Itest|（九）AIP攻击的扰动阈值设置为32。在INSA中，epoch的数量被设置为10 以 控 制 攻 击 时 间 ， 我 们 的实 现 在 单 个 NVIDIA RTX2080Ti GPU上生成1000个对抗项目图像大约需要2小时。我们使用Adam优化器，DVBPR的学习率为0.001，重要的是要注意，由于涉及大量用户，较低的度量值仍可能导致较大的影响例如，在亚马逊男性中，增加了0. HR@5上的01，意味着对抗性冷品被推送到了约340个用户的前5名列表中。对于VBPR和AlexRank。在EXPA中，挂钩项目是亚马逊男装中的“Levi's Men's 501 Original Fit Jean”和Tradesy.com中的灰色外套。这两个产品是这两个数据集的训练数据中最常见的交互项然而，回想一下，WWW刘卓然和玛莎·拉森3597↓↑||||||○可以在不直接访问交互统计的情况下选择挂钩我们在EXPA中使用Adam 优化器，学习率为0.01 ，迭代次数设置为5000。在c-SEMA中，我们调整钩子项图像的大小，并将其粘贴到合作项图像的右侧，如图3所示。为了使组合更自然，我们还添加了文本描述。 更多的实现细节可以在我们发布的代码中找到。6实验结果在本节中，我们使用两个真实世界的数据集（第6.1节）对我们的攻击进行实验分析，并研究超参数选择的影响（第6.2节）。最后，我们分析和讨论基于分类的攻击（第6.3节）。6.1攻击评估表3：在Amazon Men（AM）和Tradesy.com（TC）上设置的对抗性感冒项目的绝对平均平均预测偏移，其中表示阳性预测偏移（分数增加）并且表示阴性预测偏移（分数减少）。积极的转变意味着成功的攻击。AlexRankVBPRDVBPRINSAEXPAc-SEMAINSAEXPAc-SEMAINSAEXPAc-SEMA是↑16.13↑15.94↑11.1↑3.27↑3.16↑0.88↑13.54↑4.80↑4.82TC↑26.89↓0.67↓3.44下载0.79↑1.60↑1.45↑3.64↑1.89↑1.19我们发起AIP攻击，并根据我们的指标评估其影响（参见第5.1.2节）。表3示出了对抗性冷项目的绝对平均预测偏移集合与 合作项目。向上的箭头表示正预测偏移，意味着攻击已成功提升项目。我们看到，几乎所有的AIP攻击和视觉感知推荐系统的组合攻击是成功的。高知识攻击INSA比EXPA和c-SEMA实现了更大的转变。c-SEMA是令人惊讶的成功，考虑到它需要的知识请注意，只有比较相同推荐系统和相同数据集的预测偏移的大小才有意义。负的平均预测偏移不一定意味着攻击不成功，因为它是排名位置而不是偏好预测得分，其转化为攻击者的利益 出于这个原因，我们继续检查命中率相关的指标。表4（a）显示了平均命中率HR@5的结果。前两行报告原始情况：合作社的命中率（即，非对抗性）版本的冷项目和在没有对抗性项目被添加到候选集合的情况下普通测试项目的命中率。表格的其余部分报告了攻击事件。标有“”的箱子表示原始情况与发作情况之间的统计学显著性差异（项目水平配对样本t检验p <0. 05）。01）。首先，我们考虑从表4可以看出，在几乎所有情况下，对抗版本的冷项目的命中率都超过合作版本的冷项目的命中率，这意味着所有AIP攻击通常都是有效的。 对INSA来说，这次袭击的影响是巨大的。在仅有35个用户的列表中，合作冷项目进入前5位（平均超过三个推荐系统），但在攻击之后，对抗性冷项目使其进入超过20，000个用户的前5名 由于INSA使用了最多的知识，因此它是最有效的攻击也就不足为奇了。然而，即使知识少得多，EXPA和c-SEMA 都构成了严重的威胁。例如，对于Amazon Men，c-SEMA在DVBPR的情况下将冷商品推送到582个用户的前5名列表中。我们还计算了所有条件下的HR@10和HR@20由于趋势与HR@5相同，因此未在此报告接下来，我们讨论“可用性”，即推广在多大程度上是以牺牲其他项目为代价的，这在规模上可能会阻碍整个推荐系统的运作。在表4中，我们看到INSA对可用性的影响比EXPA和c-SEMA大请注意，EXPA和c-SEMA在Amazon Men和Tradesy.com上的不同性能并不仅仅归因于对抗性攻击本身，因为钩子项的选择也会产生影响。 对于Tradesy.com，所选钩子项目（灰色外套）的HR@5原本相当低，因此在EXPA或c-SEMA之后，排名无法大幅增加。总的来说，我们观察到AIP攻击对完整性的破坏比对可用性的破坏更大。然而，在现实世界的情况下，重要的是要研究涉及多个对抗性项目同时存在的情况。为了直接说明AIP攻击对完整性的影响程度，我们在表5（a）中报告了平均命中率同样，可以观察到INSA的预期大效果 同样，c-SEMA攻击是令人惊讶的有效，因为它涉及的知识很少。请记住，我们所关注的推荐系统平台是巨大的，即使是c-SEMA所提供的平均排名的微小提升也可以转化为互动和利润的大幅增加。图4显示了DVBPR项目嵌入定义的图像空间的2-D可视化（使用t-SNE [30]） 它允许我们直接观察不同AIP攻击的影响。原始冷图像的位置（即，合作图像）由1示出。 我们可以看到，它被放置在与它在视觉上相似的项目旁边。攻击将此图像移动到其他位置。挂钩项目是一条牛仔裤。 我们可以看到，EXPA、c-SEMA和n-SEMA将冷项推到与钩项相关的聚类中。请注意，很难推断INSA的位置，因为它针对所有用户嵌入进行了优化在这里，n-SEMA图像是