智能社区的深度视觉集成相似性方法（DVESM）：一个视觉推荐系统的研究

沙特国王大学学报智能社区中视觉感知推荐和搜索的深度视觉集成相似性（DVESM）方法Srinidhi Hiriyannaiaha，1，P.，Siddesh G.M.b，1，Srinivasa K.G.c下2印度班加罗尔Ramaiah理工学院（MSRIT）信息科学工程系研究学者，印度卡纳塔克邦Belagavi Visvesvaraya技术大学b印度班加罗尔Ramaiah理工学院信息科学工程系，邮编：560054，附属于Visvesvaraya技术大学，天气-卡纳塔克邦，印度c印度昌迪加尔国家技术教师培训研究所阿提奇莱因福奥文章历史记录：收到2019年2020年3月23日修订2020年3月25日接受2020年4月1日网上发售保留字：视觉推荐系统EnhancementlearningDVESMCNNCAEA B S T R A C T推荐系统（RS）在电子商务应用中扮演着重要的角色，因为它们可以帮助消费者在更短的时间内选择所需的物品。传统的协同过滤方法，无法捕捉到与项目相关的可视化数据。视觉感知推荐系统即将出现在电子商务应用中，它使用产品的视觉特征而不是用户配置文件。深度学习技术用于视觉推荐系统中的分类和预测。然而，视觉 推荐 系统 的关 键在 于为 给定 的 目标 图像 识别 相似 图像 本 文提 出了 一种 基于 深度 视觉 环 境相 似性 度量（DVESM）的视觉推荐系统，该系统使用卷积自编码器（CAE）神经网络进行分类。其基本思想是利用CAE得到一组训练好的图像特征向量，并利用DVESM方法找到训练好的特征向量与目标特征向量之间的相似性使用DVESM的拟议方法已在Amazon 2014、2015和Street2Shop数据集上使用最先进的方法进行了演示。结果表明，DVESM方法是最适合的视觉感知推荐系统，因为它学习的整体指标提供建议。©2020作者由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍由于高速互联网的出现以及方便和节省时间的电子商务应用的推广，在线购物已经获得了很多重要性（Calero Valdez等人，2016年）。Internet是各种电子商务应用的主干，因此Web被视为电子商务应用中业务不断增长的数据*通讯作者。电子邮件地址：srinidhi.gmail.com（S.Hiriyannaiah），siddeshgm@gmail.com（G.M. Siddesh）。1Ramaiah技术学院（MSRIT）信息科学与工程系，班加罗尔-560054，印度，附属于Visvesvaraya技术大学，印度卡纳塔克邦Belagavi。2国家技术教师培训研究所&，印度昌迪加尔，沙特国王大学负责的同行审查。制作和主办：Elsevier在互联网上的信息被视为开发新产品和服务的来源，以满足用户的不同类型的服务（Parimi和Caragea，2014）。这些服务需要通过从整个数据中过滤出必要的信息，以明确的方式向每个用户提供信息。 推荐系统（RS）通过有效地使用用户的信息来帮助过滤这样的服务（Kluver等人，2018年;Kunaver和Pozrl，2017年）。RS被各种电子商务平台使用，诸如用于电影推荐的Net-Mail（Bell等人，2017），YouTube视频推荐（Christakopoulou等人，2018），Flipkart（Paul等人，2017）和亚马逊的产品推荐（史密斯和林登，2017）。任何推荐系统的目标都是基于先前的购买和来自他们的历史反馈向用户提供建议（Shu等人， 2018年）。建议将取决于项目的属性和用户的偏好RS通常用算法训练，该算法基于用户的初始评级来识别可能被点击/购买的物品/产品RS的领域涵盖时尚、电子、服装等。电子商务的应用是由时尚和生活方式的领域构成的包，配件，服装等https://doi.org/10.1016/j.jksuci.2020.03.0091319-1578/©2020作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comS. Hiriyannaiah等人/沙特国王大学学报2563（Hwangbo等人，2018年）。在时尚领域，RS基于用户的视觉感知而不是产品的评级来推荐正确的物品这仍然是一个挑战，因为用户和产品风格随着时间的推移而变化（Landia，2017）。这些变化可能是在产品的语义上，预测变化是复杂的，因此基于与物品相关联的视觉图像来识别期望的产品是至关重要的（Hwangbo等人，2018; Landia，2017）。在本文中，有两个问题在RS的背景下解决第一个问题是视觉搜索，用户需要根据他们给出的图像（查询）推荐类似的不仅要提出一个合适的项目，而且要准备一份重要项目的排名表。第二个问题，是在文件中的重点是排名的建议。用于分类的一些现有解决方案基于矩阵分解（MF）（Xue等人，2017）和神经网络（Hidasi和Karatzoglou，2018）。这些解决方案集中于基于最后的全连接层将图 像 分 类 为 各 种 类 别 。 然 而 ， 对 于 排 名 ， 使 用 k- 最 近 邻 方 法（Jannach和Ludewig，2017），这并不是所有情况下的最佳选择另一方面，存在计算相似性和排名推荐的经验解决方案（Da'u等人，2019年），这是基于产品/项目的意见和方面。这样的解决方案缺乏适合于给定目标图像的排名推荐，并且在映射过程中引起开销在本文中，所提出的系统使用卷积自动编码器（CAE）进行分类。利用深度视觉包围相似度量（DVESM）算法将CAE得到的特征向量与图像目录的特征向量进行比较该算法的输入是通过训练阶段从CAE获得的一组特征向量和需要推荐的图像的目标在所提出的用于推荐的DVESM模型中实现的两个功能是（a）分类：给定产品/物品的视觉图像，找到它所属的类别，并使用CAE为其提供(b)建议：一旦获得产品/项目目录和目标产品/项目的编码特征向量，使用DVESM方法找到最相似的产品。例如，如果目标产品是鞋子，那么与鞋子相似的产品应该作为推荐。建议的系统进行评估，使用四个数据集和合适的指标用于估计性能的建议。拟议系统的主要贡献如下。设计了一种卷积神经网络（CNN）与CAE相结合的视觉图像分类方法。从提供给定视觉查询图像的类别的CAE获得特征向量。提出了一种新的集成DVESM，利用CAE获得的特征向量提供建议。相似性度量余弦，曼哈顿，皮尔逊和谷本用于获得一个合奏相似性使用DVESM方法提供适当的建议。在Amazon和Street2Shop数据集上进行了大量的实验，以证明所提出的DVESM方法的有效性。 将DVESM方法推荐性能与RAND（Hadi Kiapour等人， 2015 ）、PopRank （Szegedy 等人，2016 ） 、 VisRank （ Kang 等 人 ， 2017 ） 和 VBPR （ He 和McAuley，2016）作为基线模型。本文件的组织结构进一步如下。在第2节中，讨论了视觉搜索和深度学习方法的相关工作。DVESM的建议方法将在第二节中讨论与规范的特征提取，分类和推荐过程。使用DVESM方法的推荐阶段在第4节中讨论最后，在第5节中讨论了 DVESM方法的实验和结果及其与基线方法的比较2. 相关工作最近几天，网上购物比传统购物更受欢迎。客户根据自己的选择从广泛的目录中如果网站中的零售商在早期阶段就知道客户的偏好，那么它将使客户和零售商都受益因此，需要一个推荐系统，可以根据颜色、款式、尺寸等对目录中的产品进行分类。推荐系统帮助消费者做出更好的决定，减少搜索时间，并最终找到最合适的产品（Tarus等人，2018; Tuinhof等人，2018年）。为了推断出推荐的知识，所使用的方法之一是基于调查的具体这种方法受到客户反应的限制，因为它可能不准确，也不足以推荐。因此，有必要提出一种基于视觉搜索的推荐系统。有两种主要的产品推荐方法，即协同过滤（CF）和基于内容的过滤。在CF中，使用用户-项目交互的历史，而基于内容的过滤与用户配置文件和项目描述相关。基于内容的推荐系统（Bagher等人，2017; Balabanovic和Shoham，1997）基于用户和项目的简介。它使用用户购买的项目的交易历史来推荐与用户过去喜欢的项目类似的另一方面，CFRS推荐使用用户的共同偏好的物品和他们购买的物品（Ekstrand等人，2011; Jalili等人， 2018年）。在时尚中，产品可以用其产品属性来表示，如颜色，图案，面料，袖子类型，衣领类型等。这些属性很少是固定的，通常会随着新的趋势而变化。标记是使用这些属性提供推荐的最大挑战之一，并且仍然难以提供推荐，因为它们很难用有限的属性集来因此，基于CF的方法优于基于内容的方法。最近，人们对基于视觉搜索的推荐系统产生了兴趣（Vartak等人，2017年）。视觉感知推荐系统基于图像的视觉特征来指导用户的决策。一些视觉感知推荐系统应用于时尚和服装领域（Shankar等人，2017年）。采用基于三元组的方法来理解图像中的视觉特征.类似地，基于位置的视觉推荐系统是讨论在（Wang等人，2017），其考虑用户的兴趣点以用于推荐。然而，分析图像中的视觉信号并提取有意义的表示是一个挑战，需要用于分类的深度学习方法和捕获此类视觉特征的复杂表示的用户界面。在本文中，为视觉RS选择的领域是时装和服装。RS的不同深度学习方法的概述在（Zhang et al.，2019年）。深度学习的最新进展已经被学术界采用（Hadi Kiapour等人，2015年;Liu等人，2016）和工业（Jing等人，2015年; Yang等人，2017）来实现各种时尚相关的应用，从服装识别到时尚检索（Kang等人，2019年）。用于协同过滤的基于深度学习的神经方法在（Hadi Kiapour等人，2015）使用矩阵分解作为●●●2564S. Hiriyannaiah等人/沙特国王大学学报法基于混合的方法也在（Liu等人，2016），其中矩阵分解（MF）与深度学习模型相结合，用于提取视觉特征以进行重组。表1相关工作和问题总结建议的解决办法修补在（Jing等人，2015）加权矩阵分解方法用于检测图像的视觉特征和用户评级。这些方法受到推荐排名系统的限制，因为MF方法需要产品的评级和标签神经网络被广泛用于使用视觉搜索的图像分类。卷积神经网络（CNN）用于时尚类识别（Lao和Jagadeesh，2016）。该分类方法对服装类型进行分类，分为服装属性、服装检索和服装对象检测四个阶段采用最近邻法对各阶段相似服装进行排序.基于Alexnet的CNN模型用于（Islam et al.，2017）用于服装的纹理分类。它使用五层卷积和4个完全连接的层进行最终分类。 使用比较深度学习模型来学习图像和使用最近邻方法进行推荐的用户表示（Lei等人， 2016年）。 在（Niu et al.， 2018年），将其与BPR排名方法进行比较。在（Tuinhof等人， 2018），其中CNN用于图像分类，排名系统用于推荐。排名系统使用k-nn作为推荐的基本然而，排名方法仅限于贝叶斯个性化排名（McAuley等人，2015;他和麦考利，2016）RAND和PopRank（Hadi Kiapour等人，2015年;塞格迪例如，（2016年）VisRank（Kang等人，（2017年）它使用传统的贝叶斯方法进行类别分类，并使用视觉搜索对推荐进行排名。先验分布的计算是耗时的。生成的推荐项之间的平均距离用于计算视觉相似性。建议存在偏差，因为远离平均距离的项目被排除在建议一个CAE是用来找到一个类别的特征向量和DVESM使用的相似性度量的合奏排名提供有效的建议，而无需任何计算的先验概率。DVESM算法主要关注不同相似度度量的权重，以得到推荐的最终集成相似度。DVESM首先统一分配权重的相似性度量，然后获得最终的集成相似性的建议。因为它使用k-nn。 视觉感知接收-在（McAuley等人，二 〇一五年;陶库特等人， 2019）使用贝叶斯个性化排名方法。它采用传统的贝叶斯方法，结合了图像的视觉动态进行分类因此，在本文中，所提出的系统使用的相似性度量的合奏排名的建议。相似性度量在推荐排名系统中起着重要的作用已经提出了各种各样的深度学习方法来计算相似性。连体网络是一种经典的方法，其使用嵌入空间，使得具有短距离的相似图像用于推荐并应用于面部验证和降维（Agarwal等人， 2018年）。一个基于视觉的映射是用于基于图像的搜索方法，使用一个典型的文本检索方法的词袋。K-均值聚类方法还用于使用局部特征描述符的空间将文本单词实体模拟为视觉单词（Cremonesi等人，2010年）。在（Kim等人，2016），用于使用与产品和用户的可用交互来获得相似性。获得本文中被视为基线模型的类似项目的其他方法是RAND（HadiKiapour等人，2015）、PopRank（Szegedy等人，2016）、VisRank（Kang等人， 2017）和VBPR（He和McAuley，2016）。在RAND方法中，相似项目以随机顺序排列，忽略项目之间的任何类型的相似性。在PopRank方法（Szegedy等人，2016），基于项目在用户之间的流行度来生成推荐。RAND和PopRank方法的缺点包括随机性和流行性的偏差。流行度是基于用户看到的项目的频率来定义的RAND和PopRank是比较推荐的简单方法。基于VisRank方法中的视觉相似性对图像进行排名（Kang等人，2017年）。项之间的平均距离用于计算视觉相似性。在VBPR方法（He和McAuley，2016）中，使用贝叶斯方法对图像进行排名，该方法具有视觉感知能力，并使用贝叶斯方法对图像进行个性化排名VisRank和VBPR方法的不足之处包括标准贝叶斯方法用于排名和分类的假设。在基于时尚的推荐系统的视觉搜索中解决的总体问题是在表1中总结的推荐的分类和排名。挑战在于提取图像的视觉特征并将其表示在用户界面中。然而，由于深度学习方法和CNN的进步，它可以用特定的正则化技术来处理。一旦分类完成，下一个挑战是基于查询图像对合适的推荐进行排名。在所提出的方法中，权重集成技术用于使用CAE对推荐进行排序。我们的想法是使用来自CAE的编码特征向量将Deep CNN与加权集成DVESM方法集成，并提供更好的建议。所提议的整合将在后面的章节中讨论。3. 拟议系统本节将讨论拟议的分类和推荐本文对视觉搜索考虑了两个问题首先，它所属的图像类别;其次，找到与给定查询图像相似的 该系统由数据预处理和特征提取、分类和推荐三个阶段组成。1.一、在第一阶段，根据CNN对数据集中的图像在训练阶段获得目录中所有图像的类别和特征向量在第二阶段，对查询图像进行预处理，并通过CNN获得类别和特征向量。在第三阶段中使用DVESM方法使用训练图像的编码特征向量与查询图像的编码特征向量之间的相似性度量来用于所提出的系统的符号如表2所示。所提出的系统的工作流程如算法1所示。 工作流的输入是I1、I2、In> catalogue，查询图像Qi进行视觉搜索，输出为F1r，F2r，前五名的建议。工作流分为两个S. Hiriyannaiah等人/沙特国王大学学报2565Fig. 1. 拟议的分类和推荐制度。表2使用DVESM模型进行协同过滤的符号。符号解释图像目录I1、I2、In>. 特征向量和类<在该阶段中还提取查询图像Qi的Cq，F q前五名的建议和特征向量Qi用于视觉搜索的查询图像的查询图像Fq>。每相的规格热门推荐使用CNN和CAE的图像类别使用CAE训练图像的将在后面的章节中讨论。3.1. 数据预处理和特征提取算法1：视觉搜索的工作流使用CAE查询图像的特征向量基于Fq特征向量使用CNN对查询图像进行图2a. 卷积和池化。图2b. 最大池。阶段，即查询阶段和推荐阶段。 在查询阶段，视觉搜索开始于提取特征向量和类对于拟议系统输入：I1，I2，，In>目录和查询图像Qi视觉搜索输出：F1r，F2r，，Fnr>前五个建议查询阶段：获取目录中的所有图像I1、I2、In>尺寸预处理<- 使用CNN-提取特征向量利用CAE<- 提取查询图像Qi使用CNN和CAE推荐阶段：<- 计算相似度在F1，F2，，Fn>和Fq>之间使用DVESM推荐F1r，F2r，，Fnr>的前五项在本节中，将通过卷积和池化阶段的规范对CNN进行简要概述。该系统使用CNN和CAE进行特征提取和分类。提供给CNN的图像需要根据CNN中使用的卷积层进行预处理。CNN最重要的阶段是卷积和池化，如图所示。 二、在卷积阶段，图像的一小部分使用矩阵乘法被转换成如图2（a）如图所示的合并阶段。2（b）将卷积图像的一小部分转换为2566S. Hiriyannaiah等人/沙特国王大学学报使用max pooling方法。max pooling方法输出图像部分中的最大数量，如图所示在图2（b）中。通过这种方式，可以使用CNN提取特征。有许多代表性的CNN可用于分类目的，包括Alexnet，VGG，Incep-tionV 3。在本文中，Inception V3用于基于视觉搜索的类别分类。3.2. 使用CNN图像I1，I2，，In>在目录中是使用CNN。CNN是使用Inception v3和VGG模型构建的。在本节中，I1，I2，，In>分为不同的类别/类是讨论用于分类的CNN模型的整体工作流程如图所示。3.第三章。3.2.1. VGG它是用于分类的深度卷积神经网络模型，如在（Masci et al.，2011年）。它由13个卷积层组成，最大池和最后一层作为softmax层。VGG模型最初被训练用于对ImageNet ILSVRC-2014内容中的图像进行分类，其中包含1000个类别。在本文中，为了实验的目的，最后一个全连接层改为4096x20。在训练阶段，预训练的权重用于最后三个完全连接层的初始化参数。3.2.2.Inception v3它也是用于分类的深度卷积神经网络，如在（Kang等人，2017年）。Inception v3模型输入299x299 RGB图像，输出2048维矢量。可以基于需要解决的分类问题在该输出层之后添加附加层。例如，如果有10个分类类别，则需要使用具有10个节点的全连接层以及softmax函数。在训练阶段，预训练的权重用于最后三个完全连接层的初始化参数对于视觉搜索和推荐，不同的图像有不同的影响。例如，考虑衬衫的类别，其中需要考虑诸如颜色、衣领、印花类型、纽扣等不同因素子类别也可以在分类中发挥作用。例如，T恤可以是衬衫的子类别，其中徽标、袖子长度因素可以影响推荐。本文提出的系统使用Inception v3作为CNN，从每个类别的最后一个全连接层获得视觉向量和类通过CAE进一步微调所进行的分类，重点关注通过CNN获得的特征向量的主要方面。需要进行微调，因为单独的类对于推荐没有用处。例如，考虑一个鞋子的类别;CNN可能只给出“shoe”类的输出该信息对于推荐没有价值，因为存在与类别相关联的许多特征，例如颜色、设计等。因此，需要进一步微调图像在以下部分中讨论了使用CAE进一步进行的特征提取3.2.3. 基于CAE的CNN Inception v3用于提取图像的类，如前所述在视觉搜索过程中，Inception v3的输出图像用于提取特征向量以进行进一步推荐。在本节中，讨论使用自动编码器提取用于推荐的特征向量自编码器（AE）神经网络是基于编码器-解码器范式，以非监督的方式进行训练它由三层组成，即编码器，解码器和隐藏层，其中隐藏层的大小取决于应用程序。它主要用于在编码层识别输入的重要对于视觉搜索，传统的AE是没有用的，因为它没有考虑信号可以是其他信号的总和另一方面，卷积自动编码器（CAE）使用卷积算子来适应这种观察（Masci等人，2011年）。对于视觉搜索，CAE用于提取特征向量。它保留了二维图像的结构信息和权值图三. CNN分类模型。S. Hiriyannaiah等人/沙特国王大学学报2567j ji.Σ1/4q的最大值为1/4F2Fi-FqB s1;s 2;···;si¼Uaisi¼1XNn1/1在本地位置之间共享。在本文中，CAE与规则化添加噪声的训练数据，使自动编码器具有其他属性以外的身份功能。CAE的编码器和解码器部分分别被表示为转换函数“a”和“b”，其中V是指被考虑用于视觉搜索的图像，z =a（V）= H是指CAE中的隐藏层假设如果v（3）和（4）其中W和Wa：V！ H1b：H！ V2zrWcvb3v0¼r0.W0czb04. 最初使用的相似性函数是余弦，Manhattan、Euclidian、Pearson相关和Tanimoto系数。为了获得最佳推荐，相似度函数的输出经受Boosting。DVESM是通过达成共识而得到的。共识用于获得不同类别目录项目的建议。相似性函数和DVESM工作流程将在后续章节中讨论。4.1. 相似性度量存在可用于推荐系统的各种相似性度量。一些相似性度量将在后面的章节中讨论。计算编码特征向量之间的距离，即表示为和编码查询特征向量Fq>，即查询图像。余弦距离：特征向量之间的余弦相似性如等式所示。（六）、Pn1Fi FqDi¼P为CAE训练阶段定义的损失函数如图所示q我Q在等式（五）、对于总共N个图像，在CAE中使用被考虑用于视觉搜索的原始图像v与重构图像v'之间的均方误差来最小化。 项k表示将噪声添加到训练数据，使得自动编码器具有除恒等函数之外的其他属性通过这种方式，视觉特征向量欧几里德距离：欧几里德距离是两个特征向量之间的笛卡尔（七）、vut1Xn2Cn1/1通过最小化CAE中重构输出中的损失来提取搜索。L. v;v0kv-v02k5我Mahattan距离：它也被称为L1距离，使用网格状路径计算距离。它是它们的分量的绝对差之和，计算方法如的EQ。（八）、2Ni¼1ikD¼X. F i-F q。ð8 Þ4. 使用DVESM方法的建议在本节中，讨论了视觉搜索的推荐方法一旦使用CAE获得了特征向量，则使用称为深度视觉包围相似性度量（Deep Visual Ensemination SimilarityMetric，DVESM）整体1/1Pearson相关性：它用于预测给定向量的向量相互线性相关的程度，如等式中所示。（九）、Pn .Fi-F。Fq-FD1/1使用WESM方法的推荐方法如图所示在图4中。 计算编码的查询特征向量Fq>和训练的编码特征向量我是说，我的朋友。你好，我是一个很好的朋友，我是一个很好的朋友。ffiffiffiFffiffiffiffiffiffiffiffiffiffiFffiffiffiΣffiffi2ffiffi我¼11/1ð9Þ谷本系数：它给出了fea-两个向量之间共同的特征与特征的总数之比，如等式中所示。（十）、PnF i：F q1/1I1D¼PnF1/12英里。.Fq. 2-PnFi：Fqð10Þ4.2. DVESM方法最相似的特征向量接收较低的权重，而不相似的特征向量被分配较高的权重。通过关注不同的特征向量，从而鼓励弱学习者之间的更高多样性，形式上，如果相似性度量的集合被表示为{s1（x），s2（x），s3（x）. .. . . ..，sM（x）}，它们对应的Boosting模型可以表示为等式（1）。（11）其中B x1; x2表示WESM，即是每个相似性函数si. XXxN（XN ）ð1/1D¼ð7Þ我-q-见图4。DVESM推荐方法。ð11Þ6Þ2568S. Hiriyannaiah等人/沙特国王大学学报××××KI¼Z1sKak<-1/2log-sk用于导出DVESM的算法如算法2中所示。它将输入作为相似性函数s1（x），s2（x），s3（x）. .和查询的编码向量并且使用Boosting和Consensus函数U给出输出DVESM。< 最初，一组均匀权重ak是分配给所有的相似性，即余弦，曼哈顿，欧几里德，皮尔逊相关性和谷本系数。Sk（i）表示这些相似性，其最初在S上训练误差e在xi（实际图像）和yi（查询图像）之间计算使用该误差，使用对数函数更新权重，并为每个相似性给出权重。重复该升压功能，直到误差e达到0.5。一旦达到阈值，就使用一致性函数U导出DVESM。使用DVESM导出的特征向量给出了前五个特征向量收集了10，000张图像进行分类。的图像对于inceptionv3，数据集中的大小调整为299 299 3，224 224 3为VGG。这种预处理有助于减少识别分类类的开销。5.2. 评估指标用于测量使用所提出的DVESM方法的建议的性能的评价指标是曲线下面积（AUC），均方根误差（RMSE）和召回。AUC用于测量相对于基线方法的总体推荐排名。RMSE用于根据前面部分中讨论的基线相似性度量来测量相似性排名召回率用于衡量每个数据集及其类别的推荐性能。用于评估的性能的方程算法2：DVESM方法输入：训练的编码特征向量Output：A DVESM相似性对于目标查询要素Fq对于每个编码的特征向量F1，F2，…，Fn>in，训练图像目录建议列于12、13、14。召回率被测量为针对所有类别的图像Cn的实际图像Ai和预测图像Pi的总和的分数。RMSE计算每个基线相似性度量，并使用等式与DVESM进行比较。其中，A_fi表示实际特征向量，P_fi表示所有类别C_n的预测特征向量。CnSk（i）-编码的一对的相似性i<调用¼1XjAi\Pijð12Þ特征向量和查询特征Fq，相似度Kak- 每个相似度K的//设置统一权重表3Cni¼1jAij6i So（i）<-1/N其中N是类别数FN其中K是相似性的数量S-使用Sk-1使用曲线下面积（AUC）结果的推荐性能。sk<-在Sek<-PN1Sk-1idskxi≥yiS（i）<-Sk-1ie-akyiskxiK结束DVESMF1，F2，.. . .， Fn>><-U（s x; s x;··· ; s x）12我因德福前五项建议F1，F2，F3，F4，F5>-DVESMF1 r，F2 r，........... ，Fnr>5. 实验及结果5.1. 数据集用于实验的数据集是亚马逊产品图像数据集（McAuley等人，2015 ） 和 Street2Shop 数 据 集 （ HadiKiapour 等 人 ， 2015 年 ） 。Amazon Product图像数据集由20个类别组成。从这个数据集中，提取了亚马逊时尚的子集亚马逊男性和亚马逊女性的综合数据集也表4图五.使用AUC的推荐性能。从 亚 马 逊 产 品 图 像 数 据集 中 提 取 。 用 于 实 验 的 另 一 个 数 据 集 是Street2Shop数据集。它由11个类别的200 K不同的时尚项目必须对数据集中的图像目录进行预处理，以用于分类和特征提取的CNN。由于数据集中不同类别的不平衡，每个类别中的500个图像的采样被执行，然后使用RMSE结果的推荐性能。数据集余弦曼哈顿PearsonTanimotoDVESM亚马逊20140.72840.70820.68560.67350.6572亚马逊20150.79360.73780.69830.65730.6142亚马逊男士0.83670.79670.76360.72580.6953亚马逊女人0.85830.81490.78670.75820.7173Street2Shop0.89280.85280.81630.78520.7537数据集兰德PopRankVisRankVBPRDVESM亚马逊20140.50.52810.61620.73640.7674亚马逊20150.50.53890.63780.74780.7938亚马逊男士0.50.55630.65480.75670.8156亚马逊女人0.50.57450.67890.76860.8374Street2Shop0.50.64630.69530.77650.8693S. Hiriyannaiah等人/沙特国王大学学报2569Afi-Pfivut1XCn2Cn1/1AUC¼1X1十五. FiFq14jNjj s N . Cj。i

下载后可阅读完整内容，剩余1页未读，立即下载