上下文感知的时尚兼容性预测

12617上下文感知的视觉兼容性预测Guillem Cucurull元素AIgcucurull@elementai.comPerouz TaslakianElement AIperouz@elementai.comDavid Vazquez元素AIdvazquez@elementai.com摘要我们如何确定两件或两件以上的服装是否兼容或具有视觉吸引力？部分答案在于对视觉美学的理解，并受到社会态度，时间和地点所形成的个人偏好的影响。在这项工作中，我们提出了一种方法，预测两个项目之间的兼容性的基础上，他们的视觉功能，以及他们的背景。我们将上下文定义为已知与这些项目中的每一个兼容的产品。我们的模型是在对比其他度量学习方法，仅依赖于项目功能我们使用一个图神经网络来解决兼容性预测问题，该网络学习根据上下文生成产品嵌入。我们展示了在两个时尚数据集Polyvore和Fashion-Gen以及Amazon数据集的一个子集上测试的两个预测任务（填空和服装兼容性）的结果;当使用上下文信息时，我们实现了最先进的结果，并展示了测试性能如何随着更多上下文的使用而提高。1. 介绍预测时尚兼容性是指确定一组时尚项目是否很好地结合在一起的任务。在其理想形式中，它包括理解服装的视觉风格，认识到社会和文化态度，并确保当一起穿着时，服装是美观的。该任务是各种行业应用的基础，例如个性化时装设计[19]，服装组合[7]，衣柜创作[16]，项目推荐[31]和时尚趋势预测[1]。然而，时尚兼容性是一项复杂的任务，它取决于风格、背景和趋势的主观概念--关于时尚兼容性预测问题的先前工作[24，36]使用的模型主要基于项目信息（如图像，类别，描述）在项目之间进行成对比较. .等等。这些AP-（一）图1：时尚兼容性。我们使用上下文信息周围的时尚项目，以提高任务的时尚兼容性预测。（a）标准方法比较项目对（b）我们使用图来利用关系信息来知道项目的上下文。这些方法的缺点是，所考虑的每对项目都是独立处理的，使得最终的预测依赖于孤立的每个项目的特征之间的比较。在这种丢弃上下文的比较机制中，模型每次都对给定的一对服装物品例如，如果模型被训练为将特定风格的衬衫与特定风格的鞋子相匹配，那么它每次都会做出相同的预测。然而，由于兼容性是一种主观的衡量标准，可能会随着趋势和个人的变化而变化，因此这种不灵活的行为在测试时并不总是可取的。上述衬衫和鞋子之间的兼容性不仅仅是由这些物品的特征单独定义的，而且还受到个人偏好和时尚感的影响因此，我们将服装项目的上下文定义为与之兼容的项目集，并通过引入基于视觉特征以及每个项目的上下文这种考虑为模型提供了一些背景，我们认为？？？？（b）第（1）款12618在本文中，我们建议利用集合中项目之间的潜在关系信息来进行更好的兼容性预测。我们以时尚为主题，用图的形式来表示服装款式及其配对的兼容性，其中顶点是时尚款式，边连接兼容的款式对;然后，我们使用基于图形神经网络的模型来学习预测边缘。我们的模型基于图自动编码器框架[22]，该框架定义了计算节点嵌入的编码器和应用于每个产品嵌入的解码器。图自动编码器已经被成功地用于相关问题，如推荐系统[35]，我们将这个想法扩展到时尚兼容性预测任务。模型的编码器部分根据它们的连接计算项目嵌入通过将乘积嵌入到邻域中，使得表示中包含的风格信息更加鲁棒，从而产生更准确的兼容性预测。这种准确性通过我们在三个数据集上执行的一组实验进行了 测 试 ： Polyvore [12] ， Fashion-Gen [28] 和 Amazon[24]，并通过两个任务（1）服装完成（见第4.1节）和（2）服装兼容性预测（见第4.1节）。我们比较我们的模型与以前的方法，并获得最先进的结果。在测试期间，我们为我们的模型提供了不同数量的被测试的每个项目的上下文，并且经验表明，我们使用的上下文越多，我们的预测就越准确本文的主要贡献有：（1）首次提出了一种基于上下文信息的服装兼容性方法;（2）实证研究了测试时间内邻域信息的使用量对预测精度的影响;和（3）我们表明，我们的方法优于其他基线方法，这些方法不使用Polvvore [12]，Fashion-Gen [28]和Amazon [24]数据集上每个项目的上下文。2. 相关工作由于我们提出的模型使用图神经网络来执行时尚兼容性预测，因此我们将与我们提出的模型相关的大量工作分为两类，我们将在本节中讨论在下文中，服装是可以同时穿着的一套服装物品我们说一套服装是兼容的，如果组成服装的服装项目在一起穿着时是美观的;当我们将服装项目添加到组成服装的集合时，我们扩展视觉时尚兼容性预测。 为了接近视觉相容性预测的任务，McAuleyet[24]在CNN提取的视觉特征之上学习兼容性度量，并将他们的方法应用于成对的产品，使得嵌入空间中的学习距离被解释为兼容性。他们的方法由Veit等人改进。 [38]，他们不是使用预先计算的图像特征，而是使用端到端的连体网络来预测图像对之间的兼容性。类似的端到端方法[19]表明，联合学习特征提取器和推荐系统可以获得更好的结果。时尚风格的演变在兼容性评估中具有重要作用，He等人[14]研究了如何调整先前的方法，以模拟推荐系统中时尚趋势的视觉演变。这个任务的一些变化包括预测服装的兼容性，例如从个人衣柜中生成服装[34]，或者确定最适合部分服装的项目。为了实现这些任务，Han等人 [12]将时尚服装视为一个有序的产品序列，并在从图像中提取的CNN特征和从嵌入空间中的文本中提取的语义通过为全套服装添加新的风格嵌入来改进这种方法[27]。Vasileva等人。 [36]还使用文本信息来改进产品嵌入，以及使用条件相似性网络[37]来产生类型条件嵌入并学习兼容性度量。这种方法将每个产品嵌入投影到一个新的空间，这取决于被比较的项目对的类型。图神经网络。扩展神经网络以处理图结构数据首先由Gori等人提出。 [10]和Scarselli等人。 [29]。最近，随着谱图神经网络的提出[5]及其改进[6，21]，对这个主题的兴趣重新燃起 Gilmer等人 [9]表明，大多数将神经网络应用于图的方法[25，39，11]可以被视为图上可学习的消息传递框架的具体实例。为了深入研究将神经网络应用于图结构数据的不同方法，我们建议读者参考Bronstein等人的工作。[4]和Battaglia等人。 [2]，其中探讨了如何将关系归纳偏差注入深度学习架构。图神经网络已被应用于类似于产品兼容性预测的产品推荐中.在这个任务中，目标是预测用户和产品之间的兼容性（而不是一对产品）。 Van den Berg等 [35]展示了如何将此任务视为图中的链接预测问题。类似地，图也可以用来利用矩阵完成问题的行和列内的结构应用于产品推荐[18，26]。最近，一个基于图的推荐系统已经规模化12619z2我L的相性(a) 输入（b）编码器图2：方法。我们把时尚的兼容性作为一个边缘预测问题。我们的方法由一个编码器和一个解码器组成，编码器根据每个产品的连接计算新的嵌入，解码器预测两个项目的兼容性得分。 (a)给定节点x1和x2，我们要计算它们的兼容性。 (b)编码器计算 通过使用L图卷积层来嵌入节点，该卷积层合并来自其邻居的信息。(c)解码器使用用编码器计算的嵌入来计算兼容性分数。到网络规模[40]，在一个拥有超过30亿个节点的图形上运行，这些节点由Pinterest的引脚和板组成。3. 该方法我们在这项工作中使用的方法类似于Vasileva等人的度量学习思想。[36]，但不是使用文本来改进产品嵌入，而是使用图来利用结构信息并获得更好的产品嵌入。我们的模型基于Kipf等人定义的图自动编码器（GAE）框架。[22]，该框架已用于知识库完成[30]和协同过滤[35]等任务。在这个框架中，编码器得到一个不完整的图作为输入，并为每个节点生成一个嵌入。然后，解码器使用节点嵌入来预测图中丢失的边。设G=（V，E）是一个无向图，N个结点i∈ V，边（i，j）∈ E连接结点对图中的每个节点用特征向量x→i∈RF表示，并且X={x→0，x→1，. . . ，→xN−1}是一个包含图中所有节点特征的RN×F矩阵每一行，记为Xi，：，包含一个节点的特征即 Xi，0，Xi，1，. . . ，Xi，N−1表示第i个节点的特征。 该图用邻接矩阵A ∈ RN×N表示，其中Ai，j=1，如果它们之间存在边，无论它们之间是否存在边缘我们使用解码器来使用每个节点的特征计算该概率：p（（i，j）∈E）=fdec（Hi ，：，Hj，：），其对于我们的目的表示项目i和j之间的兼容性。在这项工作中，编码器是一个图卷积网络（第3.1节）和解码器（第3.2节）学习用于预测产品对（i，j）之间的兼容性得分的度量。图2显示了这种编码器-解码器机制如何工作的方案。3.1. 编码器从单个节点i的角度来看，编码器将其初始视觉特征→xi转换为新的表示→hi。可以用CNN作为特征提取器来计算的初始特征包含关于项目看起来如何的信息，例如。形状颜色大小然而，我们希望编码器产生的新表示不仅能捕获产品属性，还能捕获与之兼容的其他产品的结构信息。换句话说，我们希望每个节点的新表示包含有关其自身的信息，但也关于它的邻居Ni，其中Ni={j∈V|Ai，j=1}表示连接到节点i的节点集合。在那里-因此，编码器是一个聚集本地节点周围的邻域→hi=fenc（→xi，Ni）：RF→节点i和j以及Ai、j=0否则。RF′在学习中包括邻域信息该模型的目标是学习编码H=fenc（X，A）和解码A=fdec（H）函数。编码器根据邻接矩阵A所定义 的 结 构 ， 将 初 始 特 征 X 变 换 为 新 的 表 示H∈RN×F′。这个新矩阵遵循与初始矩阵X相同的结构，因此第i行包含第i个节点的新特征然后表 示 。 这 个 函 数 被 实 现 为 一 个 深 度 图 卷 积 网 络（GCN）[21]，它可以有几个隐藏层。因此，→hi的最终值是在每个隐藏层计算的函数的组成产生隐藏动作→z（l）。单层采用以下形式。解码器使用新的表示来重构邻接矩阵。整个过程可视为将输入要素编码到新空间，其中距离Σ→z（l+1）=ReLU→z（l）Θ（l）+1→z（l）Θ（l）θ（1）我两点之间的概率可以映射为i0j∈Ni |J1|j1H1解码器H2？(c)解码器X1X2z112620我我S一SS.ij.0这里，^z（l）是层l处的第i个节点的输入，并且→z（l+1）是它的输出。在其矩阵形式中，该函数同时对图的所有节点进行操作算法1节点间的兼容性预测输入：X- 节点的特征矩阵Z（1+ 1）=ReLU.ΣSs=0ΣA<$Z（l）Θ（l）S（二）A- 节点关系的邻接矩阵（i，j）- 用于评估兼容性的节点对输出：节点i和j之间的兼容性得分p这里，对于第一层r，Z（0）=X。 设A0= IN包含自连接，A1= A + IN包含第一步自连接的邻接矩阵. 我们设A=D−1A，使用对角矩阵对其进行反方向归一化Di=jAi，j.上下文信息由参数S表示邻域的深度一曰： L=3使用3个图形卷积层第二章： S=1考虑1步远的邻居第三章： H= ENCODER（X，A）4：p= D编码器（H，i，j）第五章： functionENCODER（X，A）6：A0，A1=IL，IL+A在培训中考虑到：附近˜七比一=D−1A1<$将adj.矩阵在节点i的深度s处是距离i至多s（行进的边的数目）的所有节点的集合。我们让8：Z（0）=X9：f或每个层l=0，....，L−1do对于我们所有的实验，S = 1，这意味着我们只使用每个层中深度为1的邻居。 Θ（l）是一个RF×F′10：Z （1+1）=ReLUΣSs=0AZ（l）Θ⑴S矩阵，其中包含层的可训练参数L.我们在每一层应用批量归一化[17]，dropout [33]或权重正则化等技术。最后，我们介绍了一种应用于矩阵A的正则化技术，该技术包括以概率pdrop随机删除某些节点的所有入射边。这项技术的目标是双重的：（1）它在图的结构中引入了一些变化，使得它对结构的变化更鲁棒，以及（2）它训练模型以对于没有邻居的节点表现良好，使得它对具有低相关信息的场景更鲁棒。11：结束12：返回Z（L）十三： end function14：函数DEC。常微分方程R（H，i，j）∈15：r∈nσ|Hi，：−Hj，：|ω→T+b16：端函数并且用上面描述的编码器模型计算，解码器输出这两个节点通过边连接的概率p3.2. 解码器我们希望解码器是一个计算p= σ. ..Σ. →h−→h。ω→T+b′（三）两个节点相连的概率。这种情况被称为度量学习[3]，其目标是学习数据样本之间的相似性或兼容性的概念。值得注意的是，相似性和兼容性并不完全相同。相似性度量两个节点的相似程度，例如两件衬衫可能相似，因为它们具有相同的形状和颜色，但它们不一定兼容。兼容性是衡量两个项目在一起的程度的属性在一般形式中，度量学习可以定义为学习一个函数d（·，·）：RN×RN→R+，它表示两个N维向量之间的距离。因此，我们的解码器功能从其他方法中获得灵感Ric学习方法[23，15，32]。在我们的例子中，我们想训练解码器来模拟项目对之间的兼容性，所以我们希望d（·，·）的输出由下式限定：区间[0，1]。我们使用的解码器函数类似于[8]提出的解码器函数。Giv en两个wo节点的表示→hi这 里 |·| 是 绝 对 值， ω→∈RF 和 b∈R 是 可 学 习 参 数 . σ（·）是将标量值映射到有效概率∈（0，1）的sigmoid函数。等式3中描述的解码器的形式可以被看作是对两个输入向量之间的绝对差进行操作的逻辑回归解码器。绝对值用于确保解码器是对称的，即，，d（→hi， →hj）和d（→hj， →hi）的输出是相同的，使其对节点的顺序不变3.3. 培训该模型被训练来预测产品之间的兼容性 A是项目图的邻接矩阵，我们随机删除一个边的子集，生成一个不完全邻接矩阵A。移除的边的集合即，节点对（i，j）使得Ai，j=1。然后，我们随机采样一组负边E−，它们表示未连接的节点对（i，j），即产品展示126212i=0时？(a) FITB示例（b）有效装备(c) FITB作为图形(d) 作为图表的兼容性图3：任务。 我们在两个不同的任务中评估我们的模型。（a）示出了针对第一任务的FITB问题的示例，以及(b) 显示了seconf任务的有效装备示例（c）示出了如何将FITB问题作为边缘预测来提出图中的问题，以及（d）显示了如何将服装的兼容性预测视为边缘预测问题。是不兼容的。该模型被训练来预测包含正边缘和负边缘的边缘Etrain=（E+，E−）。因此，给定不完整邻接矩阵A和每个节点X的初始特征，de-编码器预测E训练中定义的边缘，并且通过最小化E训练之间的交叉熵损失来优化模型。预测的边缘及其地面真值，E+中的边为1，E-中的边为0。该模型的示意图见图-图2和算法1示出了如何使用上述编码器和解码器来计算两个产品之间的4. 实验装置[12]：通过测量是否从选项列表中选择了正确的项目。服装兼容性预测。 在服装相容性预测任务中，目标是产生服装相容性分数，其表示形成服装的物品的总体相容性。接近1的分数表示兼容的服装，接近0的分数表示不兼容的服装。 该任务可以被框定为边预测问题，其中模型预测所有可能的项目对之间的每个边的概率;这意味着预测每个服装的N（N-1）条边的概率这套衣服的兼容性得分是所有配对2N−1N−1边缘概率N（N−1） i=0j=i+1 ei，j. 这套服装来自-4.1. 任务我们将我们的模型应用于两个任务，它们可以被改写为 图的边预测问题。接下来，我们让{o1，. . . ，oN−1}表示给定服装中的N个时尚物品的集合，并且ei，j表示节点i和j之间的边。填写空白（FITB）。 填空任务包括从给定的一组可能的项目选择中选择最适合服装的项目。 我们遵循Han et al. [12]，其中为每个测试装备定义一个FITB问题。 每个问题都由一组产品组成，这些产品组 成 了 一 个部 分 ， 以 及 一 组 可 能 的 选 择{c0，. . . ，cM−1}，其中包含正确的答案和M-1随机选择的产品。在我们的实验中-因此，我们将选项的数量设置为4。 的示例这些问题之一可以在图3a中看到，其中顶行示出了部分装备的产品，而底行示出了用于扩展它的可能选择。FITB可以被框定为边缘预测问题，其中模型首先生成项目对之间的边缘的概率（oi，cj）对于所有i=0，. . .，N-1且j=0，. . .，M-1。然后，计算j个选项中每个选项的得分为N-1ei，j，得分最高的选项为项目其被选择以添加到局部装备。任务本身使用Han等人使用预测得分的ROC曲线下面积来评估相容性预测任务。4.2. 按邻域大小评价让我们的关系图中节点i的k-邻域是从i开始的宽度优先搜索过程所访问的k个节点的集合。为了测量每个项目周围的关系结构大小的影响，在测试过程中，我们让每个测试样本包含项目及其k-邻域，并通过改变k来评估我们的模型。因此，当k=0时（图4a），不使用关系信息，每个产品的嵌入仅基于其自身的特征。随着k值的增加（图4b和4c），比较项的嵌入将以更多的邻居为条件。请注意，这仅在评估时应用;在训练期间，我们使用所有可用的边。对于以下章节中的所有结果，我们报告了每个实验所用的k4.3. 数据集我们在三个数据集上测试了我们的模型，以及我们下面讨论的一些变化。Polyvore数据集。Polyvore数据集[12]是一个由网站用户创建的众包数据集，O2O3e23e12o1O4e21. . .o1O2e25O3e24. . .O6O4e11e44C1C2C3C4O512622相同的名字;该网站允许其会员上传时尚物品的照片，并将其收集成服装。它总共包含164379件物品，组成21899套不同的服装。每件衣服的最大物品数为8件，平均每件衣服的物品数为6件。五、该图是通过将出现在同一套服装中的每对节点用边连接起来而创建的。我们使用Polyvore数据集的训练集训练我们的模型，并在一些变体上测试它？(a) k=0？(b) K=2？比较1步2步未使用(c) K=4从下面描述的数据集获得。FITB任务包含3，076个问题，服装兼容性任务包含3，076个有效服装和4，000个无效服装。在原始的Polyvore数据集中，错误的FITB选择和无效的服装是从所有剩余的产品中随机选择的。Vasileva等人提出的重新采样数据集。[36]更具挑战性：从与正确选择具有相同类别的项目中抽取FITB任务的每个问题中的错误选择;为了服装的兼容性，随机抽样服装，使得给定服装中的每个项目来自不同的类别。我们还提出了一个更具挑战性的集合，我们称之为子集，我们将服装大小限制为3个随机选择的项目。在这种情况下，任务变得更加困难，因为模型可用的信息更少Fashion-Gen Outfits数据集。Fashion-Gen [28]是从销售独立设计师奢侈品的在线平台收集的时尚产品数据集。每个产品都有图像、描述、属性和相关信息。Fashion-Gen关系由专业设计师定义，并坚持一个总的主题，而Polyvore我们从Fahion-Gen中创建了服装，将3到5个产品组合在一起。训练集由2015-2017年收集的60，159种不同的服装组成，验证和测试集具有分别为2683件和3104件，第 不正确的FITB选择和无效的服装，兼容性任务是满足性别和类别限制的随机采样项目，如在重新采样的Polyvore数据集的情况下。亚马逊产品数据集。 的 亚马逊 产品数据集[24，14]包含了近600万种不同类别产品之间的超过1.8亿个关系。在这项工作中，我们专注于服装产品，我们将我们的方法应用于男性和女性类别。项目之间有4种类型的关系：（1）看了A的用户也看了B;（2）看了A的用户买了B;（3）买了A的用户也买了B;(4)用户同时购买A和B。对于后两种情况，我们假设项目A和B是兼容的，并基于此假设评估我们的模型。我们通过预测来评估模型图4：通过k-邻域进行评估。BFS扩展两个节点周围的k个邻居。当（a）k=0时，不使用邻域信息;（c）k=4至4个邻域节点用于相容性预测。后两者，因为它们表明产品可能是互补的[24]。我们使用它们提供的特征，这些特征是用CNN计算的。4.4. 培训详情我们的模型有3个图卷积层，S= 1，350个单元，dropout为0。5应用于输入端，并在其输出端进行批量归一化。应用于A的p drop的值为0。十五岁每个节点的输入是使用ResNet-50 [13]从每个产品的图像中提取的2048维特征向量它是用Adam [20]训练的，学习率为0。001进行4000次迭代，并提前停止。Siamese网络基线使用兼容和不兼容项目对的三元组进行它由每个分支的ImageNet预训练ResNet-50和度量学习输出层组成 我们使用SGD训练它，学习率为0。001和0的动量。9 .第九条。5. 结果5.1. 填补空白Polyvore Original。我们在表1中报告了这项任务的结果。前三行对应于以前的工作，接下来的三行显示了我们的模型在不同k值下获得的分数。如表中所示，分数从62开始随着k的增加而增加。2%的准确度，k=0至96。9%，k=15。 这种行为在图5a中可以更好地看到，图5a显示了FITB任务中的准确度如何作为k的函数增加。当k=0时，其他方法表现得更好，因为没有结构，我们的模型更简单。然而，我们可以看到，随着更多的邻近信息被使用，FITB任务的结果会增加，这表明如果额外的关系信息可用，使用来自邻近节点的信息是一种有用的方法。多食动物重新采样。对于重新采样的设置，准确度也随着k而增加，从47。0%至92。百分之七12623(a) Polyvore FITB（b）Polyvore兼容性（c）Fashion-Gen FITB（d）Fashion-Gen兼容性图5：结果。对不同k值的模型进行评估。表 1 ： Polyvore 结 果 。 FITB 和 兼 容 性 预 测 任 务 的Polyvore结果。重采样任务比原始任务更难。†仅使用原始服装的长度3方法FITB Ac原稿牧师职位Res.Compat. AUC原稿Res.[36]第三十六话Bi-LSTM [12][36]第三十六话54.268.686.154.464.965.00.850.900.980.850.940.93我们的（k = 0）62.247.00.860.76我们的（k = 3）95.990.90.990.98我们的（k =15）96.992.70.990.99我们的（k = 0）†59.545.30.690.64我们的（k = 3）†79.169.40.920.90我们的（k =15）†88.282.10.930.92表2：Fashion-Gen结果。FITB和兼容性任务的Fashion-Gen数据集结果。方法FITB Acc.相容性AUC暹罗网络56.30.69我们的（k = 0）51.90.72我们的（k = 3）65.00.84我们的（k = 15）76.10.90我们的（k = 30）77.10.91其低于其原始对应物，表明重新采样的任务确实更加困难。多食动物子集。表1的最后一行（标记为†）对应于这种情况，我们可以看到，与使用全套装备时相比，FITB准确度从96下降。9%至88。2%的原始版本，从92。7%至82。对于重新采样的版本，均为1%，k=15。时尚新世代服装Fashion-Gen数据集上FITB任务的结果显示在表2中，作为K.与Polyvore变体的结果类似，我们在图5c中看到k值的增加如何提高我们的模型在Fashion-Gen数据集上的性能例如，与完全不使用邻域信息相比，通过为每个项目使用多达k=15个邻域节点，它增加了20个点。当与Siamese Network基线相比时，我们观察到Siamese模型如何优于我们的无结构模型，但有k≥3，我们的方法优于基线。5.2. 服装兼容性预测Polyvore结果。表1显示了我们的模型在不同k值的兼容性预测任务上获得的结果。 与前一个任务类似，结果表明，使用更多的邻域信息可以提高服装兼容性任务的性能，其中AUC从0增加。86，其中k=0到0。99，k=15。多食动物重新采样。重新采样版本的评分与原始版本相似，AUC从0的情况。76比0 99，k值更大。多食动物子集。该测试数据的结果在表中用†表示，我们可以看到在这种情况下分数是如何从0下降的。99比0 93和0。92分别用于原始任务和重采样任务，两者都具有k=15。与FITB任务一样，这里我们再次观察如何使用额外的信息的形式与其他产品的关系是有益的，以实现更好的性能。时尚新世代服装Fashion-Gen服装数据集的该任务的结果在表2的第二列中示出，对于不同的k值。可以看出，k值越大，性能越好。这种趋势在图5d中更好地显示，在图5d中，我们可以看到k从0增加到10如何稳步提高性能，然后达到平稳状态。12624(a) 原始上下文(b) 新上下文图6：上下文很重要。（a）和（b）显示了项目之间的预测兼容性如何取决于它们的上下文。表3：亚马逊结果。链接预测任务的Amazon数据集结果。方法也男人买妇女一起买男士女士McAuley等人 [24日]93.391.295.194.3我们的（k = 0）57.953.879.571.7我们的（k = 3）92.692.994.594.5我们的（k = 10）97.195.894.094.8表4：亚马逊跨性别结果。通过在不同性别之间进行训练和测试来测试模型显示模型已训练的性别，列显示模型测试的性别。模型也在k=0的情况下训练，因此它在训练期间不使用上下文。5.3. 语境很重要通过上述实验，我们已经看到增加邻域信息量如何改善所有任务的结果为了更好地理解上下文的作用图6示出了根据两种不同的情境预测的一条裤子和两双鞋之间的相容性。图6a示出(a) 也买了。(b) 一起买裤子的原始上下文，选择的鞋子是正确的。然而，如果我们将裤子的上下文换成另一套衣服，如图6b所示，预测的结果现在是一双不同的鞋子（更正式的一双），在新的上下文下，这双鞋可能更匹配5.4. 亚马逊链接我们还评估了我们的方法如何应用于预测亚马逊数据集中产品之间的关系。我们为每种类型的关系训练了一个模型，并评估了一个模型如何从一种性别的衣服训练到另一种性别。这种跨性别设置使我们能够评估模型如何适应上下文的变化，而不是完全忽略上下文的基线。在表3中，我们表明，我们的模型实现了“也买”关系的最新结果“一起买”的关系比“也买”的关系有更少的联系，所以我们的模型在使用上下文来改善结果方面不太有效。然而，由于在这种情况下，模型已经用较少的连接进行了训练，因此使用k= 0，因为它更类似于训练行为。在表4中，我们显示了一个模型的结果，男人用†表示的模型在训练和测试期间不使用关系信息，因此是不使用上下文信息的基线（k=0）。可以看出，模型使用的邻域信息越多，它对域变化的鲁棒性就越强。这是因为当模型依赖于上下文时，它可以更好地看不见的风格或服装类型。6. 结论在本文中，我们已经看到了如何上下文信息可以用来提高性能的兼容性预测任务，使用图形神经网络为基础的模型。我们的实验表明，增加上下文的数量提高了我们的模型在所有任务上的性能。我们在三个不同的时尚数据集上进行实验，并在测试期间使用上下文时获得最先进的结果。0.740.260.770.23男士女士男人妇女k=0†男人95.0 58.3k=0†男人90.762.5妇女66.5 93.2妇女73.291.5k=0男人57.9 52.9k=0男人79.561.8妇女55.9 53.8妇女68.571.7k=3男人92.6 79.8k=3男人82.773.9妇女86.5 92.9妇女79.794.5K=10男人妇女97.1 86.090.9 95.8K=10男人妇女94.083.274.394.812625引用[1] Z.哈拉河Stiefelhagen和K.格劳曼时尚趋势：预测时尚的视觉风格.arXiv预印本arXiv：1705.06394，2017。[2] P. W. Battaglia，J. B. Hamrick，V. Bapst，A. Sanchez-Gonzalez ， V. 赞 巴 迪 湾 Malinowski ， A. 塔 凯 蒂 D.Ra-poso，A.桑托罗河福克纳等人关系归纳偏差、深度学习和图网络。arXiv预印本arXiv：1806.01261，2018。[3] A. Bellet，A. Habrard和M.塞班特征向量和结构化数据的度量学习综述。arXiv预印本arXiv：1306.6709，2013年。[4] M. M. 布朗斯坦Bruna，Y.LeCun，A.Szlam和P.范德根斯特。几何深度学习：超越了欧盟-加勒比数据。IEEE信号处理杂志（SPM），34（4）：18[5] J. Bruna，W. Zaremba、A. Szlam和Y.乐存。图上的谱网络和局部连通网络。arXiv预印本arXiv：1312.6203，2013。[6] M. Defferrard，X.布列松和P。范德海恩斯具有快速局部谱滤波的图上卷积神经网络。神经信息处理系统进展（NIPS），2016年。[7] Z.冯，Z. Yu，Y. Yang，Y. Jing，J. Jiang，and M.歌可解释的分区嵌入，用于定制多项时装组合。在2018年多媒体检索国际会议[8] 诉Garcia和J.布鲁娜图神经网络的少样本学习arXiv预印本arXiv：1711.04043，2017。[9] J. Gilmer，S.S. Schoenholz，P.F. Riley，O.Vinyals和G.E.达尔量子化学的神经信息传递。arXiv预印本arXiv：1704.01212，2017.[10] M.哥里湾Monfardini和F.斯卡塞利一种新的图域学习模型。国际神经网络联合，2005年[11] W.汉密尔顿Z。Ying和J.莱斯科韦茨大图上的归纳表示学习。神经信息处理系统进展（NIPS），2017年。[12] X.汉，Z.吴玉- G. Jiang和L. S.戴维斯学习与双向lstms的时尚兼容性。在ACM上多媒体会议（ACM-MM），2017年。[13] K.他，X。Zhang，S. Ren和J. Sun.用于图像识别的深度残差学习。在计算机视觉和模式识别（CVPR），2016年。[14] R.他和J·麦考利起伏：用单类协同过滤对流行趋势的视觉 演 变 进 行 建 模 。 在 2016 年 的 国 际 万 维 网 会 议（ICWWW）上[15] E. Hoffer和N.艾伦使用三重网络的深度度量学习。基于相似性的模式识别国际研讨会，2015年。[16] W.- L. Hsiao和K.格劳曼用时尚图片制作胶囊衣柜。在计算机视觉和模式识别（CVPR），2018年。[17] S. Ioffe和C.赛格迪批次标准化：通过减少内部协变量偏移 来 加 速 深 度 网 络 训 练 。 arXiv 预 印 本 arXiv ：1502.03167，2015。[18] V. Kalofolias，X. Bresson，M. Bronstein和P.范德根斯特 。 图 上 的 矩 阵 完 备 化 。 arXiv 预 印 本 arXiv ：1408.1717，2014年。[19] W.- C.康角，澳-地芳，Z. Wang和J.麦考利视觉感知的时尚推荐和设计与生成图像模型. 2017年国际数据挖掘会议（ICDM）[20] D. P. Kingma和J. BA. Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。[21] T. N. Kipf和M。威林图卷积网络的半监督分类。arXiv预印本arXiv：1609.02907，2016。[22] T. N. Kipf和M。威林变分图自动编码器。NIPS关于贝叶斯深度学习的研讨会，2016。[23] G. 科 赫 河 Zemel 和 R. 萨 拉 赫 季 诺 夫 Siamese neur- ralnetworks for one-shot image recognition. ICML深度学习研讨会，2015年。[24] J. McAuley，C.塔吉特，Q. Shi和A.范登亨格尔。基于图像的样式和替代品推荐。在2015年信息检索研究与发展国际会议[25] F.蒙蒂D. Boscaini，J. Masci、E. Rodola、J. Svoboda和M. M.布朗斯坦使用混合模型cnns对图和流形进行几何深度学习。在计算机视觉和模式识别（CVPR），2017年。[26] F. Monti，M. Bronstein和X.布列松递归多重图神经网络几何矩阵补全。神经信息处理系统进展（NIPS），2017年。[27] T. Nakamura和R.后藤通过双向lstm和自动编码器的服装生成和风格arXiv预印本arXiv：1807.03133，2018。[28] N. Rostamzadeh，S. Hosseini，T. Boquet，W. 斯托科维茨，Y. Zhang C.，中国古猿科Jauvin和C.伙计Fashion-gen：生 成 式 时 尚 数 据 集 和 挑 战 。 arXiv 预 印 本 arXiv ：1806.08317，2018。[29] F. Scarselli，M. Gori，A. C. Tsoi、M. Hagenbuchner和G.蒙法迪尼图神经网络模型。IEEE Transactions onNeural Networks（TNN），20（1）：61[30] M. Schlichtkrull，T.N. Kipf，P.布隆河van den Berg，I. Titov和M.威林使用图卷积网络建模关系数据在欧洲语义网会议（ESWC），2018年。[31] Y.-- S. 施，K.-Y. 张，H.-T. Lin和M.太阳用于项目推荐和生成的可追溯性家庭学习2018年AAAI人工智能会议（AAAI）[32] J. Snell，K. Swersky和R.泽梅尔用于少镜头学习的原型网络。神经信息处理系统进展（NIPS），2017年。[33] N. Srivastava、G.Hinton，A.克里热夫斯基岛Sutskever和R.萨拉赫季诺夫Dropout：防止神经网络过拟合的简单方 法 。 JournalofMachineLearningResearch（JMLR），15（1）：1929[34] P. Tangseng，K.Yamaguchi和T.冈谷从个人衣橱里推荐服装。2017年国际计算机视觉研讨会（ICCVW）12626[35] R. van den Berg，T.N. Kipf和M.威林图卷积矩阵完成。arXiv预印本arXiv：1706.02263，2017。[36] M. I.瓦西列瓦湾A. Plummer，K. Dusad，S.拉杰帕尔河Ku- mar和D.福赛斯学习类型感知嵌入以实现时尚兼容性。arXiv预印本arXiv：1803.09196，2018。[37] A. Veit，S. J. Belongie和T.卡拉列索斯条件相似网络。在计算机视觉和模式识别（CVPR），2017年。[38] A. 维特湾Kovacs，S.Bell，J.McAuley，K.Bala和S.再见。学习视觉服装风格与异质并元同现。在2015年的国际计算机视觉会议（ICCV）上[39] P. 韦利奇科维奇湾葫芦A.卡萨诺瓦A。罗梅罗山口Lio和Y.本吉奥。图注意力网络。arXiv预印本arXiv：1710.10903，2017。[40] R.英河，巴西-地他，K。Chen，P. Eksombatchai，W. L.Hamilton，J.莱斯科韦茨图卷积神经网络-用于网络规模推荐系统。arXiv预印本arXiv：1806.01973，2018。