多任务异构图神经网络在替代产品推荐中的应用及性能优化研究——亚马逊实证

228用于替代识别的多任务GNN通鉴jian@ece.neu.edu美国东北大学WenboWangwenbowan@amazon.com美国亚马逊ChaoshengDongchaosd@amazon.com美国亚马逊摘要杨凡fnam@amazon.com美国亚马逊MichinariMommamichi@amazon.com美国亚马逊YanGaoyanngao@amazon.com美国亚马逊1引言ZhenZuozhenzuo@amazon.com美国亚马逊TongZhaozhaoton@amazon.com美国亚马逊YiSunyisun@amazon.com美国亚马逊替代产品推荐是提高电子商务领域顾客满意度的重要手段电子商务在本质上提供了丰富的替代关系来源，例如，然而，现有的推荐系统通常学习产品替代相关性，而没有联合考虑不同的客户行为源。在本文中，我们提出了一个统一的多任务异构图神经网络（M-HetSage），它捕获跨各种客户行为数据源的互补信息。这使我们能够探索具有不同属性和质量的资源之间的协同作用。此外，我们引入了一个列表感知的平均精度（LaAP）损失，它利用替代品和非替代品列表之间的相关性，通过直接优化目标排名度量的近似值。 最重要的是，LaAP利用列表感知注意力机制来区分替代质量，以获得更好的推荐。在亚马逊专有数据集上的综合实验证明了我们提出的配备LaAP损失的M-HetSage框架的优越性，与传统的HetSage相比，NDCG和mAP指标提高了33%以上，而传统的HetSage通过单个Triplet损失进行优化，而无需区分客户行为数据源。CCS概念• 信息系统→推荐系统。关键词替代产品识别，图神经网络ACM参考格式：佟健、范阳、左震、王文博、道成妈妈、赵通、董朝生、高岩、孙毅2022年多任务GNN替代识别。 在网络会议2022（WWW '22同伴）的同伴程序，2022年4月25日至29日，虚拟活动，里昂，法国。ACM，美国纽约州纽约市，4页。https://doi.org/10.1145/3487553.3524247本作品在知识共享下许可署名-非商业性使用-禁止演绎国际4.0许可协议。WWW©2022版权归所有者/作者所有。ACM ISBN978-1-4503-9130-6/22/04。https://doi.org/10.1145/3487553.3524247在电子商务中，推荐系统对于从庞大的候选库中推荐相关产品以满足用户的各种偏好至关重要 尽管有大量的研究来改进推荐系统[1，13]，但一个重要但经常被忽视的领域是从客户反馈中学习替代产品相关性[17，18]。可替代产品通常是相似的、兼容的、可互换的，并且同样适合客户的购买意图McAuley等人[10]开发了第一种能够通过主题建模从评论和描述中预测替代产品的方法最近，提出了用于替代产品识别的深度学习模型[2，11]。此外，GNN在广泛应用中的成功[6，16]导致了GNN最近在替代推荐上的应用，这是因为它能够存储输入属性（内容信息）和图形结构（行为数据），旨在提供高质量的嵌入表示。特别地，Zheng et al.[19]提出了一种异构GNN（HetSage）架构，为替代产品推荐建模各种客户行为连接。然而，上述工作集中于使用产品内容信息和/或有限的用户到产品行为交互（例如，点击/浏览来自推荐小部件、搜索页面等的日志）从单一来源收集，但没有充分考虑不同来源产生的替代品。在真实场景中，一些源是准确的，但具有有限的大小（例如，缺货推荐点击数据：仅可用于缺货产品）;某些源是大规模的但非常嘈杂（例如，顾客经常一起看的产品：除了可替代的产品外，还混杂有补充产品）。此外，大多数现有的解决方案将替代推荐视为成对或三元组学习任务。也就是说，给定一个查询产品，推荐模型基于成对或三重损失[2，15，19]来学习最相关的产品作为替代品，这会强制执行非替代品歧视和替代品相似性。然而，三重态损失的一个主要缺点是它关注三重态之间的局部相关性，而忽略了替代物的全局秩。为了解决上述局限性，本文提出了一种多任务异构GNN（M-HetSage），以进一步增强来自多种类型源的替代相关性建模。具体而言，我们的主要贡献包括：（i）我们提出了M-HetSage，一个通用的多任务GNN框架，其目标是229∈X（）∈E（ ）（）的方式V∈V（）的方式E {E E}（VE）Vint {}..（）下一页（）下一页（）···[·]...#视图i=12我 我我我定义为rk（Zi·，Yi·）=Ni Yij1[R（Zi·，k）=j];Zi· =[Zi1，“越高的人，越有可能获得成功。qAP（Zi·，Yi·）=N+Cm（Zi·，Yi·）rm（Zi·，Yi·），Niδ（Zi·，m′）<$1=WWW以捕获跨多个数据源的互补信息用于替代推荐;（ii）我们提出了列表感知平均精度（LaAP）损失，这是第一个利用列表损失来直接优化排名度量（即，本文中的mAP）用于替代产品推荐;（iii）我们在实验上证明了我们提出的配备LaAP 损失的M-HetSage在大规模Amazon数据集上的有效性，该数据集比通过单个Triplet损失优化的单任务HetSage模型提高了33%以上。在本节中，我们首先正式定义了问题，并描述了电子商务中的三个典型数据源，以收集潜在的子替代品。然后，我们提出了我们的M-HetSage框架，以结合不同的数据源进行多任务学习。 我们还详细描述了拟议的LaAP损失，以及我们如何为M-HetSage配备不同的排名损失以获得更好的推荐。CSS最相关的替代品推荐，但仅涵盖缺货产品，限制了其规模。M-HetSage框架。 在GNN模型[5，8]中，异质图在跨多个应用程序建模多类型产品到产品关系方面取得了巨大成功。 在这项工作中，我们提出了M-HetSage，一个统一的多任务学习框架-结合不同的数据源和损失函数类型。对于一个给定的图GW=，，我们模型的产品作为节点和K产品到产品的关系，= 1，，。. . ，K，作为K边类型。正如HetSage [19]所建议的，让eij=i，j表示从节点i链接到j的边。考虑一个有向图，其中eij=i，j不同于它的反边eji=j，i.节点i是节点j的k型邻居当且仅当i，jK. 此外，每个节点i与特征xi相关联，特征xi表示产品内容信息（例如，标题、图像）。M-HetSage将多个不同的任务统一到一个架构中，真正的，通过结合几个损失函数的加权和。 为了优化输出嵌入，我们使用了两个在同一空间上运行的排序损失：三重损失（TL）[19]和提出的LaAP损失。我们在下面详细描述每个损失函数三重损失：回想一下，P+和P−是正的和负的查询Pi i+，z−和z是他们的核心。我们定义zi ii搜索OOSL响应嵌入，分别。为了优化替代推荐的输出嵌入，我们施加了一个三元组损失惩罚，达到两个目标：（i）最大化z和z+之间的相似性，同时（ii）最小化z和z+我我我图1：我们的M-HetSage框架的说明，z i−。形式上，我们定义三重态损失如下，Lr=ED（max{ 0，zi<$zi−−z<$z++<$}），（1）替代推荐我们考虑三个任务，即，CSS、搜索日志和OOS，包括来自不同历史客户行为数据源的潜在替代产品。M-HetSage通过将每个任务特定的损失与加权和相结合来统一三个不同的任务。其中，R表示裕度超参数。LaAP损失：三重损失仅捕获成对相关性，其缺乏组内相关性。为了解决这个问题，我们包括基于Ni+positive和Ni−negative的列表平均精度（AP）损失给定查询P的样本（总数：N），以捕获我们将D ={（Pi，Pj）}表示为乘积对的集合，标记为Y0，1 |D|其中，如果Pi，Pj是替代对，则Y ij是1，并且0否则，分别。给定查询乘积Pi，我们引用所有我通过订购替代：1NiAP（Zi·，Yi·）=N+我Ck（Zi·，Yi·）rk（Zi·，Yi·），（2）其替代和非替代产品的相应ik=1用P+和P-表示的正样本和负样本。其中，Ck是秩k处的精度;rk是相关函数数据源 本文主要从电子商务领域的三个典型数据源中收集潜在的可替代产品对Pi，Pj：（i）CSS：Co-view（查看Pi的客户也查看 Pj ） ， co-purchase （ 购 买 Pi 的 客 户 也购买Pj ） 和 view-to-purchase相似性（查看Pi的客户最终购买Pj）。通过根据购买/查看产品的用户集的余弦相似性对产品进行排名，从推荐记录中收集这些关系[9]。（ii）搜索日志：同一搜索查询中所有显示的&点击产品的记录。通过搜索聚合产品对查询和搜索会话，每个产品对都与j=1...，Zi Ni] ∈ RNi表示两个乘积嵌入之间的余弦相似性（即，Zi j = zi<$z j）为查询产品Pi的每个列表项; R Z i，k是k的索引-Zi的最高值;Y i表示相应的对标签：如果Pi，Pj是替代对，则Yij为1，否则分别为0。AP损失由Eq.（2）不能可以使用随机优化直接最大化，因为指示函数1是不连续的。因此，我们应用量化方法[12]来近似AP损耗。 我们将该量化AP（qAP）损失定义如下，- 可替代性得分Sij，其通过共同点击的数量来测量1.一、Mˆˆ我（三）对（Pi，Pj）中的结果是相互替代的（iii）缺货可替代性评分S计算每对的#click=Ij哪里.m′m=1Niδ（Zi·，m′）<$Yi·;N(OOS)：OOS产品替代推荐点击日志Cm（Zi·，Yi·）=m=1i=1rm（Zi·，Yi·）=I1与CSS和搜索日志相比，此数据源提供了δ（Zi·，m）<$Yi·; δ（Zi·，m）= max（1 −（M −1）|Zi·−bm|，0）;bm是bin查询产品替代产品LCSS吉吉12$M-HetSageLS#$r hi1>中国$L（（我mm′=1230我||[−]−∈ [] ≥∈≥−.LaAP（Zi·，Yi·）=B.现场损失：L=wiwi =.Bj=1NiSijBBi=1，i=1。对于带有注释的查询产品和海洋资源作为记录，因为它们包含了i=1用于替代识别的多任务GNNWWW表1：图表和数据集统计。P+是查询产品Pi的替代产品的平均数量。图节点数边缘数量M-HetSage100万85M数据集配对数量Avg. |P+|我火车测试火车测试CSS搜索日志OOS200万6.3M15K500K1.6M4K3.7423.251.071.78.391.02联盟8.1M2.1M15.174.93表2：HetSage的单一任务：比较列表损失（qAP和LaAP）与三重损失（TL）方法N+N−CSS搜索日志NDCG@5/@30地图@5/@30NDCG@5/@30地图@5/@30TL-204810.102/0.2010.077/0.1100.091/0.1520.053/0.075qAP-51260.103/0.2040.078/0.1110.095/0.1570.056/0.079LaAP-51260.108/0.2170.081/0.1170.098/0.1640.057/0.082qAP-128240.109/0.2150.082/0.1170.095/0.1580.056/0.079LaAP-128240.111/0.2230.084/0.1210.100/0.1690.059/0.084给定正整数M的中心，以将归一化的相似性空间1， 1划分为M1个相等大小的区间。我们通过在列表上添加注意机制来进一步扩展qAP损失回想一下，一些数据源为每个替代对提供得分S，反映了对替代的成对置信度因此，需要更多地关注具有更高置信度的某些配对。为了利用从具有不同质量的对中获得的细微差别知识，我们在qAP损失的基础上提出了一种列表感知注意机制。 对于每个给定的sample-pled列表，我们整合成对的分数，形成一个listwise分数作为其注意力权重。形式上，我们将LaAP损失定义如下：1 .一、B图中的边，包括共同查看、共同购买、查看到购买和从查看购买。前两者是双向的。与[19]类似，我们使用来自共同视图和查看购买的重叠对作为标记的正对，并将其可替代性得分设置为1以计算LaAP损失。 对于搜索日志和OOS，我们使用所有可用的产品对来分别构造具有搜索类型和OOS类型的图边，并标记具有较高可替代性得分的产品对（即，SN50和S 0，10。2分别设置为搜索日志和OOS）作为正对。 对于每个数据集，我们将80%用于训练，20%用于测试，并通过合并所有三个测试集来构建Union测试集。在训练过程中，对于每个给定的查询产品Pi，我们通过从其替代集合中均匀采样N +个正样本和从所有产品中均匀采样N−个负样本来对于所有三个数据集，我们提取图像和标题文本特征作为每个产品的输入特征视觉输入从预训练的Xception中提取，输出大小为2048 [3]，标题文本输入由预训练的BERT提取，输出大小为768 [4]。 它们分别通过PCA降维到100维，并连接成为输入产品特征。在[19]之后，我们使用2层GNN，其隐藏层和输出嵌入大小d'分别设置为1024和128为了降低计算成本，我们均匀地采样每个边缘类型的10个邻居，并取其均值来执行邻居级聚合。我们使用Adam [7]作为优化器，并将学习率初始化为0.0001。除非另有说明，否则我们将批量大小设置为B = 512，并通过90K次迭代来训练模型。 对于拟议的LaAP，我们遵循[12]中的设置，并探索正N+和负N −样本的数量作为消融研究中的超参数。我们的模型基于DGL库1实现。为了公平比较，我们对所有方法使用相同的图结构和随机权重初始化为了评估训练的嵌入表示，我们使用归一化贴现累积增益（NDCG）@5，30和平均平均精度（mAP）@5，30。3.1LaAP的有效性我们首先通过在单个任务上训练的HetSage模型研究了利用列表损失相对于三重损失的好处其中是列表注意力权重：B.NiSij .是总结在表2中。特别是，考虑到OOS数据要确保的因素是1。Bi=1j=1平均值（见表1中的平均值）|P+|OOS源代码），我们采用CSS足够（即，nN+）个阳性样本，我们对额外的（即，

下载后可阅读完整内容，剩余1页未读，立即下载