基于图对比学习的顺序推荐算法

+v：mala2277获取更多论文基于图对比学习的顺序推荐算法Yixin Zhang1人，Yong Liu3人，Yonghui Xu2人，Hao Xiong5人，Chenyi Lei5人，Wei He1人，崔丽珍1，2†和苗春燕3，41山东大学软件学院，中国2山东大学-南洋理工大学联合人工智能研究中心（C-FAIR）3阿里巴巴-南洋理工大学新加坡JRI LILY研究中心4南洋理工大学计算机科学与工程学院 5阿里巴巴集团yixinzhang@mail.sdu.edu.cn，{stephenliu，ascymiao} @ ntu.edu.sg，徐永辉@ hotmail.com，{songling.xh，chenyi.lcy} @ alibaba-inc.com，{hewei，clz} @ sdu.edu.cn摘要顺序推荐系统通过捕捉用户的动态行为模式来预测用户的下一次交互行为。现有的序列推荐方法大多只利用单个交互序列的局部上下文信息，仅根据项目预测损失来学习模型参数。因此，他们通常无法学习适当的序列表示。本文提出了一种新的推荐框架，即图对比学习顺序推荐（GCL4SR）。具体地说，GCL4SR采用了基于所有用户交互序列的加权项目转移图（WITG），为每个交互提供全局上下文信息，并削弱了序列数据中的噪声信息。此外，GCL4SR使用WITG的子图来增强每个交互序列的表示。提出了两个辅助学习目标：最大化WITG上相同交互序列所引起的增广表示之间的一致性，最小化WITG上全局上下文所增广的表示与原始序列的局部表示之间的差异.在真实世界数据集上的广泛实验表明，GCL4SR始终优于最先进的顺序推荐方法。1介绍近年来，深度神经网络已被广泛应用于构建顺序推荐系统[Wangetal. ，2019;Leiet al. ，2021a]。虽然这些方法通常达到了最先进的顺序推荐性能，但仍存在一些不足之处，可以加以改进。首先，现有方法对每个用户交互进行建模，这两位作者对这项工作做出了同样的†通讯作者单独的序列，只利用每个序列中的本地上下文。然而，他们通常忽略了具有相似行为模式的用户之间的相关性（例如，，具有相同的项目优先级）。其次，用户数据非常稀疏。以前的方法通常只使用项目预测任务来训练推荐模型。他们往往遭受数据稀疏问题，无法学习适当的序列表示[周等人。，2020;Xieet al. ，2021]。 第三，通常基于隐式反馈序列来建立序列预测模型，该隐式反馈序列可 以 包 括 噪 声 信 息 （ 例 如 ， ， accidend-tallyclicking）[Liet al. ，2017]。为了解决上述问题，我们首先建立了一个加权项目转换图（WITG）来描述所有用户的交互序列中的项目转换该转换图可以为每个用户-项目交互提供全局上下文信息[Xuet al. ，2019]。为了减轻数据稀疏性的影响，在WITG上执行邻域采样以为每个交互序列构建增强图视图 。 然 后 ， 图 对 比 学 习 [Hassani 和 Khasahmadi ，2020;Zhanget al. ，2022]来学习用户交互序列的增强表示，使得关于WITG的全局上下文信息可以自然地并入到增强表示中。此外，由于WITG采用转换频率来描述每个项目转换的重要性，因此在学习序列表示时，它可以在本文中，我们提出了一种新的推荐模型，命名为GCL4SR（即。图对比学习的顺序推荐）。具体而言，GCL4SR利用从WITG采样的子图来利用跨不同序列的全局序列推荐任务通过WITG上序列的增强视图容纳全局上下文信息来改进此外，我们还提出了两个辅助学习目标，即最大化WITG上由同一交互序列诱导的增广表示之间的一致性，以及最小化WITG上由全局上下文增广的表示与原始序列的局部表示之间的差异广泛arXiv：2205.14837v1 [cs.IR] 2022年5月+v：mala2277获取更多论文S∈∈S我的天∈DGDG联系我们←G∈G·GG不 J不 J 度（vi）deg（vj）在公共数据集上的实验表明，GCL4SR始终实现比最先进的顺序推荐方法更好的性能。2相关工作在本节中，我们将回顾顺序推荐和自监督学习中最相关的现有2.1顺序推荐在文献中，递归神经网络（RNN）通常被用来建立顺序推荐系统。例如，GRU4Rec [Hidasiet al. ，2016]将用户的时间序列视为时间序列数据，并使用多层GRU结构来捕获序列模式。此外，一些作品，例如。，NARM [Liet al. ，2017]和DREAM [Yuet al. ，2016]，将注意 力机制与GRU结构相结合，以学习用户的动态表示。同时，卷积神经网络（CNN）也被探索用于顺序推荐。Caser[Tang和Wang，2018]是一种代表性的方法，它使用水平和垂直 卷 积 滤 波 器 来 提 取 用 户 最 近 ， SASRec [Kang 和McAuley，2018]和BERT4Rec [Sunet al. ，2019]仅利用自我注意机制来对用户的顺序行为进行建模。除此之外，HGN [Maet al. ，2019]使用分层门控网络对用户的动态偏好进行建模。沿着另一条线，图形神经网络（GNN）已被探索用于模拟复杂的项目转换模式。例如，SR-GNN [Wuet al. ，2019]将序列转换为图结构数据，并采用门控图神经网络在图上进行信息传播。GC-SAN [Xuetal. ，2019]动态地为每个序列构建一个图，并对本地依赖关系和远程依赖关系进行建模112341215223245534344(a)（b）第（1）款图1：示出了转换图构造过程的示例，其中（a）示出了观察到的用户行为序列，以及(b) 照亮了加权转换图。学习也被应用于利用项目多模态辅助信息进行推荐[Liuet al. ，2021;Leiet al. ，2021b]。3预赛在这项工作中，我们研究了顺序推荐任务，其中我们有互动序列一组用户U对一组项目V的影响。 对于每个用户u U，我们使用列表S=v1，v2，，vn来表示她的交互序列，其中vt是u的第t个交互项，n表示与u有交互的项的数量.此外，我们用pu ∈ R1 × d表示用户uE（0）用Rn×d表示序列S的初始嵌入，其中第t行在E（0）中是第t个节点在S中的嵌入。同样地，|V|× d通过结合GNN和自我注意机制，E∈R用于表示所有项的嵌入。nism。此外，GCE-GNN [Wanget al. ，2020]构建全局图和局部图以分别对全局项转换模式和局部项转换模式进行建模。2.2自我监督学习自监督学习是一种新兴的无监督学习范式，已成功应用于计算机视觉[Jing and Tian，2020]和自然语言处理[Devlinet al. ，2019]。有几个最近的作品在推荐任务中应用自监督学习技术。例如，[Zhouet al. ，2020]通过不同的自监督优化目标最大化属性、项目和序列之间的互信息。 [Xieet al. ，2021]通过对比学习目标最大化相同交互序列的两个增强视图之间的一致性。[Wuet al. ，2021]提出了一种基于对比学习目标和推荐目标的联合学习框架。而且在不同于现有的方法，建模的顺序过渡模式在每个单独的序列，我们首先建立一个加权的项目过渡图，提供一个全局视图的项目过渡模式在所有用户全局转移图的构造遵循以下策略。 以序列S为例，对于每个项vt S，如果项vt和v（t+k）in之间存在边，则将边权重更新为w（vt，vt+k）w（vt，vt+k）+1/k;否则，在和经验上构造vt和vt+k将边权重w（vt，vt+k）设置为1/k，其中k为1，2，3。这里，分数1/k表示目标节点vt对其在序列中的k跳邻居vt+k这种经验设置的灵感来自于以前的工作的成功[Heetal. ，2020]。在对D中的所有用户序列重复上述过程之后，我们重新归一化G中的两个节点vi和vj如下，w^（v，v）=w（v，v）.一加一，（1）为了提高基于用户隐式反馈的推荐性能，提出了一种基于扩散的图对比学习方法。此外，自我监督其中deg（）表示节点的度，. 注意是无向图图1显示了一个关于没有边权重归一化的过渡图。[Weiet al. ，2021]，采用对比学习的方法来解决冷启动推荐问题。在[Zhanget al. ，2022]，+v：mala2277获取更多论文图增强序列表示学习������′H′������′������′′共享图神经网络网络对比损失H′′������′′用户特定门控预测层MMD损失嵌入查找E（0）基本序列编码器关注网络������′′������′GG··SSSSviVJvivivivivi我SviSSSS.ΣS123| |图2：GCL4SR模型的框架。4推荐模型图2显示了GCL4SR的总体框架。观察GCL4SR具有以下主要组件：1）图形共享图神经网络继[Hassani和Khasahmadi，2020]之后，两个图neu-使用具有共享参数的ral网络来编码G增强序列表示学习，2）用户特定S和“”选通，3）基本序列编码器，以及4）预测层。接下来，我们介绍每个组件的详细信息。4.1图增强序列表示学习基于图的增强给定加权转移图G，我们首先构造两个S.以S为例，图神经网络第t层的信息传播和聚合如下，a（t）=Aggrg ate（t）{h（t−1）：vj∈N'}，h（t）=Combine（t）。a（t），h（t−1），（2）用于交互序列S至数据扩充 我们的动机是创造一个新的-其中N'表示G '中v的邻居通过一定的转换，在原始序列上在这项工作中，我们使用EF-表示第t个GNN层处的项vi的表示h（0）是vvii i在[Hamiltonetal. ，2017]以从给定序列的大转换图生成增强图视图。具体来说，我们将每个节点v∈S视为中心节点，并对其进行整合采样。通过经验地设置采样深度M，编码器网络由方程式Aggregate（）是聚合中心节点vi的邻域信息的函数，Combine（）是组合邻域信息以更新节点嵌入的函数。 在多-G'上的三层信息传播，我们表示到2，每一步的采样大小N为20。 在同一个-S中节点的嵌入S在最后一个GNN层，在这个过程中，我们统一采样节点，而不考虑-'∈Rn×d，它是SS设置边权重，然后保留基于G'。 同样，我们可以获得另一个增强的G中的采样节点及其权重。对于一个特殊的...Sn×d序列S，在采用基于图的增强之后，我们可以获得两个增广图视图G'=（V'，E'，A'）基于增强的图视图G“的S的表示HS∈R。在这项工作中，这两个GNN是简单的-且G"=（V"，E"，A"）。这里，V'，E'和A'是集合内容如下。在第一层，我们使用Graph NeuralS s s SS s s'网络（GCN）的加权邻接矩阵，的节点，边的集合，和GS的邻接矩阵，重新-增强图融合节点信息。然后，我们毛皮-- 是的 注意，G'和G"是G的子图，然后堆叠GraphSage [Hamiltonet al. ，2017]使用邻接矩阵A'和A"存储归一化权重均值池化，以聚集高阶邻域，在Eq.（一）.在增广图中形成。Softmax层Concatenate基于图增强H+v：mala2277获取更多论文−SSSSSΣSSS˜∈ ∈∈ΣSSHA= FFN Concat（head，. . . ，头）Wh不同序列的视图被用作负对，即，、我我我具有可学习位置编码的共享嵌入E（0）SG2uG从增强的图形视图和嵌入，G1G2SGS分成一组序列和目标标签，如下所示：工作中，使用带宽为ρ的高斯核作为核函数uuuu（0）'（0）''··Σ布吕德1HSK我我我我S图对比学习目标在 这 项 工 作 中 ， 我 们 使 用 图 对 比 学 习 [Hassani 和Khasahmadi，2020]来确保从相同序列的增强图视图中导出的表示是相似的，并且从不同序列的增强图视图中导出的表示是不相似的。开发了一个辅助学习目标来区分两个图形视图是否来自相同的用户交互序列。具体来说，同一序列4.3基本序列编码器除了序列的图增强表示之外具体来说，我们选择SAS-Rec [Kang和McAuley，2018]作为主干模型，它堆叠了Transformer编码器[Vaswani et al. ，2017]来对用户交互序列进行建模。 给定（l）处的节点表示HA−1，1）第l层r，在第l层处的T变换器编码器的输出如下，被用作正对，即，，{（G'，G"）|S∈ D}，且Σ{（G'，G"）|S，K ∈ D，SK}. 然后，我们使用以下头=注意。HA−1WQ，HA−1WK，HA−1WV，（7）对比客观，以区分扩大代表，与其他的具有相同交互序列的站，其中，FF N（·）表示馈电网络，h表示.'''SK发送头数，WQ，WK，WV∈Rd×d/h，以及（三）Hd×dLGCL（S）=-原木exp. cos（z'，z“”）/τ，W ∈R是投影矩阵。具体来说，我们使用其中z'和z“'∈R1×d是通过平均作为初始状态H0。在这里，残差网络，辍学，分别在H'和H“上 进 行 池 化，cos（，）是余弦相似性函数，并且τ是在实验中经验地设置为0.5的超参数。4.2 用户特定门控由于每个用户可能只对某些内容感兴趣，公式中省略了图层规格化策略为了方便然后，注意力机制被定义为，Attention（Q，K，V）= softmax. QKT其中，Q、K和N表示查询、k∈ys和值，项的特定属性、全局上下文信息应该是用户特定的。 以下用户特定门控d是缩放因子。机制被用来捕获根据用户的个性化偏好定制的全局上下文信息4.4预测层我们将表示Q'Q"获得α= σ。WQSH'T+W pT+b，S S'=αH'+（1 −α）pu、（四）Transformer编码器HA的最后一层如下，其中W和W∈Rd×d，b∈Rd×1，σ（·）是sig-d，⊗M= AttNet。Concat. Q“，Q"，HAWT，（9）moid函数，是元素的乘积。在这里，用户嵌入pu描述了用户西姆-其中M∈R1×d，WT∈R3d×d是权重矩阵，类似地，对于增强视图G"，我们可以获得Q"。Att Net（·）表示注意力网络工作。然后，给我S S制图表达对齐目标长度为n的用户交互序列S，用户与第（n+1）步的项目之间最大平均差异（MMD）[Liet al. [2015年]然后用于定义个性化全局上下文的表示之间的距离（即，、Q'和Q"）和局部可以定义如下，y=softmax（MET），（十）序列表示E（0）。形式上，两个特征分布XRm×d和YRm×d之间的MMD可以定义如下，其中y=（S）R1×|V|，并且y（S）的第j个元素表示第j个项目的交互概率。4.5多任务学习M mMMD（X，Y）=1K（x，x）顺序推荐的目的是预测下一个项目m2a ba=1b=1MM基于用户u想要与之交互的交互序列Su（这里，我们包括子1m+m2m2ΣΣ脚本u用于清晰的讨论）。继[唐和王，2018]，我们将序列S={v1，v2，···，v|Su|}˜a=1b=1a=1b=1乌乌乌乌uuuuuuu{（S1：1，v2），（S1：2，v3），···，（S1：|Su| −1，v|Su|）}，其中|S|表示Su的长度，S1：k−1={v1，v2，···，vk−1}，并且||x − x'||2vk是S1：k−1的目标标签。然后，我们用公式表示如下：功能岛e. ，K（x，x'）=e-乌乌2ρ2。然后，我们最小化个性化全局表示之间的距离基于交叉熵降低主学习目标上下文和局部序列表示如下，L MM（S）=MMDES ，QS.（六）、exp cos（zS，zS）/τS∈DK∈DG1K（ya，yb）−mmK（xa，yb），（5）其中K（·，·）是k内核函数，xa和yb表示分别为X的第a行和Y的第b行在这Σ+v：mala2277获取更多论文+ MMDES，QS|-1。|−1 .Σ主要uuSu∈Dk=1.- 是的ΣL=−日志y（S1：k）（vk+1）、（十一）+v：mala2277获取更多论文uu--u表1：实验数据集的统计。基线方法。我们将GCL4SR与以下基线方法进行比较。• LightGCN[He et al. ，2020]：该方法是一种基于图的协同过滤光卷积网络。• FPMC[Rendleet al. ，2010]：该方法结合矩阵分解和马尔可夫链模型进行顺序推荐。• GRU4Rec[Hidasiet al. [2016]：该方法采用其中y（S1：k） （vk+1）表示预测的相互作用概率。GRU（GatedRecurrent Unit），用于捕获基于子序列S1：k，使用等式（十）、依赖关系并提出建议。乌乌在这项工作中，我们联合优化的主要顺序预测任务和其他两个辅助学习对象。GCL 4SR的最终目标函数如下，|Su| − 1• Caser[Tang和Wang，2018]：这种方法使用垂直和水平卷积来捕获用户的• SASRec[Kang和McAuley， 2018年]：它使用自-L=Lmain+λ1LGCL（S1：k）+λ2LMM（S1：k），注意力机制，捕捉用户感谢推荐。Su∈Dk=1（十二）• HGN [Maet al. ，2019年]：这种方法使用分层其中λ1和λ2是超参数。Eq中的优化问题通过梯度下降算法求解方程（12）5实验在本节中，我们进行了大量的实验，以评估所提出的GCL4SR方法的性能。5.1实验设置数据集。实验在亚马逊评论数据集[He和McAuley，2016]和Goodreads重新查看数据集[Wanet al. ，2019]。对于Amazon数据集，我们使用两个5核子集进行实验评估：对 于 Goodreads数 据 集 ， 我 们 选 择 用 户 [Zhouet al. ，2020]，我们将每个评级视为一个隐含的反馈记录。对于每个用户，我们然后删除重复的交互，并按照交互时间戳按时间顺序对她的历史项进行排序，以获得用户交互序列。为了保证每个用户/项目都有足够的交互，我们只保留每个数据集的“5核”子集，通过迭代删除交互记录少于5个的用户和项目。表1总结了实验数据集的统计数据。安装和调试对于每个用户，其交互序列中的最后一个交互项用作测试数据，倒数第二个交互项用作验证数据。剩下的- 将测试项用作训练数据。该设置已在先前的研究 中 广 泛 使 用 [Kang 和 McAuley ， 2018;Sunet al. ，2019;Zhouet al. ，2020]。不同方法的性能通过两个广泛使用的评估度量来评估：命中率@K和归一化贴现累积增益@K（分别由HR@K和N@K表示），其中K根据经验设置为10和20。对于每个指标，我们首先计算每个用户在测试数据上的准确度，然后报告所有测试用户的平均准确度在实验中，所有的评价指标都是在整个候选项目集上计算的，没有负采样。具有用于顺序推荐的项目-项目产品模块的选通网络• SR-GNN[Wuet al. ，2019]：该方法将序列转换为图形，并利用门控GNN层来捕获项依赖关系。• GC-SAN[Xuet al. ，2019]：该方法利用图神经网络和自注意机制来动态捕获丰富的局部依赖关系。• GCE-GNN[Wanget al. ，2020]：该方法提出构建全局图和局部图来分别对全局转换模式和局部转换模式进行建模。• S3-Rec [Zhou et al. 该方法采用不同的自监督优化目标来最大化属性、项目和序列之间的互信息。• CL4SRec[Xieet al. ，2021]：该方法使用序列级增强来学习更好的序列表示。实 施 细 节 。 所 有 的 评 估 方 法 都 是 由 PyTorch 实 现 的[Paszkeet al. ，2019]。 [Zhouet al. ，2020]，我们将最大序列长度设置为50。基线方法的超参数选择遵循原始文献，并根据模型对验证数据的性能选择最佳设置。在被评价的方法中，只有S3-Rec方法考虑了项目属性信息，其他方法都没有考虑项目属性信息。为了公平比较，我们只保留S3- Rec的屏蔽项预测和分段预测任务来学习模型。对于GCL4SR，我们根据经验将自我注意力块和注意力头的数量设置为2。嵌入的维数设置为64。两个自监督损失λ1和λ2的权重选自0。001，0。01，0。05，0。1.一、我们用亚当[金马和巴，2014]作为优化器，并设置学习率β1和β2分别为0.001、0.9和0.999。学习率的线性衰减也被采用。批量大小根据经验设置为256。L2正则化系数设置为0.0005。u家手机漫画诗歌用户数66,51927,87913,8103,522项目数量28,23710,42916,6302,624互动次数551,682194,439343,58740,703G的节点数28,23710,42916,6302,624#G2,357,678700,4901,420,946150,638+v：mala2277获取更多论文数据集度量LightGCNFPMCGRU4RecCaserSASRecHGNSR-GNNGC-SANGCE-GNNCL4SRecS3-RecGCL4SR心率@100.01600.01620.02100.01010.02280.01520.02010.02810.02700.02660.02800.0326家心率@20N@100.02500.00850.02180.00970.03300.01100.01730.00510.03160.01410.02310.00830.02920.01230.03940.01740.04010.01240.03870.01600.04060.01690.04890.0179N@200.01080.01110.01400.00680.01630.01030.01460.01970.01560.01860.01960.0210心率@100.06870.06340.08350.04350.08830.06800.07780.08810.09480.09290.10370.1171手机心率@20N@100.10120.03700.08540.03740.12130.04590.06470.02330.12130.05110.09900.03640.11140.04270.12320.05000.13910.04120.13050.05330.14280.05940.16660.0665N@200.04520.04300.05540.02870.05940.04420.05120.05880.05230.06270.06930.0790心率@100.14110.12750.14140.10680.14280.10340.11930.13090.15330.14960.16130.1638诗歌心率@20N@100.21270.07710.18510.07040.21040.07830.15670.06070.20300.08290.15450.05970.17230.06860.19360.07320.22290.08590.21640.08380.22770.09150.24280.0914N@200.09540.08490.09560.07320.09800.07250.08180.08910.10350.10040.11080.1112心率@100.11060.13820.15930.11560.17090.12420.14810.16380.17220.17510.17810.1776漫画心率@20N@100.16720.05870.17360.10190.20580.10960.14990.07900.21000.12760.17040.07430.18570.10670.20480.11890.22320.12220.21720.12350.22580.12340.23370.1313N@200.07300.11080.12130.08760.13740.08590.11610.12920.13250.13410.13540.1429表2：通过不同方法实现的性能最好的结果用黑体表示，第二好的结果用下划线表示。方法诗歌手机心率@20 N@20心率@20N@20GCL4SR0.24280.11120.16660.0790GCL 4SR，不带G0.24330.10950.16070.0734GCL4SR，不含GM0.21380.09580.14230.0713GCL4SR，不带W0.21720.09790.15000.0694SASRec0.20300.09800.12130.0594表3：GCL 4SR变体和SAS-Rec在诗歌和电话数据集上实现的性能。我们根据验证数据的性能，使用早期停止策略训练模型。5.2性能比较性能比较结果总结见表2。总体而言，GCL4SR在几乎所有评估指标方面都优于所有数据集上的所有基线方法。与基于RNN和CNN的模型（例如，，GRU4Rec和Caser），基于自我注意机制的模型（如、SASRec、GC-SAN和GCL 4SR）通常实现更好的性能。这是因为自注意机制在捕获长距离项依赖关系时更有效。GC-SAN通过引入基于单个序列构建的图来改进序列表示，在Home数据集上实现了比SASRecGCE-GNN通过额外利用全局级项目转换模式而优于SR-GNN。此外，CL 4SRec、S3-Rec和GCL 4SR通常胜过它们的骨架结构SASRec。这表明自监督学习目标可以帮助提高顺序推荐性能。此外，GCL 4SR比CL 4SRec和S3-Rec获得了更好的结果。这是因为CL 4SRec和S3-Rec通过辅助学习对象增强了序列表示，这些辅助学习对象仅利用每个单独序列中的局部上下文。然而，GCL4SR增加了序列表示使用子图的转换图的基础上建立的所有用户的序列，它可以提供本地和全局上下文的学习序列表示。5.3消融研究为了研究GCL 4SR的每个组件的重要性，我们考虑以下GCL 4SR变体用于评估：1）GCL 4SRw/oG：我们通过在等式中将λ1设置为0来去除图对比学习（12）;2）GCL4SRw/oGM：我们通过在等式中将λ1和λ2（12）;3）GCL4SRw/oW：当在图对比学习中使用的共享GNN的第一层执行GCN操作时，我们删除了增强图视图的边权重表3总结了GCL4SR变体和SASRec在诗歌和电话数据集上的性能。我们可以注意到，在两个数据集上，GCL4SRw/oGM这表明全局转换图中的上下文可以帮助提高顺序推荐性能。通过包括MMD损耗，GCL 4SRw/oG实现了比GCL 4SRw/oGM更好的性能。通过进一步结合图对比学习损失，GCL 4SR在两个数据集上的N@20方面优于GCL 4SRw/oG这些观察结果表明，MMD损失和图对比学习损失都可以帮助学习更好的项目和序列表示的顺序推荐 。 此 外 ， GCL 4SR 在 所 有 指 标 方 面 都 优 于 GCL4SRw/oW这一观察表明，跨所有序列的项目之间的转换频率可以帮助区分相邻项目的重要性，以获得更好的顺序推荐性能。5.4参数敏感性研究我们还进行了实验来研究三个超参数的影响：基于图的增强中使用的采样深度M和采样大小N，以及嵌入尺寸d。图3显示了GCL4SR在Poetry和Phones数据集上针对M、N和d的不同设置的性能如图3（a）所示，较大的样本量往往会产生更好的推荐性能。对于采样深度，我们可以注意到，在诗歌和电话数据集上，M的最佳设置分别为4和3。此外，在Poetry和Phones数据集上分别将d+v：mala2277获取更多论文0.250.200.150.10诗歌电话5 10 15 20 25 30（一）0.260.240.220.200.181 2 3 4 5（b）第（1）款0.240.210.180.1532 48 64 96 128(a)图3：GCL4SR在Poetry和Phones数据集上不同M、N和d设置的性能趋势方法诗歌手机心率@20 N@20心率@20N@20HGN0.15450.07250.09900.0442GCL4SR-HGN0.17120.07630.10640.0475GRU4Rec0.21040.09560.12130.0554GCL4SR-GRU0.23620.10570.16220.0763SASRec0.20300.09800.12130.0594GCL4SR-SAS0.24280.11120.16660.0790表4：具有不同基本序列编码器的HGN、GRU4Rec、SASRec和GCL4SR的性能。5.5序列编码器为了进一步研究图增强序列表示学习模块的有效性，我们采用其他结构来构建基本序列编码器。具体地，我们考虑以下GCL 4SR设置用于实验：1）GCL 4SR-GRU：我们使用GRU 4 Rec作为骨干结构来构建基本序列编码器; 2）GCL 4SR-HGN：我们使用HGN作为骨干结构来构建基本序列编码器; 3）GCL 4SR-SAS：使用SASRec作为骨干结构来构建序列编码器的故障模型。表4显示了GCL 4SR与不同的- ent序列编码器的性能，以及骨干模型的性能。观察到GCL 4SR-HGN、GCL4SR-GRU和GCL 4SR-SAS优于相应的骨干编码器模型。这表明，图增强序列表示学习模块是一个通用的模块，可以帮助改善现有的顺序推荐方法的性能。此外，GRU4 Rec和SAS-Rec实现了比GCL 4SR-HGN更好的性能。这表明基本序列编码器在GCL 4SR的性能中占主导地位，而图增强序列表示学习模块是GCL4SR的补充部分，可以帮助进一步提高推荐性能。增强交互序列。提出了两个辅助学习目标来学习更好的项目和序列表示。在真实数据集上的大量结果表明，所提出的GCL4SR模型始终优于现有的顺序推荐方法。对于未来的工作，我们希望开发新的辅助学习目标，以提高GCL4SR的性能。此外，我们也有兴趣应用GCL4SR来改善其他顺序推荐模型的性能致谢本工作得到了国家自然科学基金项目No.91846205、国家重点研发计划项目No.2021YFF0900800、山东省自然科学基金项目No.ZR2019LZH008、山东省重点研究发展计 划 （ 重 大 科 技 创 新 项 目 ） （ No.2021CXGC010108）、山东大学基础研究基金等项目的部分资助。这项工作也得到了阿里巴巴集团通过阿里巴巴创新研究（AIR）计划和新加坡南洋理工大学阿里巴巴-南洋理工大学新加坡联合研究所（JRI）的部分支持引用[Devlin et al. Jacob Devlin，Ming-Wei Chang，Ken- tonLee，and Kristina Toutanova. BERT：用于语言理解的深度双向转换器的预训练。在NAACL-HLT[Hamilton et al. William L Hamilton，Rex Ying，and JureLeskovec.大图上的归纳表示学习。在NeurIPS[Hassani 和 Khasahmadi ， 2020] Kaveh Hassani 和 AmirHosein Khasahmadi。图上的对比多视图表示学习。在ICML6结论和未来工作提出了一种新的推荐模型GCL4SR，该模型采用全局迁移图来描述不同用户交互序列之间的项迁移模式。此外，GCL4SR利用从转换图中随机采样的子图，[他和麦考利，2016]毁了他和朱利安麦考利。上下起伏：使用单类协同过滤对时尚趋势的视觉演变进行建模。在WWW[He et al. 何向南，邓宽，王翔，李艳，张永东，王梦。Lightgcn：心率心率心率+v：mala2277获取更多论文用于推荐的简化和增强图卷积网络。在SIGIR[Hidasietal. ，2016]Bala' zs希达西，阿尔·赞德罗斯卡拉特·佐格鲁，莱纳斯·巴尔特鲁纳斯，和多蒙科斯·蒂克.基于会话的递归神经网络推荐。InICLR2016，2016.[Jing and Tian，2020] Longlong Jing和Yingli Tian。深度神 经 网 络 的 自 监 督 视 觉 特 征 学 习 ： 一 项 调 查 。TPAMI，2020年。[Kang 和 McAuley ， 2018] Wang-Cheng Kang 和 JulianMcAuley。自我关注的顺序推荐。在ICDMIEEE，2018年。[Kingma and Ba，2014] Diederik P Kingma and Jimmy Ba.Adam ：随机最 佳化的方法。arXiv预印本 arXiv：1412.6980，2014年。[Lei et al. ， 2021 a] Chenyi Lei ， Yong Liu ， LingziZhang，Guoxin Wang，Haihong Tang，Houqiang Li，and Chun-yan Miao. Semi：一个用于电子商务微视频推荐的顺序多模态信息传递网络。在KDD[Lei et al. Chenyi Lei，Shixian Luo，Yong Liu，WangguiHe，Jiamang Wang，Guoxin Wang，Haihong Tang，Chunyan Miao，and Houqiang Li.通过对比多模态预训练理解中文视频和语言。在MM[Li et al. Yujia Li，Kevin Swersky，and Rich Zemel.生成矩匹配网络。在ICML[Li et al. Jing Li，Pengjie Ren，Zhumin Chen，ZhaochunRen，Tao Lian，and Jun Ma.基于神经注意会话的推荐。在CIKM[Liu et al. Yong Liu，Susen Yang，Chenyi Lei，GuoxinWang，Haihong Tang，Juyong Zhang，Aixin Sun，and Chunyan Miao.预训练图Transformer，具有用于推荐的多模态边信息。在MM[Ma et al. 陈马，彭康，刘雪。用于顺序推荐的分层选通网络。在KDD[Paszke et al. Adam Paszke ， Sam Gross ， FranciscoMassa ， Adam Lerer ， James Bradbury ， GregoryChanan ， Trevor Killeen ， Zeming Lin ， NataliaGimelshein ， Luca Antiga ， et al. Pytorch ： Animperativestyle ， high-performancedeeplearninglibrary. 神经信息处理系统，32：8026[Rendle et al. Steffen Rendle，Christoph Freuden-thaler，and Lars Schmidt-Thieme.下一个购物篮推荐的个性化马尔可夫链分解。在WWW[Sun et al. 孙飞、刘军、吴健、裴昌华、小林、欧文武和江鹏。Bert 4 rec：序列与双向编码器表示，从Transformer-tations的建议。在CIKM[Tang and Wang，2018] Jiaxi Tang and Ke Wang.通过卷积序列嵌入的个性化前n个顺序推荐。在WSDM[Vaswani et al. Ashish Vaswani ， Noam Shazeer ， NikiParmar ， Jakob Uszkoreit ， Llion Jones ， Aidan NGomez，Mukasz Kaiser，and Illia Polosukhin.你需要的只是关注。在NeurIPS[Wan et al. Mengting Wan，Rishabh Misra，Ndapan-dulaNakashole，and Julian McAuley.大规模评论语料库中的细粒度在ACL[Wang et al. Shoujin Wang ， Liang Hu ， Yan Wang ，Longbing Cao，Qua