没有合适的资源?快使用搜索试试~ 我知道了~
学习用户兴趣边界进行推荐
193−学习显式用户兴趣边界进行推荐卓建环中国科学院信息工程研究所中国科学中国北京zhuojianhuan@iie.ac.cn岳银良<$中国科学院信息工程研究所中国科学中国北京yueyinliang@iie.ac.cn摘要隐式反馈推荐系统建模的核心目标是最大化正样本得分sp和最小化负样本得分sn,通常可以概括为两种范式:逐点和成对。 逐点方法将每个样本与其标签单独拟合,这在实例级的加权和采样方面是灵活的,但忽略了固有的排名属性。 通过定性地最小化相对得分sn sp,成对方法自然地捕获样本的排名,但受到训练效率的影响。此外,这两种方法都难以明确地提供个性化的决策黔南州朱玉中国人民大学高陵人工智能学院大数据管理与分析方法北京市重点实验室中国北京zhuqiannan@ruc.edu.cn赵宇红zhaoyuhong@iie.ac.cn中国科学院信息工程研究所中国北京关键词推荐系统,损失函数,用户兴趣边界ACM参考格式:Jianhuan Zhuo,Qianan Zhu,Yinliang Yue,and Yuhong Zhao.2022年学习明确的用户兴趣边界进行推荐.在ACM Web Conference 2022(WWW'22)的会议记录中,2022年4月25日至29日,虚拟活动,法国里昂。ACM,美国纽约州纽约市,10页。https://doi.org/10.1145/3485447.35119711引言边界,以确定用户是否对看不见的项目感兴趣到阳性样本阴性样本辅助检样为了解决这些问题,我们创新性地引入了一个辅助评分,?候选样本梯度方向用户兴趣边界bu表示用户兴趣边界(UIB),并利用成对范例单独惩罚跨越边界的样本,即, 得分低于BU的阳性样本和得分高于BU的阴性样本。通过这种方式,我们的方法成功地实现了逐点和成对的混合损失,结合两者的优点。分析表明,我们的方法可以提供个性化的决策边界,并显着提高训练效率,10.50.3评分? ������评分? ������评分?������������任何特殊的抽样策略。大量的结果表明,我们的方法不仅实现了经典的逐点或逐对模型,而且具有复杂的损失函数和复杂的特征编码的最先进的模型显着的改进。0样品(a) 点态损失样品(b) 成对损失样品(c) 我们混血儿的损失CCS概念• 计算方法→排名;·信息系统→学习排名。两位作者都对本研究做出了同等的贡献。†通讯作者本作品采用知识共享署名国际协议(Creative Commons AttributionInternational)授权4.0许可证。WWW©2022版权归所有者/作者所有。ACM ISBN978-1-4503-9096-5/22/04。https://doi.org/10.1145/3485447.3511971图1:损失模式比较。在信息过载的情况下,推荐系统在有效地为用户提供有用信息方面发挥着重要作用。作为推荐系统中广泛使用的技术,基于协同过滤(CF)的方法通常利用用户交互行为来建模用户的潜在偏好,并基于用户的通常,给定用户-项目交互数据,典型的CF方法通常包括两个步骤:(i)定义评分函数以计算用户和候选项目之间的相关性分数,(ii)定义损失函数以优化所有观察到的用户-项目交互的总相关性分数从损失定义的角度来看,CF方法通常是优化的194()下一页()下一页()下一页联系我们()下一页–T → {}我...T U×XUXWWWJianhuan Zhuo,Qianan Zhu,Yinliang Yue,Yuhong Zhao通过将更高的得分 SP 分 配给观察到的相互作用的损失函数(即,正实例)和对未观察到的相互作用的较低得分Sn(即,消极的例子)。在以往的工作中,推荐系统设计了两种损失函数,即逐点损失函数和逐对损失函数。 如图1(a)所示,基于逐点的方法通常将排名任务公式化为回归或分类任务,其中损失函数nx,l直接将样本x的归一化相关性得分sx优化为其标签l 0,1。样本x=u,i是用户u和物品i的观察到的或未观察到的对。通常,基于点的损失函数使用固定的硬线(如0.5)作为指标来区分样本为正或负,即,对于排序阶段中的所有用户,分数大于0.5的样本被认为是肯定的,其中用户u将对项目i感兴趣。相应地,图1(b)中所示的基于成对的方法,将正样本和负样本的对xn,xp作为输入,并试图通过损失函数来最小化相对得分snsp。两两损失法主要是使正样本的得分sp大于负样本的得分sn,从而得到样本x=u,i用于排序阶段的可接受性。近年来,这两种损失函数被广泛应用于各种推荐方法中,并取得了很好的推荐效果。然而,它们仍然有缺点。他们很难学习明确的用户事实上,用户有自己的兴趣边界学习,从他们的互动,以确定是否是积极的样本在排名阶段。如上所述,逐点损失函数是非个性化的,并且倾向于将全局兴趣边界确定为所有用户的固定硬线,这可能会对真实兴趣边界低于固定硬线的用户进行错误分类。例如,在图1(a)中,尽管样本x的得分Sx大于用户的真实兴趣边界,但是正样本x仍然被分类到负组,虽然成对方法无法为图1(b)中的未知候选样本x提供明确的个性化边界,因为通过相对分数学习的其分数Sx只能反映样本x的可接受性,而不是在排名阶段明确的用户特定指标是否为阳性样本。此外,我们还对另一个问题感兴趣,训练效率问题,阻止成对模型获得最佳性能。对于两两分类,随着模型在训练后期的收敛,大部分阴性样本都得到了正确的分类 在这种情况下,大多数随机生成的训练样本的损失为零,即, 这些样本太“容易”而不能被正确分类,并且不能产生有效的梯度来更新模型,这也被称为梯度消失问题。为了缓解这个问题,以前的工作采用硬负样本挖掘策略来提高采样有效实例的概率[6,7,24,32,35]。虽然这些方法是成功的,但它们忽略了导致消失问题的基本机制。直观地说,硬样品是策略来挖掘一个硬样本,为什么为了解决上述问题,我们创新性地引入了-为每个用户导出辅助分数BU,并单独地惩罚跨越成对范例的边界的样本,即,得分低于BU的阳性样本和得分高于BU的阴性样本。边界bu用于指示用户兴趣边界(UIB),其可以用于显式地确定未看到的项目是否值得推荐给用户。从图1(c)可以看出,用户u的UIBbu可以很容易地将候选样本sx预测为正。通过这种方式,我们的方法成功地实现了逐点和成对的混合损失,以结合两者的优点具体来说,它遵循整个损失表达式中的逐点,而每个示例中的逐对。 在理想状态下,正样本和负样本应该由边界bu分开,即,如图1所示,阳性样本的得分高于bu,阴性样本的得分低于bu。所学习的边界可以为每个用户提供个性化的兴趣边界以预测未看到的项目。此外,与以往挖掘硬样本的方法不同,该方法可以直接将边界bu解释为硬样本的得分,无需采用特殊的采样策略,显著提高了训练效率。大量的结果表明,我们的方法实现了显着的改进,不仅对经典模型的逐点或成对的方法,而且国家的最先进的模型与复杂的损失函数和复杂的特征编码。本文的主要贡献可以概括为:我们提出了一种新的混合损失相结合,并补充逐点和成对的方法。 据我们所知,这是第一次尝试引入一个辅助分数的融合逐点和成对。我们提供了一个高效和有效的边界,以匹配用户 其结果是,每个用户的个性化兴趣边界的学习,它可以用于在预排名阶段,以过滤出丰富的明显没有价值的项目。定性分析了两两训练效率低下的原因,并通过引入辅助得分来表示硬样本,从源头上进一步缓解梯度消失问题我们在四个公开可用的数据集上进行了广泛的实验,以证明UIB的有效性,其中多个基线模型使用UIB1实现了显着的性能改进。2初步对于隐式CF方法,用户-项目交互是推动推荐系统发展的重要资源。为了方便起见,我们在本文中使用以下一致的符号:用户集是 , 项 目 集 是 。 它 们 的 可 能 相 互 作 用 集 如 下 :=,其中观察到的部分被视为用户的真实交互历史。形式上,标记函数l:0,1用于指示是否观察到样本,其中值1表示相互作用是通常是那些靠近边界的人,模型很难把这些样本区分开来。而不是改进采样1https://github.com/JianhuanZhuo/Code-for-UIB-WWW2022····195∈()一()∈I∈∈.T →.(()-()).(−())(()−)x z sx zs..学习明确的用户兴趣边界推荐WWW- 每个用户u的辅助得分buR1,以表示用户兴趣边界(UIB),其可以是可学习的参数或从用户的嵌入计算,如等式3所示bu=W Pu(三)表1:损失范例之间的特征比较正(即,u,p),值0表示相互作用是负的(即u,n,g)。在隐式协同过滤中,模型的目标是学习其中PuRd是用户u的嵌入向量,WRd是可学习向量。我们的损失来自两部分的加权和:正样本损失部分Lp和负样本损失部分Ln。在Lp和Ln中,成对损失用于惩罚-对跨越决策边界BU的样本进行量化,即,s(u,p)低于bu的正样本和s(u,n)高于bu的负样本。形式上,损失函数评分函数s:R,反映项目与用户的相关性损失函数用于指示得分方法可以重写为:函数拟合,通常可以概括为两种范式:逐点和成对。L=(u,p)∈I n(bu−s(u,p))+α(u,n)gI n(s(u,n)−bu)(四)2.1点态损失该方法将任务描述为单样本分类任务,其损失函数直接优化了样本的非线性分布。将用户u和项目x之间的相关性得分s(u,x)转化为其__LpLn其中α是平衡正样本和负样本的贡献权重的超参数我们的方法可以看作是混合损失点-标签l(u,x):L=(u,x)∈Tint n(n,n,n,n)(1)wise和pairwise,这与以前的作品有很大的不同一方面,逐点损失通常优化每个样本以匹配其标签,这是灵活的,但不适合与排名相关的任务。另一方面,成对损失需要其中,可以是交叉熵[14]或平均和误差[4],因此吧由于逐点方法对每个样本进行单独优化,因此在实例级的采样和加权上具有灵活性。然而,由于这些分数取决于观察上下文,因此将样本拟合到固定分数中很难反映固有的排名属性[22]。2.2成对损失配对方法不是用固定的分数拟合样本,而是尝试为阳性样本分配比阴性样本更高的分数[2]。成对方法的损失函数可以重写为:L=n(s(u,n)−s(u,p))(2)(u,p) ∈I(u,n)g I其 中 , R2 可 以 是 MarginLoss [15 , 18] 或 LnSigmoid [12 ,14],因此对正、负样本进行排序,然后对模型进行优化,使其得分有序,取得了很大的成功,但存在梯度消失问题。我们的方法通过引入一个辅助分数bu成功地结合和互补。具体来说,在整个损失表达式中,它遵循逐点损失,因为正样本和负样本在Lp和Ln中分别计算。在Lp和Ln内部,每个样本被应用成对损失,例如,保证金损失,辅助分数为bu。换句话说,成对损失应用于bu s u,p ,n,nBu 而不是传统的SU,N SU,P。通过这种方式,我们的方法可以提供一个灵活而有效的损失函数。3.2用户兴趣边界学习的bu可以提供个性化的决策边界,吧虽然成对方法可以通过学习正负样本之间的定性得分来提高泛化性能,但它在推理阶段难以提供有效的排序信息,并且存在梯度消失问题。逐点方法和成对方法都有其各自的优点,如表1所示。直观地说,充分结合两者的优点,可以得到更好的损失函数,进一步提高推荐性能。因此,我们寻求一种混合损失,以相互结合和互补。3方法3.1混合损失我们提出了一种新的损失范式,结合两种主流方法的优点,自适应地匹配用户的兴趣。我们的方法是有效和高效的。我们创新地引入在所述推断阶段中确定所述用户是否喜欢所述项目显式边界对于许多应用是有用的,例如。在预排名阶段过滤掉大量明显没有价值的项目。为什么它是个性化的?从梯度方向的角度出发,在正负样本均衡的情况下自适应匹配用户u的理想边界,为不同用户提供个性化的决策边界。具体地,为了优化我们提出的损失函数方程4,优化器必须同时惩罚两部分:正部分Lp和负部分Ln。在这个过程中,Lp向上推动正样本的得分,向下推动边界bu,如图2中的绿色箭头,而Ln向上推动边界bu,向下推动负样本,如蓝色箭头。如果边界偏离其合理范围,不平衡梯度将把它推回,直到它在正负之间很好地匹配。以图2中的边界bu为例。边界被错误地初始化为非常低的分数点态成对我们学习排名灵活采样灵活加权个性化边界√×√×√×××√√√√WWWJianhuan Zhuo,Qianan Zhu,Yinliang Yue,Yuhong Zhao196//()下一页(−)(−)/(−)(−)/SSSLL评分���3评分���3���1���1���5���5���������4S2S2���6���4���6因此所有阴性样本都被错误地分类为阳性。因此,边界被向上推以平衡低Lp和大Ln。由于正负样本之间的平衡,边界可以自适应地匹配用户的兴趣范围。此外,我们还进行了实验,以验证方法是更有效的,并显着减轻梯度消失的问题。此外,我们的方法的优势在第4.8节中得到了实验证明。这一声明,详见第4.6节。阳性样本阴性样本辅助检样有效梯度用户兴趣边界样品样品图2:边界自适应匹配由于我们的方法在训练阶段显式地学习用户兴趣边界,因此在推理阶段可以直接使用所学习的边界来确定用户是否喜欢该项目它很容易使用,例如将得分高于边界的候选人视为阳性,否则为阴性,如图1(c)所示3.3训练效率我们的方法可以显着提高训练效率没有任何特殊的采样策略。传统的成对损失函数存在梯度消失问题,尤其是在训练的后期 由于成对损失是为了最小化相对得分= sn sp,因此使用作为解释训练效率的指标是合理的。例如,如图3所示,通过组合正例得分{s1,s2,s3}和反例得分生成9对训练实例{s4,s5,s6},但只有对(s2,s5)可以提供有效的梯度信息来更新模型,即,没有被正确分类或有19的可能性。通过引入边界设置,我们的方法显着提高了训练效率,只有简单的均匀采样策略。从负采样的角度看,边界bu可以自然地解释为硬负阳性样本和阴性样本的硬阳性具体地,正样本和负样本都与边界bu配对,并产生6对训练实例,其中两个是有效的,即,s5bu和bus2。概率是13.形式上,假设一个数据集包含N个正样本,N个负样本,以及所有可能组合结果的M个每次通过随机抽样生成训练实例sp,sn时,只有MN2概率的成对损失才能提供有效的梯度信息。而在我们的方法中,M N概率可以实现。因此,与传统的成对损失相比,(a) 成对损失(b)我们的混合损失图3:训练效率比较。3.4班级平衡我们的方法可以提供一种灵活的方式来平衡阴性和阳性样本。通常,正样本是从用户的交互历史中收集的观察到的实例 由于正负样本的获取方法不同,将两者用相同的权重和抽样策略处理是不合理的。由于我们的方法在整个表达式上单独优化Ln和Lp,我们可以分配适当的α并开发不同的采样策略来平衡类。对于抽样策略,由于负样本空间远大于正样本空间,因此我们使用M倍于正样本的负样本来平衡每批抽样的类值得注意的是,这里我们仍然使用最简单的均匀采样策略,而不是其他先进的方法[6,7,24,32,35]。 对于加权,辅助评分机制的引入使得另一种方式成为可能:通过调整α来扩大或缩小正负样本的评分空间。这里,我们将正评分空间p表示为边界与正样本的最大评分之间的范围,而负评分空间n表示为边界与负样本的最小评分之间的范围,如图4所示。直观地,评分空间对应于被确定为阳性样本或阴性样本的候选样本的评分范围。通过增加α来放大n将向上推动边界并压缩正得分空间p,如图4右侧所示。随着边界bu的上升,所有正样本都通过较大的p获得更大的向上梯度,并聚集到更紧凑的空间中。这样,阳性和阴性样本的期望得分被限制在适当的范围内。我们的方法可以调整α来平衡负样本和正样本。相反,降低α也是如此。在实验中也观察到这种现象在第4.7节中使用不同的α设置。gradient fromL���gradient fromL���分数score新平衡���= 1���������= 1良好匹配������不平衡学习显式用户兴趣边界进行推荐WWW197.LLL(·)()()()基线并将交叉熵损失替换为UIB损失以构建我们的提升模型。具体来说,我们直接替换L= −(u,x)∈Tl(u,x)ln(s(u,p))+( 1−l(u,x))ln( 1−s(u,n))(7)图4:较大α设置的边界再平衡具有复杂损失函数的模型,即SML [18]是一个S.O.T.A.度量学习模型SML的损失函数不仅保证了正项得分高于负项得分,即负项得分高于正项得分。A,但也保持积极的项目远离消极的项目,即B。此外,它扩展了传统的边缘损失与动态自适应的边缘,以减轻偏见的影响SML的损失可以表征为:LA = |s(u,n)− s(u,p)+mu|+(8)LB=|s(.n,p)−s。(u,p)+nu|+(9)4实验在本节中,我们首先介绍基线(包括L=(u,p)∈I(u,n)gILA+λLB+γLAM(10)通过我们的方法增强版本),数据集,评估协议和详细的实验设置。此外,我们给出了实验结果和一些分析。特别是,我们的实验主要回答了以下研究问题:RQ1拟议中的UIB能在多大程度上提升现有模型?RQ2边界与用户兴趣范围的匹配程度如何其中mu和nu是可学习的边缘参数,λ和γ是超参数,AM是动态边缘上的正则化由于SML的损失包含多个成对项,因此可以选择具有UIB的SML的各种适应,这也显示了我们的方法对具有复杂损失函数的提升模型的灵活性在这里,我们只提升SML通过将主要部分LA替换为:• RQ3α如何影响边界的行为• RQ4拟建的UIB如何提高培训效率?LA′ 为|s(u,n)− bu+mu |+ +α|Bu–u|+(十一)ciency?4.1基线为了验证我们的方法的通用性和有效性,有针对性的实验进行。具体来说,我们再现了以下四种类型的S.O.T.A. 模型作为基线,并通过我们的UIB损失实现增强版本。 为了比较这些架构之间的差异,表2列出了基线和我们的提升模型中使用的所有评分函数和损失函数。Pairwise模型,即BPR [28],它对用户和项目的潜在特征应用内积,并使用成对损失,LnSigmoid(也称为软铰链损失)来优化模型,如下所示:具有复杂特征编码的模型,即 Light-GCN [12]用于确保我们的方法可以在高级模型上工作。LightGCN [12]是用于推荐任务的最先进的图卷积网络在这里,我们只关注损失部分,并使用简化的G来表示图卷积网络的复杂特征编码过程。 LightGCN在等式5中使用与BPR [28]相同的损失函数。 为了提高LightGCN,我们保持评分函数s u,x= G uG x,并且仅用等式6替换损失函数。4.2数据集为了评估每个模型的性能,L= −。 .ln σ(s(u,p)−s(u,n)).(五)我们选择了四个公开的数据集,包括不同的类型和大小:亚马逊即时视频(AIV)[11],LastFM [3],(u,p)∈I(u,n)g I在增强版本中,损失函数被改造成UIB风格,如下所示:Movielens-1M(ML1M)和Movielens-10M(ML10M)[10]。数据集的详细统计数据见表3。L ′= −。(u.,p) ∈Ilnσ(s(u,p)−bu)(六)4.3评价方案我们使用命中率(Hit@K),归一化贴现累积增益(NDCG@K)和平均倒数秩(MRR@K)来评估−α(u,n)gIln σ(bu − s(u,n)).选择模型,其中K从经典设置中选择{1,10}。所有测量值越高,意味着性能越好作为点态模型,即NCF [14],这是一个经典的神经协同过滤模型。NCF使用交叉-熵损失(逐点方法)来优化模型,如等式7所示。在这里,我们只使用NCF的MLP版本作为我们的从L开始的梯度从L开始的评分newBalanc评分���1.���������������1.������������������������·····损失函数与NCF的提升版本中的等式6·学习显式用户兴趣边界进行推荐WWW198Hit@1、NDCG@1和MRR@1在数学上是等效的,我们只报告Hit@1、Hit@10、NDCG@10和MRR@10。所有数据集都通过流行的One-Leave-Out策略[14,28]进行划分,如表3所示。在测试阶段,学习的模型被要求进行排名,WWWJianhuan Zhuo,Qianan Zhu,Yinliang Yue,Yuhong Zhao199方法评分s(u,x)业务流程重新设计[28]BPR+UIB(我们的)PuQx损耗L.−。(u,p)∈I.(u,n)gIl nσ.(s(u,p)−s(u,n))lnσ(s(u,p)−b)−αlnσ(b−s(u,n))-(u.,p) ∈Iu(u,n)gIuNCF[14]NCF+UIB(我们的)f(Pu,Qx)ln(s(u,p))+( 1−l(u,x))ln( 1−s(u,n)). −(u,x)l(u,x).lnσ(s(u,p)−b)−αlnσ(b−s(u,n))-(u,p)。∈I .u(u,n)gIuSML[18]||Pu− Qx||22(u,p)∈I(u,n)gI|s(u,n)−s(u,p)+mu|+.+λ|s(.n,p)−s(u,p)+nu|+γLSML+UIB(我们的)(u,p) ∈I(u,n)gI|s(u,n)−bu+mu|++α|bu−。s(u,p)+.微米的|++λ|s(n,p)−s(u,p)+nu|+γLLightGCN[12]G(u) G(x)lnσ(s(u,p)−s(u,n)).−(u,p) ∈I(u,n)gI .LightGCN+UIB(我们的)–(u,n)gIl nσ(bu−s(u,n))表2:基线和我们的增强模型之间的架构比较数据集AIVLastFMML1MML10M用户数量5,1301,8776,02869,878#项目1,68517,6173,70610,677#火车26,86689,047988,129 9,860,298有效数量5,1301,8776,02869,878表3:数据集统计。为每个用户提供一个给定的项目列表由于负样本的空间在现实世界中非常巨大或未知,对于测试集中的每个正样本,我们将其相关负项的数量固定为100个负样本[18]。每个实验在相同的候选人上独立重复5次,并报告平均表现������(a) AIV������(c)ML1M������(b)LastFM������(d)ML10M4.4设置我们使用PyTorch [25]来实现所有模型,并使用Ada-grad [8]优化器来学习所有模型。 为了使比较公平,所有实验的维度d和批量大小分别指定为32和1024。 对于所有增强版本,M = 32用于平衡类别,如第3.4节所述。在验证数据集的NDCG@10上采用网格搜索和早停策略来确定最佳超参数配置。除了ML10M之外,每个实验对所有数据集运行500个epoch,由于ML10M的大小,它被限制为100个epoch。详细的超参数配置表在附录中报告。4.5性能提升(RQ1)从表4所示的结果中,我们得出了三个观察结果:(1)比较我们的提升版本和所有数据集的基线,我们的方法对所有数据集都很有效,即使在大型ML10M数据集中也能改进它证实了我们的模型成功地使用UIB来提高推荐任务的预测性能。具体而言,与基线相比,我们的模型在HIT@1上实现了6.669%的一致平均改善 , 在 HIT@10 上 实 现 了 1.579% 的 一 致 平 均 改 善 , 在NDCG@10上实现了3.193%的一致平均改善,在NDCG@10上实现了4.078%的一致平均改善,在HIT@10上实现了1.579%的一致平均改善,在NDCG@10上实现了3.193%的一致平均改善,在NDCG@10上实现了4.078%的一致平均改善。AIV数据集的MRR@10, 4.153%,1.013%,2.345%,2.909%,LastFM数据集,ML1M为 5.075%、0.782%、2.001%、2.608%ML10M数据集的平均回收率分别为4.987%、0.2946%、2.341%、3.277%频率频率频率频率WWWJianhuan Zhuo,Qianan Zhu,Yinliang Yue,Yuhong Zhao200图5:不同数据集上的边界分布其中,对HIT@1的改进最令人印象深刻,在所有数据集上平均达到5.22%。(2)与逐点模型和逐对模型相比,本文方法的性能更好,分别为9.18%、0.68%、3.83%、5.34%。逐点法分别为5.81%、1.36%、3.10%、3.94%。它证实了UIB损失可以用于提升推荐系统中占主导地位的逐点这是因为我们的方法可以帮助学习固有的排名属性,以提高逐点和提高训练效率,以提高成对。(3)与具有复杂特征编码的最先进模型LightGCN [12]相比,我们的增强模型LightGCN+UIB在HIT@1上的平均增益为4.73%,在HIT@10上的平均增益为0.93%,在NDCG@10上的平均增益为2.30%,在MRR@10上的平均增益为2.97%,这表明我们的方法也适用于深度学习模型。4.6用户兴趣边界(RQ2)为了确定边界与用户兴趣范围的匹配程度,我们基本上需要回答两个子问题:(1)模型是否为不同的用户匹配不同的边界?(2)是否学习显式用户兴趣边界进行推荐WWW201∈AIVLastFMHIT@1HIT@10NDCG@10MRR@10HIT@1HIT@10NDCG@10MRR@10BPRBPR+UIB(我们的)0.22160.24520.57760.59490.38480.40630.32500.34770.47170.49070.79030.79950.63360.64930.58300.6006NCFNCF+UIB(我们的)0.23220.26080.62680.63140.41490.43330.34890.37140.48270.52050.80340.81350.64450.67270.59340.6270SMLSML+UIB(我们的)0.26240.25910.67960.68890.45590.45820.38610.38630.50040.50770.82370.82580.66810.67110.61750.6210LightGCNLightGCN+UIB(我们的)0.26170.27470.67320.68140.45400.46420.38550.39640.50700.52370.81410.82530.66440.67820.61600.6307平均改善6.669%1.579%3.193%4.078%4.153%1.013%2.345%2.909%ML1MML10MHIT@1HIT@10NDCG@10MRR@10HIT@1HIT@10NDCG@10MRR@10BPRBPR+UIB(我们的)0.33270.34860.81350.82050.56040.57410.48070.49640.52790.54780.93800.94180.73360.74730.66800.6846NCFNCF+UIB(我们的)0.32720.35150.81610.82220.55810.57530.47700.49750.52780.57600.94190.94160.73600.76110.66970.7029SMLSML+UIB(我们的)0.30130.31320.79460.80210.53190.53520.44960.45120.48060.48320.92610.92830.70300.71020.63150.6411LightGCNLightGCN+UIB(我们的)0.33290.34670.81350.81820.56130.57170.48180.49390.51820.55190.93390.93920.72540.74760.65850.6858平均改善5.075%0.7820%2.001%2.608%4.987%0.2946%2.341%3.277%表4:四个数据集的性能比较。(a) AIV(c)ML1M(b) LastFM(d)ML10M从所有数据集来看,减少偏移量始终会增加召回率并降低准确率,反之亦然。当偏移量为0时,兼顾查准率和查全率的F1算法性能最好,表明该方法能够学习到与用户兴趣范围最匹配的边界。 如3.2节所述,边界是正负样本之间博弈的最佳结果,它可以通过在预排序阶段过滤掉大量明显无价值的项目来节省计算,例如AIV的1685个项目中的1674个(99.37%),LastFM的17617个项目中的17562个(99.69%),ML1M的3706个项目中的3529个(95.24%),ML 10 M的10576/10677(99.06%)4.7超参数研究(RQ3)在我们的方法中,只有一个超参数α被引入到bal中,图6:边界上具有不同偏移的测量匹配的边界是最佳值?为了回答第一个问题,在图5中可视化了四个数据集上的NCF+UIB的学习边界分布。 它证实了我们的模型以不同的正态分布形式为不同的用户匹配不同的边界。为了回答第二个问题,我们添加了额外的偏移量{-5,-4。. . 4,5},并为用户预测所有项目。然后报告精确度,召回率和F1措施,以确定学习的边界是否是最好的如图6所示,(1)学习的边界使竞争力表现为:曼斯。具体地,在AIV中实现了54%的F1度量,在LastFM中实现了48%的F1度量,在ML1M中实现了58%的F1度量,并且在ML10M中实现了 51%的F1度量,这表明边界能够匹配用户(二更)评估正样本和负样本的贡献。为了研究α如何影响我们的方法的行为,基于LastFM数据集上NCF+UIB的最优实验,进行了不同α {0.1,0.2,1,2,4,8,16}设置的实验。 除了绩效和边界分布的一致性外,我们还分析了正样本和负样本的分数分布变化。图7中的实验结果表明:(1)从图7的第一个单元中,可以确认α确实影响性能,并且存在最佳α以实现最佳性能。(2)随着α的增大,边界b_u也不断增大,表明α与边界分布有很强的相关性这一现象证实了增加α以强调负损失部分实际上会迫使边界向上,并同时影响正侧和负(3)从左下角阳性样本得分的变化WWWJianhuan Zhuo,Qianan Zhu,Yinliang Yue,Yuhong Zhao202()下一页α的增长导致得分空间被压缩。(4)我们还观察到,负样本分数分布在右下角的单元格处变得紧凑。这是因为更大的α也扩大了“余量”的损失������������图7:不同α设置的模型比较4.8培训效率(RQ4)为 了 证 明 我 们 的 方 法 能 够 提 高 训 练 效 率 并 减 轻 困 扰transmittingpairwise 方 法 的 梯 度 消 失 问 题 , 我 们 在 BPR(pairwiseapproach)和BPR+UIB(ours)上进行了实验,比较了不同时期的样本损坏率,即.模型分类错误的训练样本的比例通常,较高的样本破坏率意味着较高比例的训练样本能够提供梯度信息以优化模型。如图8所示,x轴是通过训练的epoch,而y轴是损坏率。红色是通过我们的方法计算的,而蓝色是通过传统的成对方法计算的。从图8中,我们可以观察到我们模型中的损坏率高于所有数据集上的BPR损失率。与以往文献一致,传统的两两模式的训练效率随着收敛,即梯度消失而明显下降。 我们的方法在所有数据集的训练中保持了一定的有效梯度,特别是在AIV数据集中。如3.3节所述,这是因为边界本身就是一个很好的硬样本来指导训练。5相关工作本文试图将这两种主流的损失范式结合起来并加以补充由于逐点和成对方法具有其优点和局限性[22],因此已经提出了几种方法来改进损失函数[9,33]。Bellogin等人[1]改进了建议图8:训练效率随时间的变化。基于用户邻域的形成Liu等人[19]提出了Wasserstein自动编码框架,以改善数据稀疏性和优化不确定性。成对方法擅长于对不相关的排名属性进行建模,但存在不灵活的优化[31]。Lo和Ishigaki[20]提出了BPR损失函数的个性化成对加权框架,使模型克服了BPR对项目冷启动的限制Sidana等人[29]提出了一种模型,可以联合学习嵌入空间中用户和项目的新表示,以及用户Mao等人[21]等效地考虑了损失函数和负采样率,并提出了一个统一的CF模型来合并两者。Zhou等人[36]引入了一个限制,以确保正确实例的评分必须足够低以完成翻译。受到度量学习[31]的启发,一些研究人员试图采用度量学习来优化推荐模型[15,17,18,23,30]。此外,配对法训练效率低的问题也备受关注。均匀采样方法由于其简单性和可扩展性而广泛用于训练协同过滤[14]。高级方法试图挖掘硬负样本以提高训练效率,包括基于属性的方法[26,27],基于GAN的方法[6,24,32],基于缓存的方法[7,35]和基于随机游走的方法[34]。6结论在这项工作中,我们创新性地为每个用户引入一个辅助分数bu来表示用户兴趣边界(UIB),并使用成对范例对跨越边界的样本进行单独惩罚。通过这种方式,我们的方法成功地实现了逐点和成对的混合损失,结合两者的优点具体来说,它遵循整个损失表达式中的逐点,而每个示例中的逐对大量的结果表明,我们的方法不仅实现了显着的改进点式或成对的方法的经典模型,但也具有复杂的损失函数和复杂的特征编码的最先进的模型。致谢这项工作得到了项目BMKY2020B10的支持。性能阳性样本评分边界线���阴性样本评分学习显式用户兴趣边界进行推荐WWW203引用[1] Alejandro Bellogin,Javier Parapar,and Pablo Castells.2013年。负交叉熵概率协同滤波第七届ACM推荐系统会议论文集计算机协会,387-390。https://doi.org/10.1145/2507157.2507191[2] 克里斯·JC伯吉斯,塔尔动摇,艾琳伦肖,阿里拉泽尔,马特迪兹,妮可汉密尔顿和格雷格胡伦德。2005年学习使用梯度下降进行排名。技术报告MSR-TR-2005-06。https://www.microsoft.com/en-us/research/publication/learning-to-rank-using-gradient-descent/[3] 伊万·坎塔多,彼得·布鲁西洛夫斯基,茨维·库弗里克。2011.第二届推荐系统信息异构与融合研讨会(HetRec 2011)。第五届ACM推荐系统会议论文集(美国伊利诺伊州芝加哥)(RecSys 2011)。ACM,New York,NY,USA.[4] Chong Chen , Min Zhang , Yongfeng Zhang , Yiqun Liu , and ShaopingMa.2020年。高效的神经矩阵分解,无需采样推荐。ACM Trans.INF. 系统第38条第2款第14条(1月1日)2020年),28页。 https://doi.org/10。1145/3373807[5] 保罗·卡温顿,杰伊·亚当斯,埃姆雷·萨金。2016年。YouTube推荐的深度神经网络 第10届ACM会议记录系统(RecSys '16 )。计算机协会,191-198。https://doi.org/10.1145/2959100.2959190[6] 丁景涛,全玉涵,何向南,李勇,金德鹏。2019.建议用暴露数据重新加强负采样(2019),2230-2236.[7] 丁景涛,全玉涵,姚全明,李勇,金德鹏。 2020. 隐式协同滤波中的负采样方法及其鲁棒性.在NeurIPS中。https://proceedings.neurips.cc/paper/2020/hash/0c7119e3a6a2209da6a5b90e5b5b75bd-Abstract.html[8] John Duchi,Elad Hazan,和Yoram Singer.2011年。在线学习和随机优化的自适应次梯度方法。Journal of Machine Learning R
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 李兴华Java基础教程:从入门到精通
- U盘与硬盘启动安装教程:从菜鸟到专家
- C++面试宝典:动态内存管理与继承解析
- C++ STL源码深度解析:专家级剖析与关键技术
- C/C++调用DOS命令实战指南
- 神经网络补偿的多传感器航迹融合技术
- GIS中的大地坐标系与椭球体解析
- 海思Hi3515 H.264编解码处理器用户手册
- Oracle基础练习题与解答
- 谷歌地球3D建筑筛选新流程详解
- CFO与CIO携手:数据管理与企业增值的战略
- Eclipse IDE基础教程:从入门到精通
- Shell脚本专家宝典:全面学习与资源指南
- Tomcat安装指南:附带JDK配置步骤
- NA3003A电子水准仪数据格式解析与转换研究
- 自动化专业英语词汇精华:必备术语集锦
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功