1306面向用户冷启动推荐的任务自适应神经过程林锡勋中国科学院信息工程研究所中国科学院大学网络安全学院linxixun@iie.ac.cn潘世瑞莫纳什大学信息技术学院shirui.monash.edu摘要家五麦考瑞大学计算机系jia. mq.edu.au曹亚男中国科学院信息工程研究所caoyanan@iie.ac.cn关键词ChuanZhou中科院数学与系统科学中国科学院大学网络安全学院zhouchuan@amss.ac.cn汪滨小米AI实验室，小米公司wangbin11@xiaomi.com用户冷启动推荐是一个长期存在的挑战，推荐系统，由于事实上，只有少量的冷启动用户的交互可以利用。最近的研究试图从Meta学习的角度来解决这一挑战，其中大多数遵循参数初始化的方式，其中模型参数可以通过几步梯度更新来学习虽然这些基于梯度的元学习模型在一定程度上实现了有希望的性能，但它们的一个根本问题是如何更有效地将从先前任务中学习到的全局知识用于冷启动用户的推荐。在本文中，我们开发了一种新的元学习推荐称为任务自适应神经过程（TaNP）。 TaNP是神经过程家族中的一个新成员，其中为每个用户提供推荐与相应的随机过程相关联。 TaNP直接将观察到的每个用户的交互映射到预测分布，避开了基于梯度的元学习模型中的一些训练问题。 更重要的是，为了平衡模型容量和自适应可靠性之间的权衡，我们引入了一种新的任务自适应机制。 它使我们的模型能够学习不同任务的相关性，并将全局知识定制为与任务相关的解码器参数，以估计用户偏好。 我们在不同的实验环境中对多个基准数据集进行了TaNP验证。 实证结果表明，TaNP在几个最先进的元学习算法上取得了一致的改进。CCS概念• 信息系统→推荐系统;·计算方法学→神经网络。*通讯作者。本文在知识共享署名4.0国际（CC-BY 4.0）许可下发布。作者保留在其个人和公司网站上以适当的署名传播作品的权利WWW©2021 IW 3C 2（国际万维网大会委员会），在知识共享CC-BY 4.0许可下发布。ACM ISBN 978-1-4503-8312-7/21/04。https://doi.org/10.1145/3442381.3449908用户冷启动推荐，Meta学习，神经过程ACM参考格式：林锡勋，吴佳，周传，潘世瑞，曹延安，王斌。2021年用于用户冷启动推荐的任务自适应神经过程。在2021年网络会议（WWW '21）的开幕式上，2021年4月19日至23日，斯洛文尼亚卢布尔雅那。ACM，美国纽约州纽约市，11页。https://doi.org/10.1145/3442381.34499081介绍推荐系统已经成功地应用到大量的在线服务中，用于提供精确的个性化推荐[52]。 传统的矩阵分解（MF）模型和流行的深度学习模型是最广泛使用的技术之一，通过学习用户和项目的低维表示来预测用户会对哪些项目感兴趣[7，17，23，27，53]。 这些模型通常在有足够的用户交互时工作得很好，但存在冷启动问题。向具有非常稀疏交互的冷启动用户推荐项目，也称为用户冷启动推荐[2，9，25]，是主要挑战之一。为了解决用户冷启动建议，早期的方法[3，28]专注于使用边信息，即。e. 用户简档和项目内容，以推断冷启动用户的偏好。此外，还提出了许多将边信息集成到协同过滤（CF）中的混合模型[24，47]。例如，协作主题回归[46]将概率主题建模[4]与MF相结合，以增强矩阵外预测的模型能力。然而，由于个人隐私问题，这些信息内容并不总是可访问的[50]，手动将它们转换为用户和项目的有用功能是一项不平凡的工作[8]。受少数学习[41]和Meta学习[11]的巨大进步的启发，出现了一些从元学习的角度解决冷启动问题的有前途的工作[2，10，25，42]，其中为一个用户提供建议被视为单个任务（详细信息见定义3.1）。 在训练阶段，他们试图获得跨不同任务的全局知识作为强泛化先验。当一个冷启动用户进入测试阶段时，可以预测1307任务调度任务调度任务调度用户登录支持集中的项目登录查询集中的项目登录用户搜索支持集中的项目&搜索查询集中的项目搜索&用户名支持集中的项目名（查询集中的项目名）借助于学习的软聚类分配，我们可以整体地捕获不同任务的相关性。然后，将定制模块与不同的调制策略相结合，以生成与任务相关的解码器参数，用于进行个性化推荐。我们工作的主要贡献概述如下：提出了一种基于神经过程范式的用户冷启动推荐算法. 我们的模型可以快速学习新任务的预测分布，并且可以在测试阶段从相应的支持集动态生成冷启动用户的建议。图1：不同任务的相关性说明。用户a、b和c的购买意图通过相应的用户-物品交互来表现。这表明任务a、c是密切相关的，但任务b与它们有很大的不同。 每个任务都拥有用户特定的支持集和查询集，这将在定义3.1中解释。只有少数交互项目可用，但是通过使用已经学习的全局知识来这样做。大 多 数 元 学 习 算 法 都 是 建 立 在 著 名 的模 型不 可知 元学 习（MAML）框架上[11]，旨在学习参数初始化，其中几步梯度更新将导致新任务的良好性能。这里的一个典型假设是不同用户的推荐是高度相关的。然而，这一假设在实际情况中并不一定成立。 当用户表现出不同的购买意图时，他们之间的任务相关性实际上是非常弱的，这使得找到对所有用户最优的共享参数初始化成为问题。图1显示了一个具体的例子：任务a和c共享推荐的可转移知识，因为用户a和用户c表达了类似的购买意图，而任务b与他们有很大的不同。因此，学习不同任务的相关性是使全局知识更有效地适应冷启动用户的建议在本文中，我们试图建立用户冷启动推荐和神经过程（NP）[14]之间的联系，以解决上述问题。NP是对随机过程的一种基于神经的近似。 它也与Meta学习有关[13]，因为它可以直接建模预测分布，给定从任意数量的上下文观察中学习的条件先验。具体而言，我们提出了一种新的元学习框架，称为任务自适应神经过程（TaNP）。我们的模型将每个任务近似为一个随机过程的特定实例，是一个有效的“少拍函数估计器”来表征冷启动用户的行为。TaNP执行摊销变分推理[22]以直接优化模型参数，这可以缓解上述基于MAML的建模器中的一些固有训练问题，例如模型敏感性[1]和容易陷入局部最优[9]。最重要的是，TaNP包括一个新的任务自适应机制，由一个定制的模块和自适应解码器组成。在定制模块中，每个任务中的用户交互是任务自适应机制的引入不仅捕获了不同任务的相关性，而且将学习到的相关性纳入解码器参数的调制中，这对于更好地平衡模型容量和自适应可靠性之间的权衡至关重要。在基准数据集上进行的大量实验表明，我们的模型始终优于几种最先进的元学习算法1。2相关工作2.1Meta学习Meta学习涵盖了广泛的主题，并促成了蓬勃发展的研究趋势。少样本学习是Meta学习的一个成功分支。 回顾了与我们的工作密切相关的一些有代表性的Meta学习模型. 它们可以分为以下几种常见类型。1）基于记忆的方法[19，40]：将深度神经网络（DNN）与记忆机制相结合，以增强存储和查询元知识的能力。2）基于优化的方法[26，38]：元学习者，例如训练递归神经网络（RNN）以优化目标模型。3）基于度量的方法[41，43]：学习新示例与训练集中其他示例之间的有效相似性度量4）基于梯度的方法[11，34]：学习一个共享的初始化，其中模型参数可以通过新任务的一些梯度更新来训练。大多数Meta学习模型遵循情景式学习方式.其中，MAML 是最流行的框架之一，属于第四类。 一些基于MAML的工作[45，51]认为任务序列可能源于不同的任务分布，并尝试各种特定于任务的适应性来提高模型能力。2.2用户冷启动建议近年来，由于学习低维嵌入的有效性，基于CF的方法已经彻底改变了推荐系统，如矩阵分解[16，18]和深度学习[17，31]。然而，它们中的大多数并没有明确地针对解决用户冷启动推荐而定制新注册用户只有很少的互动[36]。 以前的方法[3，12]主要尝试将边信息纳入CF以缓解此问题。受到Meta学习的重大改进的启发，开创性的工作[42]提供了一种元学习策略来解决编码为确定性任务嵌入，与全局池一起导出集群友好的分布。通过1源代码可从www.example.com获得https://github.com/IIEdm/TaNP。………···1308∈j=1j=1j=1j=1∈不T{|∈}T{|∈}冷启动问题 它使用任务依赖的方式来生成针对不同任务的决策层的不同偏差，但它易于欠拟合并且不够灵活以处理各种推荐场景[2]。MeLU [25]采用了MAML的框架具体而言，它将模型参数分为两组，即，个性化参数和嵌入参数。 个性化参数被表征为全连接DNN以估计用户偏好。嵌入参数被称为从边信息学习的用户和项目的嵌入一个内部-外部循环用于更新这两组参数。 在内部循环中，个性化参数通过当前任务的预测支持集损失进行局部更新。在外循环中，这些参数根据多个任务中查询集的预测损失进行全局更新。 通过局部-全局更新的方式，MeLU可以为不同的任务提供共享的初始化。后来的工作MetaCS [2]与MeLU非常相似，主要区别在于局部-全局更新涉及从输入嵌入到模型预测的所有参数。为了很好地概括不同的任务，两个最新的作品MetaHIN [30]和MAMO [9]提出了不同的任务特定的适应策略。特别地，MetaHIN将异构信息网络（HIN）并入MAML中以捕获元路径的丰富语义。MAMO引入了两个基于用户配置文件的记忆矩阵：一个是为共享参数初始化提供特定偏置项的特征特定记忆;一个是指导模型进行预测的任务特定记忆。然而，这两种基于梯度的Meta学习模型在MAML中仍然存在潜在的训练问题，并且它们的模型级创新与边信息密切相关，这限制了它们的应用场景。2.3神经过程表1：符号符号描述U和V Utr和UteTtr和Tteτi，Si和Qixi，j=（ui，vj）yi，jNiNSi 而NQici，nEnhθmACD德哥伊γl、βl、ηl和δlii i i用户集和项集训练用户集和测试用户集训练任务集和测试任务集任务i、支持集i和查询集iui和vj之间的交互xi，j的实际评级τi中的相互作用数Si和Qi中的交互数ui的独热内容向量所有任务的嵌入层共享编码器任务标识网络全局池软簇分配矩阵聚类目标分布自适应译码器特征调制参数对于第l层定义3.1. 给定用户集合U、项目集合V和特定用户ui U，为ui进行个性化推荐被定义为任务τi。 τi包括ui的可用交互，即，{xi，j，yi，j}Ni. xi，j表示元组（ui，vj），其中vj ∈ V表示项目，yi，j是ui对项目vj的实际评级。 Ni表示τ i中相互作用的数量。 为了符号简单，我们还表示τi={xi，j，yi，j}Ni。τi包含少量交互作为支持集Si，剩余交互作为查询集Qi，即，NP是一个基于神经的随机过程的公式，{xi，j，yi，j}Ni=Si Qi. 这里，我们表示Si ={xi，j，yi，j}NSi，并且函数的分布[13，14]。它是一类神经潜在Qi ={xi，j，yi，j}NSi+NQi。NS表示交互变量模型，结合了高斯过程的优势，j=NSi+1i（GP）和DNN来实现灵活的函数近似。NP主要集中在低维函数回归和不确定性估计领域[29]。与此同时，关于提高vanilla NP模型表达能力的研究也越来越多. 例如，ANP [20]引入了自注意NP来减轻NP的欠拟合; CONVCNP [15]对数据中的翻译等方差进行建模，并将任务表示扩展到函数空间。 NP也适用于元学习问题[39]，因为它提供了一种有效的方法来建模预测分布，该预测分布以从上下文观察中学习的置换不变表示为条件。我们的模型是第一个研究，利用NP的原则来解决用户冷启动推荐，涉及学习离散的用户项关系数据，这是很大程度上不同于以往的作品。此外，TaNP包括一个新的任务自适应机制，以更好地平衡模型容量和自适应可靠性之间的权衡3预赛我们从元学习的角度阐述了用户冷启动推荐问题。 遵循传统的情景学习方式，我们首先给出了任务（情景）的正式定义。Si，其通常被设置为具有小值，并且NQi是Qi中的交互的数量，其中NSi+NQi=Ni。注意，元学习推荐器首先在每个支持集上学习（学习过程），然后根据多个查询集上的预测损失进行更新（学习到学习过程）。 通过在多次迭代中第二个过程的指导，该元学习模型可以获得跨不同任务的全局知识，并且可以很好地将这些知识适应于只有Si可用的新任务τi。为此，我们将U分成两个不相交的集合：训练用户集合Utr和测试（冷启动）用户集合Ute。所有训练任务的集合表示为tr=τiuiUtr，所有测试任务的集合表示为te=τiuiUte。在训练阶段，我们可以按照学习到学习的方式为每个训练任务训练在测试阶段，当一个冷启动用户ui′U te到来时，我们的目标是根据Si′中的少量交互和从tr中学习到的全局知识，找到ui′会对哪些项目感兴趣。表1总结了本文中使用的符号此外，根据yi，j的具体值，个性化推荐可以被视为指示ui是否与vj接合的二元分类，或者可以被视为回归问题，Vj具有需要由Ui评估的不同评级。1309（一）|）（|)（|)}i不（一）|）（）下一页（|)[·|·]....q（z|τ）i我log gp（yi，j|xi，j，zi）+logq（zi|τi）4任务适应神经过程在本节中，我们首先从NP的角度描述如何处理用户冷推荐然后，我们分析了它的潜在问题，并提出了一个有效的解决方案，即，任务适应性或者定义为：logp（yi，1：NQi|xi，1：NQi，Si）. N.QIj=1q（zi|Si）。（四）通过下界估计的变分先验和后验定制模块用于识别任务身份并学习不同任务之间的相关性再结合不同的调制策略，生成自适应解码器的模型参数此外，我们的模型包括不同的嵌入策略和预测损失，可以适用于不同的推荐场景。4.1概述我们使用变分先验qziSi来近似等式中的pziSi。(4)，因为pzi Si也是难处理的。 这种近似可以被认为是KL散度的正则化项，以近似随机过程的相容性条件[35]。此外，为了模拟随机函数上的分布，我们将相互作用序列的可变性添加到τi中，如[14]所建议的。然后，zi的每个样本被视为相应随机过程的实现从上述公式，我们的模型可以扩展到学习在我们的模型中，我们假设每个任务τi={x i、j，yi，jNj=1 相关联元学习中具有不同随机过程的多任务框架工作。 那么，q（z）的编码器|τ）/q（z|S）和D ec o der利用随机过程f1的实例化，从该随机过程f1中得出用户u1的所观察到的交互。相应的联合分布ρ可以给出为：∫p yz，x是由所有训练任务tr共享的全局参数，并且忽略了不同任务的相关性因此，上述框架对于针对不同任务调整模型容量是不灵活的。换句话说，它可能导致不适合ρxi，1：Ni（yi，1：Ni）=p（fi）p（yi，1：Ni |fi，xi，1：Ni）d fi（1）一些相对复杂的任务，并遭受过度拟合一些简单的任务。为了更好地平衡模型容量和自适应可靠性之间的权衡，我们引入了一种新的任务自适应这里我们用xi，1：Ni和yi，1：Ni表示{xi，j}Ni且{yi，j}Ni机制我们的模型的整体训练框架显示与τj=1j=1在图2中I. 受NP启发，我们可以通过固定维向量zi和由DNN参数化的可学习非线性函数来近似上述随机过程i.i.d.的完整生成过程条件可以如下给出4.2嵌入层我们首先使用嵌入层来生成初始用户和项目嵌入作为TaNP的输入我们的模型与p（yi，1：Ni|xi，1：Ni）=Np（zi）Nij=1p（yi，j|xi，j，zi）dzi.（二更）用户和项目的边信息，因此我们提供了两种嵌入策略。以用户ui为例，当ui的分类这样，从pzi采样zi可以被看作是一个具体的功能实现以获得初始用户嵌入。给定n个用户内容，嵌入过程被定义为：由于真正的后验是难以处理的，我们使用摊销变分推理[33]来学习它。的变分后验ui=. E1ci，1 |.. .|Enci,n. 、（五）潜变量zi定义为qziτi，我们有以下证据下限（ELBO）目标，并逐步推导：其中是连接操作，ci，n是ui的第n个分类内容的独热向量，En表示相应的共享嵌入矩阵。当这样的用户内容被logp（yi，1：Ni|xi，1：Ni）=原木p（zi，yi，1：Ni|xi，1：Ni）dzi不可用，用户嵌入可以通过以下方式获得：ui=σ（W2σ（W1ei+b1）+b2），（6）=log p（zi，yi，1：N|xi，1：N）q（zi|τi）dzi其中，{W，W}表示权重矩阵，{b，b}表示偏差我我 q（zi|τi）1 2载体，12 是独一无二的≥Eq（zi|τi）=Eq（zi|τi）logp（zi，yi，1：Ni|xi，1：Ni）q（zi|τi）logp（zi）p（yi，1：Ni|xi，1：Ni，zi）q（zi|τi）（三）σ是sigmoid激活函数，e是向量ui请注意，初始项嵌入是通过遵循类似的嵌入过程获得的。4.3编码器...机制该模型包括编码器、定制模块和自适应解码器三部分。编码器用于获得≥Eq（zi|τi）.1310i、j我 Ji、j=Eq（zi|τi）Nij=1log gp（yi，j|xi，j，zi）+logp（zi）。.给定Si和τi，我们的编码器试图生成变分逼近q（zi|Si）和q（zi|τi）res pectivel y. 因此，对于Si或τi中的相互作用（xi，j，yi，j），编码器hθ将产生每个τ 是由S和Q组成的，我们应该在-通过以下操作生成对应的嵌入ri，j我我我给定.因此，Eq。(3) 是r=hl（hl−1（···h1（[u |v|（7）对Qi进行预测的意图SI13111我&1我任务分配Ada pt i ve de e der45吉吉布 吉吉湾吉吉湾萨卡什维利湾吉吉联系我们i，*i，*…阿维尼翁，*i5Alberti，5…（i ）|（一）i，5…编码器100查询集查询���萨卡什维利，5…预测吉吉任务识别网络i《古兰经》 1章1节吉吉（1998年，Alzhei，1⨁（吉吉可交换操作（支持集逐行调制定制模块我19我&19（Alzhei，1Alberti，5i，*吉吉湾[] ∈Ni我我化，即，Ri =1个（）下一页Nij=1 ri，j表示效率。这种排列-α+12在Eq. (8)也是一个重要的步骤，C=（1+）||/α）||/α)−2、（十一）…全球池图2：TaNP在训练阶段的框架TaNP包括编码器hθ、定制模块（任务标识网络mθ和全局池A）和自适应解码器Dωi。Si和τi都用hθ编码，分别生成变分先验和变分后验。使用从定制模块学习的最终任务嵌入oi来调制模型参数。 zisampl edfrom om q（zi|τi）与xi，j级联以经由д ω i预测y∈i，j。其中，h（x）=ReLU（W x+b）是具有m保持与Eq相同的网络结构。（七）、 {ti，j}NSi是ag-对应的W和b，l是堆叠的层数。聚合成j=1ti通过等式中的相同操作。（八）、总体汇总给定一组观察到的相互作用，编码器然后将聚集这些编码的向量以生成置换不变的表示ri。 例如，对于q（z i），|τi），wehave veri=ri，1ri，2. ri，Ni−1<$ri，Ni，（8）其中ri是一个comm.我们使用的是平均操作，A=a1，...，akRd×k是保持软质心的可微外部资源。每个ti将与A交互以导出软簇分配（k是表示软簇质心的数量我们使用学生t分布作为内核来测量t i和a j之间的归一化相似性，如下所示随机过程的交换条件[35]。关于赔偿-采用化技巧[22]来表示随机变量，即，i、j.j′（1+||2/ α）||2/α)2zi<$N（μi，diag（σ2））. 它可以正式定义为：其中α是学生t分布的自由度最终任务嵌入oi由以下操作生成ri=ReLU（Wsri），µi=Wµri，logσi=Wσri，（九）oi=σ（Wo（ti+AcT）），（十二）zi=μi+εσi，εN（0，I），其中，λ表示逐元素乘积，λ是高斯噪声，{Ws，Wμ，Wσ}是权重矩阵。4.4定制模块定制模块试图了解不同任务的相关性。它包含任务标识网络m和全局池A。m用于从对应的支持集Si产生临时任务嵌入ti。形式上，它编码了每一次互动其中，Wo是权重矩阵。事实上，每个任务中的交互顺序代表了特定用户的购买意图，不同的用户可能有相似或不同的意图。 A包括与用户意图相关的多个高级特征，这类似于在分离的推荐模型中使用的意图原型嵌入[31，32]。 每个任务都有访问A的权限，关联度用ci来反映。因此，可以全局地学习不同任务的相关性，其通过等式进一步并入到最终任务嵌入中。（12）.所有训练任务的标准化分配构成了一个xi，j，yi，j在Si中作为低维表示ti，j，它可以被描述为：分配矩阵C =[c1，...，C |Ttr|] ∈ R|×k|×k.按照建议ti，j =ml（ml−1 （···m1（[ui|VJ|yi，j]））。（十）在[49]中，我们使用无监督聚类损失Lu，并以辅助聚类目标分布D为指导。u定义为KL损失（i ）|−1312（|)LLi、j.i、jDi，jlogC边信息（可选）;训练任务集tr;超参数：d，l，k，α，λ。j′（Ci，j′）/图4：从τ i 构造Si和Qi。（yi，j−yi，j），γ我我βγβωωL=|TTR|我γ我β一个正则化项来近似一致性条件我我我我我作为C和D之间的KL发散损失：. .我JDi，ji、j算法1TaNP的训练过程输入：培训用户集Utr;项目集V;用户和项目不其中聚类目标分布D可以定义如下，（Ci，j）2/.iCi，jiCi，j′输出：嵌入层中的参数; hθ; mθ; A;<$ωi。1：初始化所有模型参数。2：虽然不收敛做Di，j =.二、 .（十四）3：对于τi∈ Ttrdo我们的聚类提高了聚类纯度，并更加强调以高置信度分配的任务。4.5自适应译码器原始解码器在Eq. (4)用于学习条件句5：通过等式中的h θ生成qziτi（九）、6：经由等式（1）中的m和A生成任务嵌入。（10）-（12）.7：经由自适应解码器对Qi的预测，(15) 或等式（16）.8：生成q（zi|Si）通过等式中的hθ（九）、可能性ωp（y |x，z），它是所有任务共享的全局预测器。9：在等式（1）中计算预测损失Lr，i (17) 或等式（十八）、10：在等式11中计算正则化损失Lc，i。（19）.在本节中，TaNP以参数高效的方式引入自适应解码器<$ωi。我们描述了两种候选调制策略，通过使用最终任务嵌入oi来生成自适应解码器的模型参数。第一种变体是逐行线性调制（Film）[37]。基于这种基本调制，我们提出了第二种调制策略，即，门控胶片4.5.1电影 Film轮胎通过对其中间特征应用特征仿射变换来自适应地影响DNN的预测。它已被证明是非常有效的，在许多领域[5，6]。在这里，我们采用电影缩放和移动我们的解码器通过两个生成的参数的每一层的功能11：结束12：计算公式中的聚类损失u。(13)在Eq中的总损失。（19）.13：通过Adam优化器更新模型参数。14：结束时4.6损失函数在我们的模型中，Eq. (4)被重新表述为基于回归的损失函数：Lr，i=−Eq（zi|τi）logp（yi，1：NQ|xi，1：NQ ，zi）第l层的自适应可以定义为：γl=tanh（Wloi），βl= tanh（Wloi），（十五）我我1附图标记Qi2NQij=1（十七）<$l+1=ReLU（γl）（Wl<$l+bl）+βl），其中，是最终的输出.对于隐式馈送-i、jiωi，jωiyi，j<$ωi（xi，j，zi，oi）其中{W1，W1，W1}表示逐层权重矩阵，返回数据Lr，i被定义为二进制交叉熵损失：注意到一个偏置向量，并且<$l是我们解码器的第l层的输入。Lr，i=−Eq（zi|τi）logp（yi，1：NQi|xi，1：NQi，zi）这里应用非线性函数tanh来限制输出[1， 1]中的调制。在第一层中，<$ωi的输入为1NQiN −Qyi，jlog（yi，j）+（1−yi，j）log（1−yi，j）.（十八）xi，j和zi，i的级联矢量。例如，д1=[ui|VJ|zi]。我 j=14.5.2门控-胶片。 虽然Film可以有效地实现特征调制，但一个潜在的缺点是这种操作不能TaNP的训练损失定义为：1|.TTR|i=1γl=tanh（Wloi），βl=tanh（Wloi），ηl=tanh（Wloi），δl=σ（Wloi），其中Lc，i=KL（q（ii|τi）||Si）），也可以将r e d视为|Si))thatcanbealsoconside redas并且λ是在0和1之间选择的超参数iηiδ我们的模型是一个端到端的框架，可以通过以下方式进行优化：γl=γl<$δl+ηl<$（1−δl），（十六）亚当[21]经验。训练过程的伪代码是βl=βl<$δl+ηl<$（1−δl），在算法1中给出。我我应该注意的是，我们模型的测试过程是Lu = KL（D||C）=.（十三）∝过滤掉一些对学习有相反影响的信息为了缓解这个问题，我们引入了一个门控版本的电影：（Lr，i+ Lc，i）+λLu，（11313i、j我ωi、jω我<$l+1=ReLU（γl<$（Wl<$l+bl）+βl），其中{W1，W1}是两个权重矩阵，δ1是门控Q i中的真值yi，j不可用，因此zi从q（z i）中采样|Si）viaηδi我们的编码器hθ出于同样的原因，我们的最后一个任务嵌入oi是项来控制γl和βl的影响。薄膜和门控薄膜总是从Si而不是τi中的可用相互作用获得。可以交替地用于我们的自适应I解码器中，实验结果表明，然后，使用oi对模型参数进行调制，验证其有效性。zi与xi，j连接以针对Q i预测yi，j。不同于算法1。具体来说，在测试阶段，地面1314（）下一页（）下一页表2：数据集统计数据集用户项目评级类型内容MovieLens-1M6,0403,7061,000,209显式是的Last.FM1,8723,84642,346隐式没有Gowalla269227,237134,476隐式没有4.7时间复杂度在TaNP中，hθ，mθ和<$ωi被参数化为全连通的职业和邮政编码项目内容有出版年份、出版率、类型、导演和演员。为了验证我们的模型在不同的实验环境中的适用性，我们将Last.FM和Gowalla转换为隐式反馈数据集。按照[ 48 ]中的数据预处理，我们为这两个数据集中的查询集生成负样本。对于每个数据集，训练集、验证集和测试集的划分比例为7：1：2。正如以前的作品[9，25，30]所建议的那样，我们只保留其项目消费历史长度在四十和两百。为了在只有少量样本的情况下很好地进行推广，我们将DNN。因此，我们的模型保持了有效的训练和推理架构每个组件的时间复杂度可以近似为O ld3。 这里我们用d来表示每层的隐藏大小。实际上，d在不同层之间是变化的最终任务嵌入oi的计算将花费O kd2。 由于FilLM/Gating-FilLM在<$ωi中每层仅需要两个/四个权重矩阵，因此它们都是计算高效的自适应。此外，我们的模型也可以优化，在一个批处理方式的并行计算。5实验在本节中，我们试图回答以下主要研究问题（RQ）：RQ1：与其他冷启动模型相比，我们的方法是否达到了最高性能，包括1）经典冷启动模型和基于CF的DNN模型，2）流行的元学习模型，3）删除我们的方法，其中删除了所提出的任务自适应机制，以及4）不同的调制策略，即，薄膜和门控-薄膜用于дωi（第5.3节）？RQ2：当我们改变支持的交互数量为每个任务设置，即， NSi，减少了测试阶段中的可用信息。 我们的模型是否仍然能够为冷启动用户实现快速适应（第5.4节）？RQ3：我们的定制模块能学到什么？不同任务的相关性是否被很好地捕捉（第5.5节）？RQ4：当我们为它调整不同的超参数时，所提出的方法的泛化能力如何（第5.6节）？为了回答这些问题，我们在公共基准数据集上对我们的模型5.1数据集我们在三个真实世界的推荐数据集上评估TaNP：MovieLens-1 M2，Last。FM 3和Gowalla 4。MovieLens-1 M是一个广泛使用的电影数据集，具有明确的评级（从1到5）。 Last.FM是一个音乐数据集，包含来自Last.fm在线音乐系统中用户的音乐家收听信息，我们直接使用[48]提供的数据集。 Gowalla是一个基于位置的社交网络，包含用户-场地签到，我们从中提取了一部分交互。这些数据集的详细信息汇总在表2中。5.1.1数据预处理。 对于MovieLens-1 M，我们使用用户和项目的内容，即，数据来源于[25]。它包括用户的以下类别内容：性别，年龄，2https://grouplens.org/datasets/movielens/1m/3https://grouplens.org/datasets/hetrec- 2011/4http://snap.stanford.edu/data/loc-gowalla.html支持集中的交互数量，例如， NSi作为小值（NSi =20/15/10），并且剩余的交互被设置为查询集。5.2实验环境5.2.1评价 为了评估推荐性能，采用了三个常用的度量：精确度（P）@N、归一化贴现累积增益（NDCG）@N和平均平均精确度（MAP）@N（N = 5，7，10）。对于每个指标，我们报告测试集中所有用户的平均结果根据之前的元学习算法[2，9，25，30]，我们只预测每个用户查询集中每个项目的得分5.2.2比较模型。 我们将我们的方法与以下模型进行比较：PPR[36]是一种众所周知的基于CF的方法，用于解决冷启动问题。PPR首先通过对用户-项目对的特征进行外积来构造用户-项目对的特征，然后提出了一种新的回归框架来估计成对用户偏好。NeuMF [17]也是一种基于CF的模型，它利用DNN来捕获用户和项目之间的非线性特征交互NeuMF是一个经典的推荐模型，但它不是专门为冷启动问题设计的我们在这里采用它来测试它的有效性。DropoutNet [44]是一个基于内容的模型，用于解决冷启动问题。它在训练过程中将退出机制应用于输入，以满足缺少用户交互的条件。MetaLWA[42]和MetaNLBA [42]是第一个用于冷启动问题的元学习算法。与我们的工作不同，他们专注于项目冷启动推荐。它们生成两个类级别的原型表示来学习项目相似性。MetaLWA学习一个线性分类器，其权重由用户的交互历史确定，MetaNLBA学习一个DNN，每个层都有任务相关的偏差。MeLU[25]通过应用MAML的框架来处理冷启动问题。 基于学习的参数初始化，MeLU可以通过几个梯度更新步骤为冷启动用户提供建议。MetaCS [2]类似于MeLU，它也利用MAML来估计用户偏好。它包括三个模型变量，我们选择了最好的一个，根据他们的报告结果。MetaHIN[30]将MAML与HIN结合在一起，从模型和数据层面缓解冷启动问题。HIN的丰富语义提供了更细粒度的先验知识，有利于新任务的快速适应。···········1315表3：MovieLens-1 M上用户冷启动建议的性能（%）比较模型P@5NDCG@5MAP@5P@7NDCG@7MAP@7P@10NDCG@10MAP@10PPR49.3666.6237.8651.2567.2738.1254.3068.2741.20NeuMF48.2765.4336.6551.2466.5537.9055.3268.1941.43DropoutNet51.7769.3441.8253.6770.8343.8157.3472.0246.59MeLU55.9973.0846.7957.3473.1848.4561.0574.0449.02MetaCS55.4371.6944.8556.8972.0544.9459.7872.8647.52MetaHIN57.6573.4347.4058.6773.9548.7561.1874.5049.99Mamo57.6973.2447.7258.4274.0349.6261.5174.4150.06TaNP（不含tm）58.0373.7647.7958.9073.8948.3761.2974.4449.73TaNP（薄膜）59.7674.9749.08六十4575.2249.7662岁7875.4851.12TaNP（Gating-Film）六十12七十五。00四十九1260.29七十五。3450块7962.66七十五。5351. 56表4：Last.FM上用户冷启动建议的性能（%）比较模型P@5NDCG@5MAP@5P@7NDCG@7MAP@7P@10NDCG@10MAP@10PPR68.6167.2361.7272.9669.1067.2981.3672.7575.66NeuMF67.3965.2359.7270.8267.6267.8081.0671.5776.01DropoutNet70.0868.3762.6873.3469.7268.6682.2873.2679.84MetaLWA69.4569.0462.3173.3870.9269.2986.0674.7882.58MetaNLBA71.5272.4764.7175.9773.1571.0686.5278.4083.51MeLU73.0375.3867.7176.1975.5472.0986.9280.6284.49MetaCS73.3375.3468.7675.7676.1072.0986.9880.0684.95Mamo73.6475.4867.2277.2775.8372.8587.0780.4484.48TaNP（不含tm）75.4575.2169.0677.0676.1972.5487.4280.5084.59TaNP（薄膜）76.0676.31七十。7377.9277.2174岁8788.3381.1985.04TaNP（Gating-Film）76岁36七十七。1870.1279.00七十七。3073.9288岁6482. 1085. 94表5：Gowalla上用户冷启动建议的性能（%）比较模型P@5NDCG@5MAP@5P@7NDCG@7MAP@7P@10NDCG@10MAP@10PPR60.4862.9253.0961.8964.4356.4662.0066.4459.31NeuMF55.9857.9951.0259.3060.3653.3460.8064.4756.17DropoutNet62.0665.7955.4663.4466.3056.9264.7367.8560.10MetaLWA64.6765.5355.9965.1266.5356.7469.0966.6160.35MetaNLBA67.6067.9359.5668.3868.4561.0770.6669.4563.00MeLU67.8569.4060.9770.1469.4363.6670.4072.1363.95MetaCS66.1467.3958.6967.5267.8260.7469.2969.6361.87Mamo67.9769.5261.0771.0370.5463.7371.4373.1364.99TaNP（不含tm）68.2569.7661.2970.8370.0364.1571.0872.7264.39TaNP（薄膜）70.9471.1464岁3572.0872. 1865.9572.6574.1266.39TaNP（Gating-Film）71岁。4371岁。6064.2972. 5871.9966岁16七十三。1174岁5766岁79MAMO [9]是MAML的一个内存增强框架MAMO假设当前基于MAML的模型在处理与训练集中的大多数用户相比显示不同梯度下降方向的用户时，经常遭受梯度退化，最终以局部最优值结束。 为此，设计了任务特定和特征特定的记忆矩阵来解决这一问题。5.2.3实施细节。
我的内容管理
展开
