用户冷启动推荐的预训练网络调制和任务自适应方法

348PNMTA：一种用于用户冷启动推荐的预训练网络调制和任务自适应方法庞浩宇吉林大学计算机科学与技术学院中国长春panghy20@mails.jlu.edu.cnFaustoGiunchigliaDISI，特伦托大学意大利特伦托giunchiglia@unitn.it李希明，关仁初，冯小月吉林大学计算机科学与技术学院，中国{ximingli,guanrenchu,fengxy}@jlu.edu.cn摘要用户冷启动推荐是限制推荐系统性能的一个严重问题。 最近的研究集中在将这个问题视为少数问题，并使用模型不可知元学习（MAML）寻求解决方案。这种方法将为一个用户进行推荐视为一项任务，并通过对Meta模型进行几步梯度更新来适应新用户。然而，这些方法都没有考虑到基于MAML的RS的特殊任务设置所施加的用户表征学习的限制同时，他们学习一个共同的元模型为所有用户，而忽略了隐式分组分布引起的用户之间的相关性差异 针对上述问题，提出了一种用于用户冷启动推荐的预训练网络调制和任务自适应方法（PNMTA）。在预训练阶段，使用非元学习方法获得预训练的模型，以实现更好的用户表示和泛化，这也可以将学习到的知识传递到元学习阶段进行调制。在元学习阶段，利用编码器调制器实现元学习任务先验参数的记忆和校正，引入预测器调制器以适应步骤的任务标识为模型初始化条件。此外，PNMTA还可以利用现有的非冷启动用户进行预培训。在两个基准数据集上的综合实验表明，我们的模型可以实现显着和一致的改进，对其他国家的最先进的方法。CCS概念• 信息系统→推荐系统;数据挖掘;·计算方法学→机器学习。关键词推荐系统，冷启动问题，Meta学习，迁移学习作者：CorrespondentAuthor.允许免费制作本作品的全部或部分的数字或硬拷贝，以供个人或课堂使用，前提是制作或分发副本的目的不是为了盈利或商业利益，并且副本的第一页上有本声明和完整的引用。版权的组成部分，这项工作所拥有的其他人比ACM必须尊重。允许使用学分进行摘要 以其他方式复制、重新发布、在服务器上发布或重新分发到列表，需要事先获得特定许可和/或付费。请求权限请发邮件至permissions@acm.org。WWW©2022计算机协会ACM ISBN 978-1-4503-9096-5/22/04。. . 十五块https://doi.org/10.1145/3485447.3511963ACM参考格式：Haoyu Pang ， Fausto Giunchiglia ， and Ximing Li ， RenchuGuan ，XiaoyueFeng.2022年PNMTA：一种用于用户冷启动推荐的预训练网络调制和任务在ACM Web Conference 2022（WWW '22）的会议记录中，2022年4月25日至29日，虚拟活动，法国里昂。ACM，纽约州纽约市，美国，12页。https://doi.org/10.1145/3485447.35119631介绍为了缓解数据爆炸式增长导致的信息过载问题，并为用户提供便利，推荐系统（RS）通过发现用户的个性化偏好来预测用户可能感兴趣的项目[8，9，18]。传统的推荐模型通常需要大量的用户交互数据进行训练，以获得更好的性能然而，新用户的交互往往不足且稀疏，这导致了用户冷启动问题[17，37]。自RS出现以来，用户冷启动一直是影响其有效性的最重要因素之一[3]。这个问题的传统解决方案包括将用户或项目的边信息添加到模型中[6，7，63]，引入额外的知识（例如跨域RS [20，41，64]），以及开发基于强化学习的方法（例如多臂强盗算法[13，56]）。 受少数学习的启发[57]，许多有前途的作品试图从元学习的角度解决这个问题[10，23，26，62]。 由于其在模型选择方面的出色性能和灵活性，模型不可知元学习（MAML）[14，59]是针对用户冷启动问题的最流行的基于元学习的框架之一。基于MAML的RS可以为所有用户学习一个通用的初始化，并通过梯度更新快速适应新用户。然而，大多数现有的基于MAML的RS将每个用户视为一个任务并逐个任务训练模型（详见第3.1.1节），这使得输入的用户特征向量缺乏随机性并面临过拟合的风险[2，10，23，24，60]。 图1展示了这个问题。具体来说，在其他机器学习领域[14，59]，基于元学习的方法不会影响数据流的随机性 以图像分类为例，在N-way K-shot的设置下，每个元学习任务包含N类图像，每类包含K幅图像，这些类和图像的选择是随机进行的.然而，在基于MAML的RS中，由于模型将用户uk视为任务τk，并且输入数据流的形式可以表示为WWW庞氏，Giunchiglia，Li，Guan和Feng349[（）]图1：基于MAML的方法在图像分类和RS中的应用蓝色箭头表示数据流入模型进行训练的顺序值得注意的是，在图像分类中，数据以随机标签顺序流入模型然而，在RS中，由于交互数据根据不同的用户被划分为不同的任务，因此在一个任务中只有一个用户的信息和交互uk; i1，uk; i2，uk; i3. 其中每个元组是交互表示向量。很明显，模型只接收任务τ k中用户u k的特征向量。从训练过程来看，推荐模型接收到的数据流是按照给定的用户进行分组的，这大大削弱了模型的表示能力和泛化能力。此外，现有的基于MAML的RS通常为所有用户生成公共元模型[10，23，26，55，60]。然而，与其他领域不同的是，根据社会心理学中集体主义的研究[4，45]，个性化的人类偏好呈现出明显的内隐分组分布（在4.7节中得到证明）。对于具有显著不同偏好分布的用户，生成接近所有偏好分布的公共初始元模型是不明智的。这些方法不仅使学习过程不平滑，增加了收敛的难度，而且还降低了由所得模型学习到的知识的质量，这使得难以使所获得的模型适应新的任务[53，58]。我们在图2中显示了这个问题的细节。为此，我们设计了一个预训练的网络模型，并针对上述两个问题提出了一种自适应方法PNMTA。对于第一个问题，受认知心理学中图式理论的启发[43]，我们提出了一种新的基于MAML的RS的迁移学习方法，该方法具有预训练和编码器调制。通过随机排序数据预训练和记忆参数调整，可显著提高模型的表达能力和泛化能力。对于第二个问题，受到两种主要元学习技术，基于模型和模型不可知元学习的启发，我们提出了一个任务自适应预测器和预测器调制器，可以发现和利用隐式任务分布。首先构建任务编码器并估计输入用户的身份，然后预测器调制器基于该身份生成调制参数，以调节初始化的预测器以进行更准确的自适应。此外，与以往只训练具有冷启动用户的模型的方法不同，PNMTA可以在预训练期间利用所有用户（包括非冷启动用户）的交互来丰富用户和项目的输出表示。总而言之，我们工作的主要贡献如下：图2：以前的基于MAML的方法（a）和我们的方法（b）。在前面的方法中，每个用户这些方法假设用户具有均匀分布，忽略了用户的隐式分组效应我们的方法包括两个步骤，网络调制（蓝色箭头）和任务适应（紫色箭头），以获得每个用户的模型。该网络可以根据给定任务的身份进行预调制，以激活隐式用户组，然后通过几个梯度下降步骤适应特定用户（这个数字是这种分布现象的直观玩具展示在实际情况中，每个用户我们提出了一种新的基于元学习的RS框架称为PNMTA的用户冷启动问题。我们的模型包括一个编码器，一个预测器，和两个调制器（编码器调制器和预测器调制器）。为了获得更好的表示学习性能，我们提出了一种基于预训练和调制的元迁移学习方法 针对RS系统普遍面临的用户群分布问题，设计了一种基于网络调制和任务自适应的两步元学习方法。在两个基准数据集上的大量实验结果表明，PNMTA优于几个最先进的基于Meta学习的分类器。2相关工作2.1元学习元学习是一种新兴的机器学习框架，它从几个相关的任务中获得一般经验，并将这些经验应用于提高其未来在新任务上的学习性能[19]。 这种“学习学习”的优化策略更好地与人类学习保持一致，并在许多领域取得了良好的效果，例如少数学习[42]，强化学习[1]，无监督学习[28]，神经架构搜索[12，25，35]和超参数优化[15]。现有的元学习模型可以分为三类。1）基于度量的元学习框架[22，40，48，51]。这些方法得到度量函数来度量不同任务之间的相似程度。虽然在许多领域已经产生了很好的结果，但将这些方法应用于复杂的任务并不容易。2)基于模型的元学习框架[16，29，30，34，38]。这些框架学习调整···PNMTA：一种用于用户冷启动推荐的预训练网络调制和任务自适应方法WWW350Nu∈ ∈（）[]NuPE，MM=u}的情况下，up=1i q= 1采用神经网络或外部存储器，根据表1：符号。输入训练数据以生成调制所述碱基的参数模型这些方法可以准确地获得任务的表示，以优化模型，但他们表现出有限的推广新的任务。3)模型不可知的元学习框架[14，32，36，46]。这些框架的目标是通过梯度更新获得特定于任务的初始化。由于这些方法在模型选择上的灵活性，它们在许多领域得到了应用然而，这样的模型从一个共同的初始化适应所有任务的事实限制了它们在任务分布不平衡的情况下的性能[53，58]。2.2用户冷启动建议用户冷启动推荐是RS[17]严重影响新用户体验，降低用户留存率。早期的方法专注于将边信息纳入协同过滤以缓解这个问题[52，54]。 随着研究的深入，各种方法被引入，如主动学习[65]，课程学习[61]，迁移学习[27]，基于访谈的方法[13]和基于社会的方法[39]。最近对元学习的研究提供了另一个解决用户冷启动问题的视角，将其视为几次问题[5，11，47，50，62，66]。 在开发的方法中，MAML是最流行的框架，并已显示出突出的成果。MeLU[23]是一个基于MAML的推荐模型，将为用户提供推荐作为一项任务，将模型参数分为两组进行优化，后续的基于MAML的方法大多基于此。 MetaCS [2]遵循类似于MeLU的方法，并且在局部更新过程中对所有参数执行梯度下降。MetaHIN[26]将异构信息网络（HIN）引入到基于MAML的RS中，以丰富用户和项目信息。最近的两项工作遵循与我们模型中的预测器调制相似的目标：MAMO [10]提高了外部记忆模块任务适应的准确性，PAML [60]利用任务自适应学习率同时提高了主要和次要用户的模型性能。3PNMTA框架3.1概述3.1.1问题定义。我们认为用户冷启动建议是一个少数问题，并解决它与元学习。因此，我们首先定义这个问题。假设在RS中有一个用户集U和一个项目集I用户u U和项目i I之间的交互x u，i被表示为元组u，i，并且yu，i是对应的评级。我们将为用户u做出推荐视为任务τu，其表示为xu，i1，xu，i2，xu，i3，.。xu，i，其中u是τu中的相互作用数。 根据实际RS，将任务τu划分为一个变长支持集τ sup =（任务）通过梯度更新。表1总结了本文中的符号。3.1.2模型结构。 PNMTA由四个部分组成：用于生成嵌入向量xu i和u的参数为θe的编码器（详见第3.2.1节），用于输出评级y 的参数为θp的预测器（详见第3.2.2节），以及两个调制器e和p，参数分别用于调节编码器和预测器网络（详见第3.3.1和3.3.2节）。这两种调制器的原理是不同的：编码器调制器通过更新自己的参数来间接调整预训练的编码器，预测器调制器接收来自任务编码器的输出ωu，用神经网络计算预测器的用户特定调制参数ω。我们将PNMTA的训练过程分为三个步骤：预训练（详见第3.4.1节）、元自适应（详见第3.4.2节）和元更新（详见第3.4.3节）。在预训练期间，PNMTA通过交互数据流以随机顺序获得θ e。在元自适应中，调制θe和θp，并且对用户u的元模型的先验参数θp执行几步梯度下降。在元更新过程中，更新θe、θp和θp，然后开始下一个任务的元自适应。 我们在图3中展示了PNMTA的框架。3.2推荐器3.2.1编码器：（xu，i，θe）→xu，i，xu，i →u。介绍了一种{xu，in }nNs1 和固定长度的查询集τqry={xu，inNs+Nqn=Ns+1编码器E转换交互xu，i（与Ei）或任务τu（与其中Ns和Nq是τsup和τqry中的相互作用数，Eτ）嵌入到嵌入向量xu，i或u中。首先，我们代表分别，N +N =N用户的人口统计信息和项目的内容为一体-s q u。最后，我们的目标是从现有用户（任务）中获取热向量（或整数）{cp}P和{cq}Q，其中符号U，ID训练， D测试Dx，DτR，R′xu，i=（u，i）Me、MpE、Pτsupτ qry你，我，你，乌乌（;）解释用户集和项目集交互数据和任务数据训练数据和测试数据元模型和特定任务模型编码器和预测器编码器的调制器和u与i之间的预测器交互i的预测评级和u的实际评级任务τu的支持集和查询集串联操作p（MLPh）θe，θeθp，θp′e，θpωxu，i，ρ，α，βd（n向量维数编码器和预训练编码器的第l层参数中的参数数量R和R′的预测参数Me和Mp参数P调制参数xu，i，τu的向量和预训练的隐藏层学习率的输出元适应和元更新过程WWW庞氏，Giunchiglia，Li，Guan和Feng351i=1eeˆPM（）→MP（）→（）→pu，i埃乌乌埃乌乌伊伊ei 我（u）图3：《国家海洋和海洋法公约》的总体框架模型优化过程分为三个步骤：预训练（步骤1），元自适应（步骤2）和元更新（步骤3）。预训练步骤将交互作为输入，另外两个步骤将任务作为输入。该模型结构由一个编码器，一个预测器，和两个调制器。P和Q是用户和项目特征的数量然后，这些向量被编码成特征向量，其相应的嵌入矩阵。最后，将所有特征向量连接起来构成交互向量。这样做的公式描述如下：图式理论是认知心理学的前身完形心理学提出的。 图式是人类认识世界的一种模式，或者是在环境和个人经验的影响下不断演变的先入为主的思想结构。图式的演变分为θx= Ei（cu，ci）=[θ 1 c1;. ;θ P cP; θ 1 c1;. ;θ QcQ]（1）同化（意味着吸收）和适应（意味着扭曲），此外，任务向量是从具有融合函数Eτ的每个任务中包含的交互向量获得的：在此基础上，我们从图式理论的角度出发，对预训练参数θeu=Eτ（{u，i}Nu）（2）类似于同化和适应的操作：函数Eτ可以是神经网络、基于注意力的层，θe=Me（θe）=w·θe+b（四）e e或平均池化层。在本文中，我们选择一个平均值，池化层作为默认融合算子。其中，∈RNf，nb∈Rdemb，且θe∈Rdemb<$Nf，其中eNf3.2.2预测者：（ xu，i ，θp）→ y。 给定相互作用矢量xu，i，表示每个特征向量的大小编码器参数矩阵θe的每个特征维度被认为是一个整体概念，我们通过以下公式得到实际评级y的相应预测y：预测值P：y=P（nxu，i）=MLPθp（nxu，i）（3）本文中的预测器表示一个参数为θp的多层感知器（MLP）。3.3调制器3.3.1编码器调制器：θe、θe θe′。从交互中学习的预训练参数θe包含用户和项目的广义表示。 我们需要开发一个编码器调制器e，以进一步将这些知识调制为元学习任务。与传统的预训练方法相比，PNMTA具有即模式。 调制是在每个维度上进行的，没有拆卸，重量和偏差分别模拟同化和调节。 这种方法被称为逐信道调制。此外，我们还提出了几种其他调制器，例如通道方式（w/o偏置）（-Cb）、元件方式（-E）、元件方式（w/o偏置）（-Eb）、尺度（-S）和尺度&移位（-SS）调制器，并且它们的详细描述包括在附录A中。3.3.2预测器调制器：ωu，ωpω，θp，ωθp′。对于预测器的初始化，我们引入预测器调制器p，以根据任务编码器E τ给出的用户u的嵌入向量Wu来预激活用户u的隐式分组分布。首先，每个块的任务特定调制参数ω由附加的任务感知模块Md生成，并且预训练和元训练中的不同优化目标阶段因此，Me需要消除不同之间的差距矢量ωp包含每个用户的任务分配功能进入优化目标，同时保留准确表示用户和项目的能力值得注意的是，在用于预测器网络中的第l层的调制矢量ω1的生成被表示为：元训练阶段不符合这个目标，但不修复它将导致记忆遗忘问题。ωl =M<$（l）（μ）=MLP中国（5）pϕ的作用）。PNMTA：一种用于用户冷启动推荐的预训练网络调制和任务自适应方法WWW352l=1M（）pLusupDRESuRP·PpO（·）uuE（u. 预测器调制器puXppθpuepepuxu，i∈τqryee然后，ω被分成两个分量ωw和ωb。预测器网络中每个隐藏层的输出激活阈值h为之后，任务编码器Et估计用户身份ac。根据它的相互作用τu=（τsup，τqry），并生成相应的由调制器模块Mh通过它们的对应ω1调制：响应用户向量通过乌乌=τ）ML hLl ll接收该矢量并生成相应的调制PA。h=Mp（参数{ωl}L对于预测器网络的每一层，通过ωl =上述调制过程被命名为特征线性调制（feature-wise linearmodulation，-Film），其可以被视为更一般形式的注意机制。我们在连接之间设置Film层<$u来激活用户接下来的任务调整步骤。 调制预测器为支持集中的交互提供评级预测yu，i层和活动层。如果包括批归一化层τs依赖于相互作用矢量<$x乘y<$u，i=P（<$x）的。胶片层设置在它们后面我们还调查了另一个mod-usupu，i称为softmax attention（-SA）的模拟器进行比较。更多详情见附录A。最后，我们在支持集τsup上计算调制模型的MSE损失u，并更新预测器参数θp，3.4优化适应用户u：sup1L=.（R（xu，i）− yu，i）2（10）supθ和θ通过传统的训练过程来最小化xu，i∈τue pD并获得预训练的初始化θ′=θ −α<$L（θ，θ，<$，<$）（11）编码器。首先，交互采样器x随机采样xu， i，X. 然后，由推荐器推断xu，i的预定评级y=u，i：y∈u，i=P（E（xu，i））（7）我们使用均方误差（MSE）作为损失函数，在这一点上，我们得到了具有预测参数θp′的任务特定模型′。在服务过程中，相同的元自适应过程被用于获得新用户的新的任务特定模型R′3.4.3元更新。 评估特定任务的绩效预培训：Lpt=.（yu，i−yu，i）2（8）模型R′并优化元模型R，我们计算了预R′在查询集τqry上的判断损失Lqry，并通过以下方法最小化它：Nxu，i乌乌更新R：其中N是训练集中的交互次数qry1L=.（R′（xu）−y第二章（十二）θ=θ−ρθLpt（θe，θp），（θ ∈（e，p））（9）克里θp=θp−β<$θpL（θe，θp，θe，θp）（13）此外，与元训练不同，元训练需要冷启动用户，ϕ∗=ϕ∗−β▽ϕLqry(θe,θp′,ϕe,ϕp),(∗ ∈ (e,p))(14)作为任务，预训练不受给定任务设置的限制∗u因此，我们可以使用不仅从冷启动用户而且从非冷启动用户获得的交互数据来进一步提高编码器的表示能力。在所有可用数据上预训练的模型被命名为PNMTA（Full-PT）。然而，为了公平起见，我们仍然使用PNMTA模型，该模型在与基于元学习的基线方法所使用的数据相同的数据上进行预训练，作为实验中的基本模型，以探索从模型结构而不是数据中获得的改进。 PNMTA（Full-PT）在比较实验中用作消融模型，我们将在第4.5节中对其进行更多讨论。预训练过程的伪代码在附录B中给出。3.4.2元适应。元自适应的目标是通过网络调制和任务自适应两步优化，从元模型中获得每个用户的任务特定模型。在预训练之后，编码器参数θe保持固定，预测器P及其调制器Mp的参数θp和θp被随机初始化，编码器参数θw和θb被随机初始化。Meta更新后，模型完成一轮元训练，然后开始下一个用户的元适应过程。 我们在附录B中以伪代码的形式描述了具体的过程。3.5时间复杂度由于Hessian矩阵的计算，基于MAML的方法通常具有高时间复杂度[44]。我们分析了PNMTA的时间复杂度，以评估其优化和推理的效率为了简单起见，我们假设预测器包含l层，每层中的神经元数量为n，并且编码器包含m个大小为a b的矩阵。 由于仅在元自适应期间更新（即，MAML中的局部更新），我们只需要估计它的二阶导数。 其它模块在元更新期间执行梯度更新（即，MAML中的全局更新），这不会给模型带来太多额外的负担。总的 来 说 ， 预 训 练 的 反 向 传 播 时 间 复 杂 度 可 以 近 似 为 O（l·n2+m·a·b），调制器Me分别初始化为1和0该初始模型被表示为元模型R。在元自适应过程中，我们引入了一个任务采样器Sτ来从D τ中随机采样一个任务。首先，编码器E通过θe = Me（θe）进行调制，并且任务τ u中的交互x u，i通过<$xu，i = Ei（x u，i）被编码为交互向量<$x u，i。3.4.1预培训。在预训练期间，我们优化参数Ns交互作用数据最后，通过梯度下降更新推荐器参数θe和θpNQu，iu，i1PNMTA：一种用于用户冷启动推荐的预训练网络调制和任务自适应方法WWW353在元训练期间反向传播的时间复杂度可以近似为Ln3。此外，得益于预训练带来的表示学习能力，PNMTA可以通过几个时期的元训练收敛，这也通过降低元训练的整体时间复杂度来减轻Hessian矩阵的影响。WWW庞氏，Giunchiglia，Li，Guan和Feng354表2：不同模型在MovieLens-1 M和Bookcrossing上的实验结果对于MAE和RMSE，值越小最好的结果用粗体标记，第二好的结果用下划线标记。模型图书漂流MaeRMSE NDCG@3NDCG@5MaeRMSENDCG@3NDCG@5MeLUMetaCS-DNNs2MetaEmbMetaHINMAMOTaNPPAML0.75610.76090.75940.79830.73440.74580.72600.71990.95470.96550.95890.99630.92780.93170.90880.92220.88290.88100.87750.86710.88960.88080.88350.89130.88940.88670.88350.86940.89320.89140.89910.89481.67891.66451.64421.71311.68551.65761.63961.62231.96261.95701.96882.12422.03281.96741.96311.95980.83460.82690.82830.81770.80910.83590.84270.83940.83910.82740.83880.82550.81110.83860.84350.8466MAML-PTPNMTA（不含PT）PNMTAPNMTA（全PT）0.72330.73640.69210.69630.91190.92390.87970.88250.88750.88660.89930.90070.90210.88890.90420.90161.64601.65441.60581.60051.98331.96691.87221.89470.83160.83740.85680.84110.83330.83890.85960.84324实验在本节中，我们进行实验来评估PNMTA的性能RQ 1：与其消融模型和最先进的方法相比，PNMTA的性能如何？RQ2：不同的调制器如何影响PNMTA的性能RQ3：即使只有很少的冷启动用户，完整的预训练是否也能使PNMTA 保持稳定 ？支持集 中 的 交 互 数 量 如 何 影 响PNMTA？RQ4：PNMTA如何受到其超参数的影响RQ5：除了推荐性能的改进，PNMTA是否真的学习到了更好的用户表示？这可以用肉眼看到吗？4.1数据集我们在两个公共基准数据集上评估PNMTA：MovieLens-1 M 1和Bookcrossing 2。MovieLens-1 M是一个广泛使用的数据集，包含用户对电影的评分，Bookcrossing包含从Book-Crossing社区获得的书籍的用户评分。我们把评分在13到100之间的用户视为冷启动用户。每个用户的最后10条评分记录作为查询集，其余的作为支持集。4.2设置4.2.1评价 我们利用以下指标来评估比较推荐模型：平均误差（ MAE ） ， 均 方 根 误 差 （ RMSE ） 和 归 一 化 折 扣 累 积 增 益（NDCG）@K（K = 3，5）。 对于每个指标，与以前的作品[10，23，24，26]一致，我们计算测试集中所有用户查询集的平均结果。有关这些指标的更多详细信息，请参见附录C.1。1https://grouplens.org/datasets/movielens/2http://www2.informatik.uni-freiburg.de/~cziegler/BX/4.2.2比较模型。我们将我们的方法与以下基于元学习的最先进方 法 进 行 比 较 ： MeLU [23] ， MetaCS-DNN [2] ， s2Meta[11]，MetaEmb [33]，MetaHIN [26]，MAMO [10]，TaNP[24]和PAML [60]。有关这些基线方法的更多详细信息，请参见附录C.2。4.2.3超参数和实现细节。PNMTA和基线模型的超参数和实施细节见附录C.3和C.4。4.3性能比较（RQ 1）我们比较了PNMTA的性能，其消融模型和基线模型。 MAML-PT表示没有调制器的预训练PNMTA模型，并且其编码器的预训练参数在元训练期间不固定，即，预训练的PNMTA（w/o PT）表示没有预训练的PNMTAPNMTA（Full-PT）表示使用冷启动和非冷启动用户预训练的PNMTA。实验结果见表1。2. 更多关于调制器的烧蚀实验在4.4节中介绍。实验结果表明：1）PNMTA算法在四个维度上都有显著的改进，优于其他现有方法。例如，PNMTA 在MovieLens-1M上实现了4.01-13.30%的改进，在Bookcrossing上实现了1.62-5.71%的改进。2）在所有比较的基线模型中，MeLU和MetaCS-DNN是传统的基于MAML的方法，它们通常会遇到我们之前提出的问题。 MetaEmb也是基于MAML的，但它的解决方案与其他模型的解决方案不同。MetaHIN的性能不佳（排名最后）可能是因为其元嵌入生成器不适合预测用户对项目的评分。MetaHIN将HIN集成到基于MAML的RS中，但这也带来了额外的构建成本。它在图书穿越方面的表现并不出色。其中一个可能的原因是该数据集是稀疏的，这导致信息较少PNMTA：一种用于用户冷启动推荐的预训练网络调制和任务自适应方法WWW355表3：在MovieLens-1 M和Bookcrossing上根据MAE度量对不同调制器进行烧蚀研究，其中PNMTA-C-FilLM是我们的基本PNMTA模型。最好的结果用粗体标记，第二好的结果用下划线标记。MovieLens-1M-E-Eb- -C键-Cb-S-SS不含EM- 修复-SA- 电影0.71780.71250.73440.72870.71260.69210.70820.69980.72680.72490.72330.70760.73910.72840.74170.7441无PM0.72740.72960.73150.71080.71600.71340.72330.7478图书漂流-E-Eb- -C键-Cb-S-SS不含EM- 修复-SA- 电影1.63551.63221.64811.62701.61581.60581.60651.61961.62211.63591.63051.63511.63661.64581.66651.6534无PM1.65691.64321.63771.63641.63991.65081.64601.6724图6：对嵌入大小的敏感性图5：冷启动用户的影响。包含在其Meta路径中。MAMO引入了额外的分类模块，以准确地适应不同的用户，这是类似的PNMTA的预测调制器的目标然而，MAMO需要更多的超参数来调整其特征特定和任务特定的记忆，而PNMTA可以在没有额外超参数的情况下学习调制预测器。s2 Meta和TaNP不是模型无关的方法，因此它们的模型结构受到更多的限制。 PAML为主要用户和次要用户实现了改进的推荐效果，但它没有考虑用户之间的高度细粒度的区别。3）MAML-PT和PNMTA（w/o PT）的性能比PNMTA差，说明调制器和预训练都是必要的。4）与PNMTA相比，PNMTA（Full-PT）并没有从额外的预训练数据中获得显著的改善。我们还绘制了Meta训练过程中模型的训练曲线。更多详情请参见附录D图7：对元自适应步骤数量的敏感性4.4调制器分析（RQ 2）具有不同调制器的PNMTA的MAE结果在表3中详述，其中-Fix和w/o PM分别表示没有编码器调制器或预测器调制器的模型，并且w/o EM表示在元训练和没有调制的情况下预训练的编码器参数不固定。从实验结果中，我们观察到PNMTA-C-FiLM（即，PNMTA）取得了最好的结果，PNMTA-Cb-FiLM 和PNMTA-Cb-SA 分别是MovieLens-1 M和Bookcrossing上的第二好模型。关于编码器调制器，PNMTA-E和PNMTA-Eb比PNMTA-C和PNMTA-Cb执行得更差，因为逐元件调制器导致太多的参数并且破坏模式的完整性PNMTA-S和PNMTA-SS没有实现显著改进的性能，因为逐特征调制不适用于编码矢量。PNMTA （w/o）的性能优于PNMTA-Fix，这表明由于预训练和图4：Ns的影响。WWW庞氏，Giunchiglia，Li，Guan和Feng356N元训练任务，仅固定预训练参数而不进行调制会损害模型的表示学习 能 力 。 在 预 测 器 调 制 器 方 面 ， 尽 管 PNMTA-SA 实 现 了对PNMTA （ w/o PM ） 的 改 进 ， 但 它 仍 然 不 如 PNMTA-FiLM。4.5数据影响（RQ3）我们改变s的最大值来研究支持集的大小对模型的影响。 我们选择MeLU、MAML-PT、PNMTA（w/o PT）和PNMTA进行实验，并在图4中报告了在两个数据集上实现的MAE性能。我们观察到，有了更大的支持集，所有模型都能获得更好的性能。 随着支持集中项目数量的减少，与MeLU 和PNMTA （w/o PT ）相比，PNMTA和MAML-PT表现出更稳定的结果。总体而言，PNMTA优于其他模型。我们还为训练数据设置了不同的冷启动用户百分比，并在图5中报告了MeLU、PNMTA（全PT）和PNMTA在两个数据集上的MAE性能。 实验结果表明，随着冷启动用户数的增加，所有模型的性能都有所提高，PNMTA和PNMTA（Full-PT）的性能始终优于MeLU 。 值得注 意的是， 当可 用的 冷启 动用 户较 少时 ，PNMTA（Full-PT）相对于PNMTA的改进更为明显，这证明了在元训练数据较少的情况下，完全预训练可以产生更多的优势。4.6超参数分析（RQ4）在这里，我们考虑PNMTA及其消融模型对两个主要超参数的敏感性：每个特征的嵌入大小和元自适应步骤的数量。 我们在图6和图7中根据MAE度量绘制了实验结果。 我们观察到PNMTA在大多数情况下比消融模型表现更好，并且对这些参数不是很敏感。因此，我们可以适当减少嵌入大小和元自适应步骤的数量，以提高PNMTA的效率。4.7可视化（RQ5）为了研究PNMTA在用户表示方面取得的改进，我们可视化了以下四个模型生成的用户向量：（a）具有1个训练时期的MeLU，（b）具有30个训练时期的MeLU，（c）未经元训练的预训练PNMTA，以及（d）具有10个元训练时期的预训练PNMTA这些向量通过降维处理成二维，并通过不同的颜色和风格突出用户的年龄。 我们在图8中显示了结果。首先，根据（a）和（b），我们观察到MeLU生成的用户表示向量在嵌入空间中具有低区分度和高重叠度，并且用户不按年龄区分。经过模型训练后，这种情况并没有改变。其次，从（b）和（c）中，我们发现PNMTA通过预训练获得了出色的用户表示能力。 在元训练阶段，它可以保持这种能力，而不会过度拟合元训练数据或遇到记忆遗忘问题。这表明，PNMTA获得更好的用户表示比现有的方法，通过图8：在MovieLens-1 M上获得的用户向量的t分布随机邻居嵌入（t-SNE）[49]点的颜色和样式代表用户年龄。预训练，编码器调制器使其在元学习任务上表现良好，同时保持这一优势。总体而言，可以肯定的是，PNMTA确实比其他方法实现了更好的用户表示性能。5结论在这项工作中，我们提出了一种新的方法称为PNMTA的用户冷启动推荐。PNMTA可以通过预训练获得良好的表示学习能力，然后通过编码器调制将预训练的知识融入元训练中。PNMTA通过结合模型无关和基于模型的元学习方法，利用附加的预测器调制器，根据用户身份激活用户的隐式分组分布特征，从而更准确、快速地调节网络参数以适应新用户. 在两个基准数据集上的大量实验表明，PNMTA始终优于最先进的方法。致谢作者感谢吉林大学符号计算与知识工程教育部重点实验室、国家重点研发计划[No.2021ZD0112501和No.2021ZD0112502]、国家自然科学基金[No.2021ZD0112503]、国家自然科学基金[No.2021ZD0112504]、国家自然科学基金[No.2021ZD0112505]、国家自然科学基金[No.2021ZD0112502]、国家自然科学基金[No.2021ZD0112504]、国家自然科学基金[No.2021ZD0112505]、国家自然科学基金[No.2021ZD0112502]、国家自然科学基金[No.2021ZD0112502]、国家自然科学基金[No.2021ZD0112502]&吉林省科技发展计划项目[编号：20190303006SF，编号：62172187]、吉林省科技发展计划项目[编号：20190303006SF，编号：62172187]。20190302107GX]、广东省科技计划项目[No. 20190302107GX]。2020A0505100018]、广东省应用基础研究重点项目[No.2018KZDXM076]和腾讯犀牛研究计划。FaustoGiunchiglia的工作由国家项目PRIN 2017“Delphi”资助。PNMTA：一种用于用户冷启动推荐的预训练网络调制和任务自适应方法WWW357引用[1] Ferran Alet ， Martin F Schneider ， Tomas Lozano-Perez ， and Leslie PackKaelbling.2019. 元学习好奇心算法。 在国际学习代表会议上。[2] 霍曼加·巴拉德瓦杰2019.用于用户冷启动推荐的元学习。2019年国际神经网络联合 会 议 （ International Joint Conference on Neural Networks ， IJCNN ）IEEE，1[3] JesúS Bobadilla ， Fernando Ortega ， Antonio Hernando ， and JesúsBernal.2012年。一种缓解新用户冷启动问题的协同过滤方法Knowledge-basedsystems 26（2012），225-238.[4] 多 温 · 卡 特 赖 特 。 1979. 历 史 视 野 中 的 当 代 社 会 心 理 学 。 Social PsychologyQuarterly（1979），82[5] 陈玉东、王欣、范妙、黄冀州、杨盛文、朱文武。2021年下一个POI推荐的课程元学习在第27届ACM SIGKDD知识发现&数据挖掘会议上。2692-2702。[6] Heng-Tze Cheng，Levent Koc，Jeremiah Harmse