277一种增益可调的动态负采样器朱黔南zhuqiannan@ruc.edu.cn中国人民大学高陵人工智能学院大数据管理与分析方法北京市重点实验室中国北京清荷2019200172@ruc.edu.cn中国人民大学金融学院大数据管理与分析方法北京市重点实验室中国北京摘要选择可靠的负训练实例是隐式反馈推荐中的一个挑战性通过对用户反馈数据进行成对学习现有的方法通常利用各种负采样器（即，基于神经网络或基于GAN的采样），以提高负样本的质量。然而，这些方法通常侧重于保持具有高梯度的硬阴性样本用于训练，导致假阴性样本被优先选择。 假负噪声放大的限制可能导致过拟合和模型的进一步差的泛化。 为了解决这个问题，我们提出了一个增益调整动态负采样GDNS，使推荐更强大和有效。该模型设计了一个期望增益采样器，该采样器考虑了训练样本中正负样本之间用户偏好差距的期望值这种增益调谐负采样器可以有效地识别假阴性样本，并进一步降低引入假阴性实例的风险此外，为了提高训练效率，我们在每次迭代中为每个用户构造正负组，并开发了一个组式优化器以交叉方式优化它们。在两个真实世界数据集上的实验表明，我们的方法显着优于最先进的负采样基线。CCS概念• 信息系统→协同过滤;·计算方法学→从隐式反馈中学习。Thecorrrespondingauthor允许免费制作本作品的全部或部分的数字或硬拷贝，以供个人或课堂使用，前提是制作或分发副本的目的不是为了盈利或商业利益，并且副本的第一页上版权的组成部分，这项工作所拥有的其他人比ACM必须尊重。允许使用学分进行摘要 以其他方式复制、重新发布、在服务器上发布或重新分发到列表，需要事先获得特定许可和/或付费。请求权限请发邮件至permissions@acm.org。WWW©2022计算机协会。ACM ISBN 978-1-4503-9096-5/22/04。. . 十五块https://doi.org/10.1145/3485447.3511956张浩波2018200680@ruc.edu.cn中国人民大学信息学院大数据管理与分析方法北京市重点实验室中国北京智诚杜宇dou@ruc.edu.cn中国人民大学高陵人工智能学院大数据管理与分析方法北京市重点实验室中国北京关键词推荐系统，负采样器，协同过滤ACM参考格式：朱倩楠，张浩波，何庆，窦志成。2022.推荐一种增益可调动态负采样器在ACM Web Conference 2022（WWW '22）的会议记录中，2022年4月25日至29日，虚拟活动，法国里昂。ACM，New York，NY，USA，9页。https://doi.org/10.1145/3485447.35119561介绍推荐系统在缓解信息过载问题方面发挥着重要作用，可以帮助用户获得有用的信息[7，14，17，18，20协同过滤（CF）作为推荐系统的核心技术，旨在从观察到的用户-项目交互中学习用户如今在这种正向交互下，CF模型通常从未观测数据中选取少量实例作为负向样本，对得分高的正向实例和得分低的负向实例进行优化，以学习用户的潜在偏好。显然，从用户的隐性反馈中选择可靠的负面实例在推荐模型的训练中起着至关重要的作用。常用的方法[4，27]是从未观测到的数据中均匀地采样负物质。这种均匀采样由于其简单易扩展而被广泛应用于CF方法中，但由于正负样本之间的间隙太大而无法为后续训练提供有价值的信息，因此它会遭受消失梯度。为了克服梯度消失问题，提出了许多针对硬负采样的方法，旨在挖掘具有高概率为正的硬负样本这些方法的主要思想是设计另一种抽样分布来代替均匀抽样分布，以获得高质量的负样本。例如，典型的基于语义的方法[26，34，35]通过项目属性（即，流行度，频率），WWWQiannan Zhu，Haobo Zhang，Qing He，Zhicheng Dou278（）下一页.∈U∈IU×I→⊙负样本，并将其迭代的历史方差添加到损失项中，以防止从假阴性样本中采样|·|（）下一页0，否则。（一）作为区分假阴性样本与候选阴性样本的指示物在选择了真实的底片k=1用户项目u1 u2 u$i1 i2i$观测相互作用未观测相互作用图1：用户-项目交互的图示蓝色实线是观察到的相互作用，红色虚线是未观察到的相互作用。训练，而基于GAN的方法[1，24，30]使用复杂的结构来生成对抗性否定实例。上述所有方法都集中在寻找硬阴性样本，而忽略了在训练阶段引入假阴性样本的风险。事实上，假阴性实例不一定是用户不喜欢的。相反，它们可能是用户的潜在兴趣。 给定图1中的示例，在具有相似交互历史的用户共享相似兴趣的协作假设下，用户u2具有更大的概率喜欢未观察的项目i2。然而，上述负采样方法由于难以学习，容易选择未观测实例u2，i2作为硬负样本 对这些假阴性样本进行强制优化通常会导致过拟合，使模型失去泛化能力。最近，最先进的方法SRNS [11]利用了假信号的低方差，表1：模型与基线的比较我们设计了一个群体感知的优化，通过在每次迭代中为每个用户构造正组和负组，可以提高训练效率。2初步基于协同过滤的推荐主要是通过观察用户与项目的交互来学习用户如今，观察到的用户-项目交互更容易从隐式用户反馈中收集，这在促进推荐系统的发展中是普遍的。对于隐式CF方法，我们将用户集表示为U，将项集表示为I，将用户项数据X表示为1，i f（u，i）被观测到。请。但是，简单的加法组合不足以区分假阴性样本，因为假阴性样本的损失太大，无法被方差覆盖为了解决这个问题，我们提出了一种新的增益调节动态负采样模型GDNS推荐，它可以执行负采样有效和鲁棒。GDNS开发了增益感知的负采样器，以动态地偏好真实的负样本，并通过以组形式组织训练实例来提高性能具体地，在第t次迭代中，增益感知负采样器首先获得正采样和负采样之间的分数差距的期望，然后使用第t-1个和第t个iter之间的预期增益其中，Xu，i=1表示在用户u和项目i之间存在观察到的交互，这被认为是用户u对项目i感兴趣的肯定实例。否则，X u，i = 0是用户u和项目i之间的未观察到的交互，这不一定意味着用户不喜欢项目i。 它可以被认为是用户由于其显示位置或形式而忽略了该项目。形式上，CF方法的目标是学习匹配函数X来计算用户u和项目i之间的相关性。通常，广义矩阵分解框架GMF[16]被用作基本模型，其在给定的用户u和项目i对上的匹配函数是：.D样本时，组优化器构造正和负样本，组，并以交叉的方式优化它们，以提高训练效率。我们在两个真实世界的数据集Movielens-1 m和Pinterest上进行了可扩展的实验。在两个数据集上的各种度量的比较结果表明，我们的模型达到了最先进的性能。本文的贡献概括如下：提出了一种增益可调的动态负样本推荐模型GDNS，该模型能够动态地选择可靠的负样本进行训练。为了提高算法的泛化能力和鲁棒性，我们提出了期望增益驱动的指标来有效区分假阴性样本其中，W是可学习的参数向量，Pu和Qi是用户和项目的嵌入表示，表示两个向量之间的逐元素乘法此外，还有其他强大的模型，如[28，29，36]，它们已经显着实现了有希望的推荐性能。为了学习隐式CF模型，提出了边际铰链损失[33]，它为阳性样本分配较高的分数，为阴性样本分配较低的分数。学习目标可以用公式表示为最小化以下损失函数，即，L（u，i，j）=|ru，j−ru，i+γ|+（3）其中+=maxx， 0表示获得0和x之间的最大数，γ是指示负样本和正样本之间的预期裕度的超参数。ru，i和ru，j是···Xu，i=ru，i=W<$（Pu<$Qi）=优化稳健性指示器ENMF非采样××××××√×√-均匀成对均匀NNCF成对硬基AOBPR成对硬基IRGAN成对硬基RNS-AS成对硬基AdvIR成对硬基SRNS成对硬变量我们逐群组基于增益wk·pu，k·qi，k，（2）一种增益可调的动态负采样器WWW279（·|）的方式C{|}（）下一页（）下一页C{|}CQCH+Hu，j=α·G−u，ju，j图2：GDNS的模型架构分别是正面实例u，i和负面实例u，j对于用户u，正实例i是从观察到的交互u=i Xu，i=1中随机选择的，并且负样本j是基于用户u的未观察到的交互<$u=j Xu，j=0从负采样器u生成的。 在训练过程中，隐式CF方法可以从质量更好的负样本中获益更多。 在以前的工作中，均匀分布[27]是使用最广泛的负采样器，其缺点是负样本质量低。为了解决这个问题，许多方法[11，25]试图对更难的实例进行采样，包含更多信息以最小化等式（3）中的损失函数。然而，这些方法都没有足够的鲁棒性来处理训练中的假阴性实例与现有的负采样方法相比，我们重点开发了一个强大的负采样器，以产生可靠的硬负的例子，它可以提供更多有价值的梯度信息在训练阶段，并有助于更好地执行建模用户的喜好。 在本文中，我们总结了以前的工作负采样表1，讨论了我们的模型和这些工作之间的内在差异。3方法为了提高隐式CF中负采样的鲁棒性和效率，在深入了解负样本特性的基础上，提出了一种增益感知的负采样器，使负采样更加高效和鲁棒，并采用一种新的分组优化器提高训练效率。的负采样分布，用于生成可靠的硬负实例。直觉上，从曝光数据中生成真实的负面实例是合理的，因为它记录了用户是否与项目交互。因此，我们设计了一个曝光感知函数来测量曝光数据中的负信号。具体地，对于具有他的交互项集合iu u的用户u，曝光数据中的非交互项j是真实负样本的概率为：Ht（u，j）=Eiuσ（ru，j−ru，i）（4）其中t表示训练阶段中的第t次迭代，σ是S形函数。通过这种方式，生成的负样本被赋予更高的预测分数，接近正样本的预测分数，这可以在训练期间有效地提供更大的梯度和更多的信息。重要的是，我们根据经验发现，具有大预测分数的负面实例对于模型的学习很重要遵循一种偏态分布。一个更新颖的发现是，假阴性实例在许多训练迭代中总是具有高期望差距（在4.6节中分析），这为解决现有方法中仍然存在的假阴性问题提供了一个新的因此，与等式（4）中负样本和正样本之间的分数差的期望相比，两次迭代之间的期望增益是监测负样本和正项目集之间的差异的更灵敏的信号。相应地，我们开发了一个增益感知函数来计算项目j的概率作为真正的阴性样本，即，我们的模型框架如图2所示。t t1. Ht−1−Ht3.1增益感知负采样器u，ju，jtu，j考虑到引入假阴性实例的风险，其中α是使训练稳定的平滑超参数需要以更可靠的方式测量阴性样本的数量H t是一个小数字，以防止Ht= 0的情况。在本节中，我们设计了一个负采样器，旨在根据增益调谐采样器，观察项目未观察项目���1乌丘（掌声）���2001年，������t2001年，���������������t增益感知负采样器��������������� ��� ⋅4联系请注意，*������请注意，*������用户GMFGMF分组优化器���1Δ#uPu���u，���u，7）…������4���74���1GMFGMF���81岁u，8） ���ΔuPu���4���84损失建议������;���;Pu���……………G+（1−α）·σ（WWWQiannan Zhu，Haobo Zhang，Qing He，Zhicheng Dou280u，ju，jGCC∈ ∈∈HG←{}CuuNu，j∈L←←u，j..Hu，ju，jG联系我们C{}uNuC--∈UL−.u∗C∗∗15：Lt←L+L（u，i，j）16：Hu，j← Ht，j+σ（ru，j−ru，i）GMF [16]作为方程（2），而为正与负Ht−1−Ht01- 02在每个迭代开始时为每个用户构造组，juu对于给定的用户，作为阴性样本算法1GDNS采样算法模型这是因为假阴性输入：用户集U，项目集I，交互矩阵X，组大小N，样本的Gt通常低于真阴性样本边缘尺寸d，n=|U|，m=|我|如第4.6节所述。因此，我们的模型倾向于利用这种基于高差距期望的标准来可靠地测量阴性样本的质量，即，在训练阶段选择具有较高的候选这种方法可以有效地降低引入假阴性实例的风险。3.2分组优化器以前的工作通常优化成对的基于边缘的损失，如等式（3），以将高分分配给阳性实例，并将低分分配给阴性实例。考虑到（1），负项j可以与正项j一起重用的概率很高。输出：P、Q、W1：初始化P Rm×d，Q Rn×d，W Rd2：初始化0=1m×n，0=1m×n3：根据交互矩阵X为每个用户u构造u和u′。4：对于t1到T时期，5：从用户B中抽取一小批样本，6：对于每个u B做七比零8：00，. . . ，我 ，我从9：δ←{j1，，jM}，jdrawnfromr omC<$u10：u′←{j1，，jN}，j是Gt−1上δ的顶部N项，以及（2）在一对正样本和负样本上优化推荐模型是低效的11：计算ru，i=W<$（Pu <$Qi），i∈<$u12：计算ru，j=W<$（Pu<$Qj），j∈<$u′我们开发了一个组明智的优化器，使优化更多13：Ht←0，j∈u′高效.分组排序损失定义如下：14：对于每个（i，j）∈<$u×<$u′doL（u，u，u′）=|ru，j−ru，i+γ|+（u其中匹配分数ru，i和ru，j通过典型的17：对于每个j∈u′do十不、t−.Σ是的。如算法1所描述的，给定用户u，正群u=i1，. . . i ~ N是由N次独立采样构造的，当负群n′=j1，. . . j是通过从u中选择更可靠的负样本来构造的。由于负采样的空间在现实世界中是非常巨大的或未知的，对于第t次迭代中的每个用户，我们首先构造一个子集δ= j1，. . . 在算法1的步骤9中，通过从整个负样本空间中随机选择M个负样本，在每个历元中计算j M ¯u。然后，我们使用增益调谐负采样器，选择前N个用于构建其Gt−1的扩展。通过过滤掉具有高t-1的样本，我们的模型有望重新减少了假阴性样本的影响，进一步提高了性能。在建立了分组排序损失后，通过分组感知的正样本和负样本可以比单个成对样本更有效地捕获用户最后，我们制定的学习目标，最小化以下损失19：通过反向传播算法反向更新P、Q和W20：返回P，Q，W图3中的方法可以通过在同一组中进行交叉操作来获得必要的梯度，从而改善我们模型中的嵌入相反，图3左侧的项i1只能从成对方法上的对r u1，i1 r u1，j1获得梯度信息。此外，分组组织可以在减少计算操作的同时提高训练效率，这从以下两个方面进行了分析：这种分组排序损失可以很容易地减少流行的推荐作品中特征编码的消耗[8]，这受到大量用户和项目的特征编码的限制。以第4节中描述的Movielens-1 m数据集为例，功能，即，L=L（u，u，u′）（7）∈U基于双对方法，该模型必须对563186个用户和563186个负项和正项的表示进行编码，用于每个it中的所有563186个训练实例虽然我们的模型在训练阶段为每个用户分配了一组积极和消极的项目，但我们仍然使用相同的评估协议作为测试阶段的基线具体地说，对于测试集中的每个用户-项目对及其候选否定项目，我们将它们输入到我们的模型中以获得它们的排名分数，并进一步将所有项目按降序排序以基于推荐度量来评估性能。为什么Group-wise优化器有效？本质上，不同根据成对方法中的孤立梯度信息，分组优化器在同一组中的所有样本之间共享梯度信息例如，右侧的项i1气。而使用分组优化器，我们的模型只需要编码6028个用户和6028个N2项的小表示，其中N是组大小，实验上设置为32与中为每个观察到的交互构建负样本的成对排序损失不同，我们的分组排序损失为每个用户构建了一组正样本和负样本这两个损失使施工作业，|C|和|U|×N2。在真实的数据集中，观察到的相互作用的误码率|C|远大于用户数|U|. 对于示例，re是about93次，U··i∈uj∈u′1 –u，ju，jtu，公司简介一种增益可调的动态负采样器WWW281CC（）下一页--联系我们{}}{}联系我们{（）∈[]}（）下一页2011年1月1日������������������2011年1月1日，2011年2月2日，2011年1月1日，2011年2月2日，������������������,������−1���������,������−1表2：数据集统计。你好���������你好���������pair-wise group-wise（我们的）图3：成对优化和成组优化之间的比较Movielens-1 M和25次在Pinterest。按抽样组而不是整个空间，而，。明智的组织可以显著降低实现收敛的计算成本。4实验在本节中，我们使用两个真实数据集研究和评估我们在Top-K推荐任务上的方法。此外，我们对实验结果进行了深入的分析，并使用合成噪声进行了受控实验，以研究GDNS区分假阴性实例的鲁棒性（第4.6节）。4.1数据集在典型的基线之后，我们在推荐领域的两个流行的真实世界数据集上评估了我们的模型。Movielens-1米。它包含用户对从IMDB和电影数据库1获得的电影的评级信息。在我们的实验中，用户对电影的评分被转换为隐式反馈数据。具体地说，4级和5级的记录被视为积极标签，而低评级和未观察到的项目被视为消极标签[25，31]。Pinterest 它是一个图像共享和社交媒体服务2。Pinterest数据集包含超过100万张与“钉住”它们的用户相关的图像。 在我们的实验中，用户在图像上的“固定”交互被视为积极的标签，而其他人作为消极的标签。为了使比较公平，我们遵循与基线相同的预处理设置[11]来处理数据集。首先，我们过滤掉少于4条记录的用户或项目。 这是缓解评级数据集的高稀疏性问题的常用方法。其次，对于每个用户，我们分别选择一个项目进行验证和测试，其余的作为积极的项目进行训练。数据集的基本统计数据见表2。4.2基线为了评估我们的模型的性能，我们选择了八个典型的负样本模型作为我们的基线，包括：NNCF [5]、BPR [27]、AOBPR [26]。这些方法生成具有固定负采样分布的样本。1https://grouplens.org/datasets/movielens/1m2https://sites.google.com/site/xueatalphabeta/academic-projectsENMF [3]。该方法直接将所有未观察到的物质视为阴性样品。由于计算每个时期的所有负样本，它是一个非常有竞争力的项目推荐基线。[31]，RNS-AS [10]，AdvIR [25].那些基于GAN的方法能够通过训练外部GAN模块来捕获负采样分布来生成硬负样本SRNS [11].这种方法在每个时期缓存硬负样本以供重用。为了避免硬负样本的过采样，SRNS在采样过程中考虑了候选负样本的4.3评价方案在测试阶段，使用不同的负样本训练的推荐方法被要求为每个用户对给定的项目列表进行由于负样本的空间在现实世界中非常巨大或未知，对于测试集中的每一个正样本，我们将其相关负项的数量固定为100，然后是基线[11，16，19]。在这里，SRNS [11]提供的测试集具体地，等式（2）中的评分函数用于计算每个测试用户-项目对u，i及其相关的负用户-项目对u，j，k，k1的分数， 100。然后将这些分数按降序排列，以获得阳性测试样本u，i的排名。最后，使用两个指标来比较我们的模型与基线：（1）Recall@K。它是排在前K的正确项目的比例。（2）NDCG@K.它是前K中的归一化贴现累积增益。在这里，我们在度量Recall@K和NDCG@K上评估我们的方法 ， 其 中 K=1 ， 3 。 本 文 只 报 道 NDCG@1 ， NDCG@3 和Recall@3的结果，因为NDCG@1和Recall@1是等价的.4.4设置在训练阶段，我们选择学习率µ 0.01，0.03，0.09，0.3，1.0，余量γ0， 1， 2，平滑超参数α0.1，0.2，0.5，0.7，0.9，组大小N4， 8， 16， 32， 64，128。具体来说，基于NDCG@3通过网格搜索和提前停止技巧选择性能最佳的超参数配置，如下所示：学习率μ为0。09，边缘γ为1，光滑超参数α为0. 2，并且组大小N是32。Movielens-1m的批量b为1024，Pinterest的批量b为4096，以符合我们设备的分类尺寸。特别是，嵌入的维度固定为32，以确保我们的模型不仅仅因为维度而获益。 我们采用AdaGrad [12]在Movielens-1m和Pinterest上优化模型的超参数。在带有一个Telsa-V100图形卡的机器上训练我们的模型大约需要1，用户12011年1月1日，2011年1月1日，用户k2016年12月1日2016年12月1日………………······数据集Movielens-1米Pinterest用户数量6,02855,187#项目3,5339,916#火车563,1861,390,435有效数量6,02855,187WWWQiannan Zhu，Haobo Zhang，Qing He，Zhicheng Dou282--u，jGGGG方法Movielens-1米PinterestNDCG@1NDCG@3回忆@3NDCG@1NDCG@3回忆@3ENMF[3]0.18460.30210.38820.25940.41440.5284制服[27]0.17440.28460.36630.25860.41360.5276NCF[5]0.08290.14780.19710.22920.36990.4735[26]第二十六话0.18020.29050.37280.25960.41650.5319伊朗伊斯兰共和国[31]0.17550.28770.37080.25870.41430.5282RNS-AS[10]0.18230.29320.37540.26900.42330.5359[25]第二十五话0.17900.29410.37920.26890.42350.5363[第11话]0.19330.30700.39120.28910.43910.5486我们0.19360.31010.40070.29020.45220.5721表3：两个数据集的性能比较平均12小时为了公平比较，我们主要使用GMF作为评分函数，并根据验证性能仔细调整GDNS和基线的超参数此外，我们的模型可以很容易地推广到其他CF方法，因为增益感知负采样器是建立在迭代过程中的用户-项目对的分数差距的预期增益，其中分数可以通过各种CF方法的匹配函数来计算4.5TopK推荐本文的目的是在训练过程中动态地区分假阴性样本并生成可靠的阴性样本，进一步提高模型的性能为了验证我们的模型的效率，我们在Movielens-1 m和Pinterest上进行了实验，并在表3中报告了NDCG@1，3和Recall@3。表3给出了Movielens-1 m和Pinterest上Top-K搜索的令人信服的结果。从表3中，我们可以观察到，我们的模型在两个数据集上的所有指标都始终优于所有这表明GDNS可以对高质量的负面实例进行采样，从而有助于学习更好的CF模型，从而更准确地对项目进行更具体地说，对于Movielens-1 m，我们的 模 型 在 NDCG@1 上 达 到 0.1936 ， 在 NDCG@3 上 达 到0.3101，在Recall@3上达到 0.4007，这是更高的性能。比基线方法更高同样，对于Pinterest，我们的模型时代图4：在训练过程中，我们的模型变体的NDCG@1性能比较除了我们模型的有效性外，我们还定性分析了模型中不同组件的有效性，并评估了我们模型的以下变体的性能没有Group-Wise的 GDNS 该变体直接使用等式（2）中的成对边际排名损失，而不是等式（6）中的分组排名损失来优化推荐模型。• 没有G的GDNS 该变型没有考虑负采样器中的增益因子G，这意味着该变型将Ht作为生成负采样器的指标。与基线相比，在NDCG@1上获得0.2902增益，在NDCG@3上获得0.4522增益，在Recall@3此外，我们还有以下四点意见。首先，硬负采样方法在所有基线中表现得更具竞争力通过考虑迭代过程中负样本的期望增益，我们的GDNS可以区分假阴性样本和真阴性样本，因为假阴性样本通常比真阴性样本低其次，固定抽样方法表现不佳，特别是NNCF直接采用基于项目流行度的权力分布第三，基于抽样的方法可以通过提高样本质量而比非抽样方法更有效例如，ENMF在两个数据集上的表现比RNS-AS和AdvIR差第四，与基于边缘的成对排序损失相比，我们的分组排序损失在每次迭代中为每个用户构造分组感知的训练样本，这可以通过重用所有用户的正交互的负样本来降低计算样品从图4中，我们可以观察到：（1）我们的模型比这些变体实现了更好的性能 它表明，开发的组件，即，增益感知负采样器和分组优化对于提高模型的性能确实是有用的（2）不考虑增益调谐因子的性能在早期急剧增加，但随后在后期迅速下降这主要是因为没有变量倾向于支持具有高分期望的负样本，这可能导致过拟合并降低模型的鲁棒性。（3）与成对排序损失相比，分组排序损失在训练过程中具有显著的性能这表明我们的分组排序损失可以避免收敛到一个糟糕的局部最优值，并有助于更有效地训练模型。总的来说，我们将我们的模型的优越性归因于它的两个优点：（1）我们的模型可以有效地利用增益调节指标来指导生成NDCG@1·一种增益可调的动态负采样器WWW283HHHGGHHGG[客户端]图5：假阴性和真阴性样本之间的H和G比较可靠的负样本动态。(2)我们的模型成功地为每个用户构建了正组和负组，并使用组优化来提高训练效率。4.6假阴性分析在这一部分中，我们主要研究增益感知负采样器是否确实可以检测假负样本，并进一步识别真负实例。 如之前的工作[11，16，31]所述，假阴性样本更有可能反映用户的潜在偏好。为了进行严格的实验，我们随机选择每个用户的一个阳性项目作为阴性 ， 以 模 拟 训 练 阶 段 的 假 阴 性 样 本 。 对 于 Movielens-1m/Pinterest数据集，我们随机选择6，028和55，187个阳性项作为阴性项进行训练。在实验中，构建的Movielens-1 m/Pinterest数据集有557，158/1，335，248个训练样本，有效/测试集不变。为了研究GDNS是否可以识别假阴性样本，我们在训练过程中跟踪GDNS，以分析这些假阴性样本的变化。结果如图5所示，可以观察到：（1）通过的密度分布，证实假阴性样本的密度相对大于普通真阴性样本的密度。以往的硬负采样方法倾向于选择较大的样本作为负样本，即使可以获得高梯度，也会引入假(2)如所示的密度分布，假阴性样本表现出低于常见真阴性样本的密度，因为假阴性样本通常难以被优化并且在两次迭代之间变化缓慢这些现象从经验上证明，在多次迭代训练中总是有很高的期望差距，这可以为解决现有方法中存在的假阴性问题提供一个新的角度因此，我们的增益感知负采样器可以有效地降低引入假负样本的风险4.7参数敏感性在这一部分中，我们主要探讨了不同参数对性能的影响在本实验中，除了被测试的参数外，所有其他参数都被设置为最优配置。团体规模。本节研究不同组大小N设置下的模型性能。图6中的实验结果表明：（1）我们的模型的性能随着组大小的增加而提高。N值越大，性能越好。它告诉我们，较大的N可以在更多的正负对之间共享更多的梯度信息，使优化更加有效。（2）当群规模N大于32时，扩大群规模难以获得显著的性能改善。这主要是因为较大的组大小引入了更多的相对不困难的负样本，这不能提供更多的梯度信息来提高性能。（3）计算复杂度分析表明，计算资源的消耗也随着组规模的增加而增加。因此，我们选择32作为性能和计算之间的最佳折衷。平滑参数。在我们的模型中，平滑参数-参数α用于保证模型在训练阶段的稳定性我们从0， 1中选择平滑参数α，间隔为0.1。 图7给出了令人信服的结果，即（1）我们的模型在α = 0时达到最佳性能。2设置，表明这种设置可以最好地WWWQiannan Zhu，Haobo Zhang，Qing He，Zhicheng Dou284(a) Movielens-1米(b) Pinterest图6：不同组大小N设置的性能在迭代过程中表达预期增益的重要性，并帮助进行更稳定的训练。（2）性能随α的增大先增大后减小。这是因为太小的α不足以为训练提供期望增益的信息，太大的α可能会引入不必要的噪声，降低泛化能力。5相关工作随着人工智能时代信息的爆炸式增长，基于用户交互的个性化推荐已经在研究界和工业界得到了广泛的近年来，已经提出了各种个性化推荐[9，15，23]。这些方法通常使用各种非结构化信息（例如， 文本评论、视觉图像）以及各种隐式或显式反馈，以进行个性化解释。作为推荐系统的核心技术，基于协同过滤的推荐方法具有重要的意义，并在工业界得到了广泛的应用 本文主要研究了隐式协同过滤（CF）中的抽样漏报问题。 在隐式CF问题中，真阴性实例与假阴性实例一起隐藏在大量未标记数据中。因此，隐式CF的负采样期望在训练过程中正确识别真正的负实例的负采样是训练协同过滤方法的基本技术[16]在这里，我们将相关文献分为三类：（1）固定采样方法[3，27]因其简单性和可扩展性而广泛用于训练协同过滤[27]。它随机选取一个未观察到的样本，图7：不同平滑参数α下的性能。负的，它忽略了负样本分布的变化，容易陷入消失梯度问题。典型的方法[3]提供了一种非采样的方法，直接利用负样本空间中的所有样本来训练神经元矩阵分解模型。(2)基于GAN的采样方法介绍了用于负采样的生成对抗网络[13]通常，它包含两个附加组件：生成器和CPU。在负采样的场景中，生成器被期望产生一个更好的负样本分布，该负样本分布很难与真值基础实例分布区分开来[10，25，31]。(3)基于缓存的采样方法[2，6，11，35]为每个用户缓存N个最难的样本。每次它都会从缓存池中更新和采样，以重新使用硬负采样[35]。 虽然缓存硬负样本可以在正负对之间带来较大的裕度，避免梯度消失问题，但它也会受到假负样本的影响。 SRNS [11]引入了基于方差的采样器来对阴性样本进行采样，这是避免假阴性问题的最新技术。第六章结论本文提出了一种新的增益可调动态负采样模型GDNS，该模型包含一个增益负采样器和一个分组优化器，能够以一种高效和鲁棒的方式进行负采样在增益波形负采样器中，GDNS引入了一种新的方法来动态选择可靠的负样本进行训练。 在分组优化器中，GDNS在每次迭代中为每个用户构造正组和负组，这可以提高训练效率。我们在两个真实世界的数据集Movielens-1 m和Pinterest上进行了可扩展的实验，并超越了最先进的模型。致谢窦志诚为通讯作者。本工作得到了国家自然科学基金项目（No.62102421，No.62176252）、北京市杰出青年科学家计划项目（No.BJJWZYJH012019100020098）和中国人民大学“双一流”重大创新规划跨学科平台智能社会治理平台我还要感谢中国人民大学公共政策与决策研究室一种增益可调的动态负采样器WWW285引用[1] Dong-Kyu Chae ， Jin-Soo Kang ， Sang-Wook Kim 和 Jung-Tae Lee 。 2018.CFGAN：一个基于生成对抗网络的通用协同过滤框架。 第27届ACM信息与知识管理国际会议（CIKM2018）ACM，137-146.https://doi.org/10.1145/3269206.3271743[2] 放大图片作者：Erik G. Learned-Miller和Andrew McCallum。2017.主动偏差：通过强调高方差样本来训练更精确的神经网络。神经信息处理系统进展30：神经信息处理系统年会。1002-1012[3] Chong Chen ， Min Zhang ， Yongfeng Zhang ， Yiqun Liu ， and ShaopingMa.2020年。高效的神经矩阵分解，无需采样推荐。ACM信息系统交易38，2（2020年1月），14：1http：//doi.org/10.1145/3373807[4] 陈婷，孙益州，岳石，洪良杰。2017年。基于神经网络的协同过滤抽样第23届ACM SIGKDD 知识发现和数据挖掘国际会议论文集。ACM，767-776。https://doi.org/10.1145/3097983.3098202[5] 陈婷，孙益州，岳石，洪良杰。2017年。基于神经网络的协同过滤抽样 第23届ACM SIGKDD知识发现和数据挖掘国际会议（KDD'17）。计算机协会，767[6] 陈婷，孙益州，岳石，洪良杰。2017年。抽样策略研究基于神经网络的协同过滤 在第23届ACMSIGKDD国际知识发现和数据挖掘会议上。ACM， 767-776.https://doi.org/10.1145/3097983.3098202[7] Heng-Tze Cheng，Levent Koc，Jeremiah Harmsen，Tal Shaked，TusharChandra，Hrishi Aradhye，Glen Anderson，Greg Corrado，Wei Chai，Mustafa Ispir，Rohan Anil，Zakaria Haque，Lichan Hong，Vihan Jain，Xiaobing Liu，and Hemal Shah.2016. 推荐系统的广泛深度学习在第一届推荐系统深度学习研讨会上。ACM，7-10。https://doi.org/10.1145/2988450.2988454[8] 保罗·卡温顿，杰伊·亚当斯，埃姆雷·萨金。2016年。YouTube推荐的深度神经网络 第10届ACM会议记录系统（RecSys '16 ）。计算机协会，191-198。https://doi.org/10.1145/2959100.2959190[9] Abhinandan Das ， Mayur Datar ， Ashutosh Garg 和 ShyamsundarRajaram。2007. 谷歌新闻个性化：可扩展的在线协同过滤。第16届万维网国际会议论文集，WWW 2007，班夫，阿尔伯塔，加拿大，2007年5月8日至12日。ACM，271[10] 丁景涛，全玉涵，何向南，李勇，金德鹏。2019.建议用暴露数据重新加强负采样（2019），2230-2236.[11] 丁景涛，全玉涵，姚全明，李勇，金德鹏。2020年。隐式协同过滤中的负采样和鲁棒化在NeurIPS中。[12] John Duchi，Elad Hazan，和Yoram Singer.2011年。在线学习和随机优化的自适应次梯度方法。Journal of Machine Learning Research12，7（2011）.[13] Ian Goodfellow，Jean Pouget-Abadie，Mehdi Mirza，Bing Xu，David Warde-Farley，Sherjil Ozair，Aaron Courville，and Yoonne Bengio.2014年。生成对抗网络。Curran Associates，Inc. 2672-2680。[14] Huifeng Guo，Ruiming Tang，Yunming Ye，Zhengguo Li，and XiuqiangHe.2017年。DeepFM：一种基于因子分解机的神经网络，用于CTR预测。在第26届国 际人工 智能 联合会 议上 ， IJCAI 2017 。 ijcai.org ， 1725-1731.https://doi.org/10.24963/ijcai.2017/www.example.com[15] 毁了他和朱利安J。麦考利2016年。 起伏：用单类协同过滤建模时尚趋势的视觉演变。 在第25届万维网国际会议论文集，WWW 2016，加拿大蒙特利尔，2016年4月11日至15日。ACM，507[16] Xiangnan He，Lizi Liao，Hanwang Zhang，Liliang Nie，Xia Hu，
