3606用于改善最差情况用户体验的分布式稳健建议文宏毅1*，易信阳2，姚天生2，汤佳曦2，洪丽婵2，李晓娟2，李晓娟2，李晓娟2.赤21美国康奈尔理工学院信息科学系2谷歌公司，美国1vennhy@gmail.com2{xinyang，tyao，jiaxit，lichan，edchi}@google.com摘要现代推荐系统随着深度学习模型的快速发展而发展，这些模型针对整体性能进行了很好的优化，特别是那些在经验风险最小化（ERM）下训练的模型。然而，仅关注平均性能的推荐算法可能会加强曝光偏差并加剧“富人更富”效应，导致不公平的用户体验。在一个模拟研究中，我们证明了这样的性能差距在不同的用户群是扩大了一个ERM训练的rec-commender在长期。为了减轻这种放大效应，我们建议在分布鲁棒优化（DRO）框架下优化最坏情况下的性能，目标是提高弱势群体的长期公平性。此外，我们提出了一个简单而有效的流优化改进称为Streaming-DRO（S-DRO），它有效地减少了稀疏和长尾数据分布的推荐问题的损失方差。 我们在两个大规模数据集上的结果表明：（1）DRO是一种灵活有效的技术，可以提高最坏情况下的性能;（2）Streaming-DRO通过同时提高最坏情况和整体性能，优于vanilla DRO和其他强基线。CCS概念• 计算方法学→机器学习;·信息系统→推荐系统。关键词分布鲁棒性，鲁棒学习，推荐。ACM参考格式：文宏毅1*，易信阳2，姚天生2，汤佳曦2，洪丽婵2，李晓娟2，李晓娟2，李晓娟2.气2。2022.改善最差情况用户体验的分布式稳健建议。 在ACM WebConference 2022（WWW '22）的会议记录中，2022年4月25日至29日，虚拟活动，法 国 里 昂 。 ACM ， 美 国 纽 约 州 纽 约 市 ， 5 页 。https://doi.org/10.1145/3485447.35122551引言推荐系统对于驱动多个面向用户的产品中的参与越来越重要内容个性化[12，33]、社交网络[20]和电子商务[7，* 第一作者在Google Inc.实习时所做的工作本作品采用知识共享署名国际协议（Creative Commons Attribution International）授权4.0许可证。WWW©2022版权归所有者/作者所有。ACM ISBN978-1-4503-9096-5/22/04。https://doi.org/10.1145/3485447.351225519]。个性化推荐的一个关键任务是检索：给定一个查询（用户），从一个大的项目语料库中识别出最少的相关项目。 在许多大规模的分类器中，查询和项目被嵌入到相同的潜在空间中，深度神经网络（DNN）作为编码器，并在经验风险最小化（ERM）框架下通过最小化所有训练样本的损失函数来进行训练。然后，检索任务被公式化为嵌入空间中的最近邻搜索问题。项目嵌入是离线索引的，使得实时服务可以在数百万到数十亿的规模上扩展。虽然先前的工作已经证明了在为整体性能开发准确的推荐模型方面的成功，但引起社区一个经典的问题是流行性偏见，其中更流行的人口统计用户组获得更好的性能[1]。已经提出了几项工作来解决亚群体不平衡问题。例如，上采样次要子组或下采样多数子组[11]。然而，这些方法容易出现异常值，并且在过采样时容易过拟合如何在保持整体性能不受影响的情况下提升最坏情况下的性能仍然是一个开放的研究问题。受一种称为分布式鲁棒优化（DRO）的优化框架的启发，该框架旨在优化最坏情况下的性能[10，21]，在本文中，我们研究了DRO解决建议中的子群性能差距问题的有效性。具体而言：我们经验验证，与ERM训练的推荐进一步扩大了不同群体的用户之间的差距，通过模拟研究。这促使我们专注于改善最坏情况下的性能。我们证明了[27]中提出的DRO框架对于在推荐中实现分布式鲁棒性是次优的。我们开发了一个简单而有效的优化改进（Streaming-DRO），以减少训练过程中的大损失方差。在推荐数据集上进行的大量实验证明了Streaming-DRO在改善最差情况性能方面的有效性，同时与一组强基线相比，保持了更好的整体性能2相关工作推荐系统的长期评估。大多数对推荐系统的评价都集中在单步设置上[2，26]。在最近的一项工作中，Yao et al. [30]提出了一个模拟框架来分析受欢迎者对流行性偏见的敏感性。他们发现了受欢迎程度偏差的非平凡时间动态，并对推荐器应该创建什么类型的轨迹提出了关注···3607∈ L（）−j=1θ=1不JNexp（qjcj/τ）+i∈[M]exp（qjci/τ）WWW迟从长远来看 作为进一步的步骤，我们专注于不同偏好的项目流行度的用户子组，并展示了这些用户子组的性能差距如何随着时间的推移而变化后，多轮的建议。重新加权子分布的损失。一系列工作试图用重要性抽样处理不平衡的数据集[16]，其中训练样本权重是类频率倾向的倒数。然而，由于稀疏类的方差很大，直接应用这些方法在具有高类不平衡的真实世界数据集上的性能很差[5]。受额外数据点的收益递减的启发，Cuietal. [8]提出一个框架，用有效样本数代替类频率。类平衡项用于重新平衡损失，并在长尾数据集上显示改进的性能。这两种方法在根据数据重新加权不同子类的成本方面与我们的方法最接近群体公平。值得一提的是，最近的许多作品都在探索如何以“机会平等”的精神解决各种机器学习任务中的群体公平问题[13]。例如，图像分类[28]，语言建模[23]和排名-图1：（a）机构风险管理在最坏情况下的业绩持续下降。然而，仅通过监测总体平均性能无法观察到这种趋势（b）减少灾害风险组织有希望减轻这种放大效应。在ERM框架下训练的推荐器试图找到上述损失的最小值，即θERM=arg minθ。基本假设是每个训练样本取相等的ing [3]。衡量成功的一个关键标准是实现组间绩效的平等。我们受到一个哲学框架的权重1D| 来评估学习任务的难度Intu-所谓的3最坏情况推荐优化3.1仿真研究在这项模拟研究中，为了在使用ERM训练推荐者时凭经验检查用户子组之间的性能差距，我们（1）使用MovieLens-1 M数据集[14]来训练推荐器并生成前k个推荐（k=100）;（2）模拟用户对推荐的反馈;（3）使用新数据重新训练我们的推荐器。这样的过程重复10轮，以检查推荐系统的“长期”效果。3.1.1用户分组。 在MovieLens-1 M数据集上，具有广泛交互历史的用户倾向于消费更多长尾项目（Pearson r =. 824，p<.0001）。因此，受Ab-dollahpouri et al. [2]，我们根据用户对热门项目的偏好来识别用户分组。也就是说，根据流行项目的比率（即，前20%）：（1）利基用户，他们寻求观看长尾电影（总用户的20%），（2）多样化用户，他们对流行和长尾电影都有广泛的品味（总用户的27%），以及（3）百视达用户，他们大多数时间观看流行电影（总用户的3.1.2模型设置。 根据之前的工作[31，33]，我们使用了一个用softmax交叉熵损失训练的双塔模型作为骨干模型架构。具体地，设qi、ci是查询和项在被两个MLP编码之后的嵌入一批因此，ERM为多数子组分配更多权重，对少数子群体的权重较小，这可能导致子群体之间的推荐性能不均匀。3.1.3评价在使用ERM训练双塔推荐器之后，我们从完整的语料库中选择前100个推荐。为了模拟用户该模型假设用户的反馈是二进制的，我们使用前20%的交互项作为阈值来区分流行和不流行的项目。具体来说，重磅炸弹用户青睐流行的项目，而利基用户青睐非流行的项目。对于不同的用户，他们有0.75的概率为了评估推荐性能，我们使用所有用户的前100 个推荐的平均相关性（AOA）和在每个子组上计算的分组性能。3.1.4结果 如图1（a）所示，我们发现用ERM训练的推荐器导致目标子组之间的性能差距，其中利基用户获得最差的性能。10轮后，建议的相关性从0.3下降到0.09，而整体性能保持在同一水平。这些观察结果引发了对ERM培训推荐器稳健性的担忧：如果我们不关注最差情况下的性能，某些用户组可能会长期持续降低性能，并被边缘化。值得一提的是，目前的分组导致相当平衡的数据分裂（总评分的34%/34%/32%）。换句话说，预测利基用户的偏好比Blockbluster用户更困难，而不仅仅是因为利基用户群中的训练数据。 我们还尝试了不平衡的数据分割，发现了更大的性能差距。相比之下，在图1（b）中，我们证明了DRO是一种有前途的的正训练对{（qj，cj）}N，假设一批M个负优化框架，以减轻这个问题，因为它保持最坏的从候选语料库中均匀地采样项{（ci）}M从长远来看，案件的表现是一致的未来设τi=1表示温度，softmax交叉熵损失为第节中，我们详细阐述了如何利用DRO进行推荐，定义为L（）−。logex p。（qTcj/τ）重点介绍了具体的挑战和我们提出的技术不|j∈[N].实现其全部潜力。3608д.PP10：wt←w（t）/w（t）θ=arg min maxθ∈Θw<$∈w<$=17：w（）←w（−）exp（ηL（））4实验结果改善最差情况用户体验的分布式稳健建议WWW'22，2022年4月25日至29日3.2在本节中，我们首先介绍DRO的“最小-最大”目标，作为ERM传统目标的替代方案。我们在尝试DRO时突出显示特定挑战，以获得建议-算法1Streaming-DRO的优化算法1：输入：训练迭代T，m个子群，模型参数的初始值θ（0），子群权重w（0），初始子群损失L∞（0），步长η，学习率γ，初始学习率α。dates，即由于数据非常稀疏而导致的损失方差问题。为了解决这个问题，我们建议扩大DRO，д2：对于t=1，...，没做显示了我们的方法的实现的容易性和灵活性3.2.1分布式鲁棒优化。考虑一下3：对于<$= 1，...，米多4：x，yDд5：L（t）← L（θ（t−1）;（x，y））带有标记的数据集（x，y）的问题D和代理丢失6：L<$ （t）<$（1−α）L<$ （t−1）+αL（t）函数L（θ;（x，y）），ERM框架最小化了预期д д д˜经验数据分布的损失min{E[L（θ;（x，y））]}（1）t t1tд д д8：结束θ∈Θ（x，y）9：对于<$= 1，...，米多在现实世界的系统中，用户和дддд11：θ（t）<$θ（t−1）−γw（t）<$L<$ （t）#21433;的变化[31]。分布式鲁棒性优化[15]提供了一个有吸引力的角度，通过优化最坏情况下的性能来解决鲁棒学习问题，д д12：结束13：结束来自概率分布P的数据集的任何子集：对于语言建模;（2）用户反馈数据更加偏斜，min{ supE[L（θ;（x，y））]}（2）长尾比用于图像分类或语言的数据θ∈ΘD<$∈P（x，y）在理论上，最坏情况下的优化目标导致一个模型，具有鲁棒性保证周围的不确定集，这被称为分布式鲁棒性。的选择在鲁棒性保证的不确定性集合的丰富性和优化问题的易处理性（例如，对于深度模型）之间进行权衡。 实证研究表明，在现实世界的应用程序中，过度关注任何特定子集都过于保守，因为它会受到离群值/噪声数据的影响，并导致悲观的性能[27]。相反，一种更适用的方法是对定义在m个子群的混合物上的不确定集进行优化建模这些独特的挑战使得DRO在其他领域的成功是否可以直接转移到推荐上变得不确定。对于某些稀疏子组，我们怀疑根据替代损失的权重更新将由于大的批次间损失方差而不稳定（算法1，第5行）。从经验上讲，我们发现在使用DRO进行训练时，最坏情况下的子组的损失方差确实更高。我们提出了一种流算法来减少损失估计的不确定性，而不是从稀疏子组中重新采样冗余数据。关键思想是保持迭代t时经验损失的流估计，分布为D1，D2，. . ，Dm，i.例如， P：={.Mw<$D<$，w∈m}，子群<$，在某种程度上类似于学习率为α的SGD。LL哪里0=1m是m−1维概率单形。DRO，我们使用Wk而不是原始代理损失来更新w（A1-A2）。出租m1，第6-7行）。小的α会导致更保守的组感知训练数据（Group-DRO）最小化最坏组损失：.M{DRO更新，因为它受稀疏子组的批次影响较小并不存在从经验上讲，我们还发现了小的学习率（例如，α= 0。（1）取得更好的成绩。对于推荐，组设置是期望的，因为它有可能对具有重要产品或社会影响的子组提出某些鲁棒性保证，例如用户演示图形、项目类型等。为了解决Eq中的Minimax问题3、Sagawa等人提出了一种在线算法。 [27]第10段。在高级别上，通过具有步长η的指数梯度上升来更新权重分布w，其中较高的质量被分配给具有较高损失的子组。然后，对于每个批次，使用具有学习率γ的随机梯度下降来更新模型参数θ3.2.2减少损失估计的不确定性在实践中，DRO对我们的问题很有吸引力，因为它可以很容易地应用于训练深度模型[15]。然而，推荐存在一些特定的挑战：（1）推荐中的输出空间要大得多，使得某些子组或子分布甚至更稀疏。例如，从数百万的语料库中推荐项目与从数千个固定词汇表中选择下一个单词相比，我们在MovieLens-20 M和AmazonBook Review [14，22]上进行了离线实验，以评估使用DRO和所提出的Streaming-DRO算法优化最坏情况性能的有效性。 在去除离群值和噪声数据的基本预处理之后，我们将用户划分为三个用户组，类似于第3.1.1节。数据集的统计结果见表2。对于每个用户，我们按时间顺序对他们的评级历史进行排序，并按80%/10%/10%的比例分割评级历史，以形成训练集、验证集和测试集。我们使用第3.1.2节中介绍的双塔DNN模型作为骨干模型。对于查询和项目DNN，每个DNN都是具有ReLu激活的多层感知器（MLP），除了最后一个隐藏层。查询和项嵌入是通过对最后一个隐藏层我们基于Recall@100在验证数据集上网格搜索骨干模型对于这两个数据集，我们使用MLP，对偏态子分布的鲁棒性对于Recom至关重要。w<$E（x，y）<$D <$[L（θ;（x，y））]}（3）3609[客户端]WWW迟ML20M亚马逊模型大片多样化利基AOA最糟糕间隙大片多样化利基AOA最糟糕间隙ERM0.4570.2610.1930.3560.1930.2640.1290.1230.1530.1300.1230.030IPWCB0.4600.4600.2600.2660.1920.1990.3570.3600.1920.1990.2690.2610.1190.1310.1240.1300.1940.1750.1300.1360.1180.1280.0750.047DROS-DRO0.4430.4510.2820.2880.2180.2220.3580.3650.2180.2220.2250.2290.1320.1390.1510.1520.1600.1610.1420.1460.1320.1390.0280.022表1：通过Recall@100测量的最差、AOA（越高越好）和GAP（越低越好）性能数据集用户项目评级用户拆分数据分片ML20M亚马逊138K137K15K44K20.0M5.6M(54%、29%、17%）(52%、35%、13%）(31%、36%、35%）(48%、41%、11%）表2：数据集概述。ML 20 M和Amazon分别指MovieLens-20M 和Amazon Book 。 用 户 分 割 和 数 据 分 割 对 应 于（ 块 -buster，多样性，利基）的顺序.隐藏层为128，64，温度τ = 0。07，批量为1024。 我们使用Adagrad [9]训练模型，学习率为0。1. 对于小批量中的每个正对，我们从语料库中均匀采样1024个条目作为softmax loss中的否定项[29]。我们比较了以下用于训练骨干推荐器的学习框架：经验风险最小化（ERM）：目标是优化整体性能（等式1）。①的人。反向倾向加权（IPW）[16]：训练样本由倾向的倒数加权。类平衡损失（CB）[8]：提出用于长尾图像分类任务，通过将类平衡项添加到softmax损失来调整推荐任务。Group-DRO（DRO）[27]：分布式鲁棒优化框架，其训练目标在等式中。3.流式传输DRO（S-DRO）：具有流式传输丢失估计的组DRO（算法1）。为了进行公平的比较，我们使用在经验验证分布上最佳优化的超参数集来修复骨干模型架构，即，支持ERM。在主干模型之上，我们进一步调整DRO的超参数，例如步长η。 如算法1所示，步长η控制组权重的更新。较大的η将导致具有较高损失的子群上的权重的更快的累积。然而，我们注意到，如果η设置得太大（例如， η = 0。1），最坏情况子组的权重被过度分配，并导致其他组的学习不足。我们将η调整到每个数据集的最佳范围 对于评估，我们专注于通过检索度量Recall@k（最坏）测量的任何子组的最 坏 情 况 性 能 。 作 为 辅 助 指 标 ， 我 们 显 示 了 平 均 整 体 性能（AOA）和最佳情况和最差情况性能（GAP）之间的差距。我们报告了基于完整项目语料库的评估指标，以避免使用采样指标[17]的潜在偏差，并将结果在5次运行中取平均值1。1 我 们 的 代 码 可 在 以 下 网 址 获 得 ： https://github.com/google-research/google-research/tree/master/robust_retrieval图2：S-DRO显著降低了损失方差，并实现了比vanilla DRO更好的最坏情况损失主要调查结果。 我们发现DRO和S-DRO改善了两个数据集上的最差情况性能（表1）。例如，将S-DRO与ERM进行比较，ML 20 M上的Recall@100提高了14%，亚马逊上提高了13%。IPW和CB等基线并不能始终如一地改善最坏情况的指标，亚马逊的平均差距甚至更大我们怀疑这是因为IPW和CB在损失优化期间对训练样本的权重与其组密度成比例，当任务难度与组密度不相关时，这种重新加权策略可能会失败大部分数据分割，但他们获得的性能最差相比之下，DRO和S-DRO减少了最佳情况和最差情况子组之间的差距，同时不会损害或有时甚至改善整体性能。为了深入了解S-DRO如何实现比普通DRO更好的性能，图2显示了DRO和S-DRO下子组的最坏情况损失。 正如预期的那样，DRO的批次间损失差异很大。S-DRO有效地降低了这种稀疏子群的损失方差，并在改善最坏情况下的性能方面优于DRO。第五章结论在这项工作中，我们建议从最大限度地提高最坏情况下的性能的角度来解决组的公平性建议的问题。我们提出了一个流优化的DRO，减少了由于数据稀疏的建议损失估计的方差。 通过在大规模数据集上的实验，我们证明了我们提出的技术在同时实现改进的最坏情况和整体性能方面的有效性。未来的方向是在损失优化期间研究组硬度的替代代理，特别是当代理损失和端到端检索性能不一致时[26]。另一个方向是开发自适应权重更新策略，与元学习的精神类似[25]。我们期待这些新的·····3610改善最差情况用户体验的分布式稳健建议WWW'22，2022年4月25日至29日方向，以实现更好的甜蜜点，通过改善最坏的情况和整体性能，为广泛的应用。引用[1] 希曼·阿布杜拉珀里罗宾·伯克和班沙德·莫巴舍2017.学习排名推荐中的流行度偏差控制 第十一届ACM推荐系统会议论文集。42比46[2] Himan Abdollahpouri ， Masoud Mansoury ， Robin Burke ， BamshadMobasher，and Edward Malthouse.2021.推荐系统中以用户为中心的流行度偏差评估。第29届ACM用户建模、自适应和个性化会议论文集。119比129[3] Alex Beutel，Jilin Chen，Tulsee Doshi，Hai Qian，Li Wei，Yi Wu，Lukasz Heldt，Zhe Zhao，Lichan Hong，Ed H Chi，et al.2019年。 通过成对比较的推荐排名的公平性。 第25届ACM SIGKDD知识发现&数据挖掘国际会议论文集。2212-2220[4] Alex Beutel，Ed H Chi，Zhiyuan Cheng，Hubert Pham和John Anderson。2017年。超越全球最优：专注于改进建议的学习 在第26届万维网国际会议上。203-212[5] 乔纳森·伯德和扎卡里·利普顿。2019年。重要性加权在深度学习中的作用是什么国际机器学习会议。PMLR，872[6] Allison JB Chaney，Brandon M Stewart和Barbara E Engelhardt。2018年推荐系统中的算法混淆如何增加同质性并降低效用。 第12届ACM推荐系统会议论文集。224-232[7] Qiwei Chen， Huan Zhao， Wei Li， Pipei Huang ， and Wenwu Ou.2019年。 行为序列Transformer在阿里巴巴电子商务推荐中的应用。第一届高维稀疏数据深度学习实践国际研讨会论文集。一比四[8] Yin Cui，Menglin Jia，Tsung-Yi Lin，Yang Song，and Serge Belongie.2019年。 基于有效样本数的类平衡损失。IEEE/CVF计算机视觉与模式识别会议论文集。9268-9277。[9] John Duchi，Elad Hazan，和Yoram Singer.2011年。在线学习和随机优化的自适应次梯度方法。Journal of Machine Learning Research12，7（2011）.[10] John Duchi和Hongseok Namkoong 2018.通过分布鲁棒优化学习具有一致性能的模型 arXiv预印本arXiv：1810.08750（2018）。[11] 约纳坦·盖夫曼和兰·亚尼夫2017.长尾上的深度主动学习。arXiv预印本arXiv：1711.00941（2017）。[12] 卡斯珀·汉森、克里斯蒂安·汉森、卢卡斯·梅斯特雷、里沙布·梅赫罗特拉、布赖恩·布罗斯特、费德里科·托马西和穆尼亚·拉尔马斯。2020年。用于大规模音乐推荐的上下文和第十四届ACM推荐系统会议。53比62[13] Moritz Hardt，Eric Price，Nathan Srebro.2016年。监督学习中的机会平等。arXiv预印本arXiv：1610.02413（2016）。[14] F麦克斯韦哈珀和约瑟夫A康斯坦。2015年。 电影镜头数据集：历史和背景。ACM交互式智能系统交易（TIIS）5，4（2015），1[15] Tatsunori Hashimoto ， Megha Srivastava ， Hongseok Namkoong ， and PercyLiang.2018. 在重复损失最小化中没有人口统计的公平性 在第35届机器学习国际会议（Proceedings of Machine Learning Research，Vol. 80）。PMLR，1929[16] 赫尔曼·卡恩和安迪·马歇尔。一九五三年减少蒙特卡罗计算中样本量的方法Journal of the Operations Research Society of America 1，5（1953），263-278.[17] Walid Krichene和Steffen Rendle。2020年。关于项目推荐的抽样指标 第26届ACM SIGKDD知识发现&数据挖掘国际会议论文集。1748-1757年。[18] Hoyeop Lee，Jinjiang Im，Seongwon Jang，Hyunsouk Cho，and Sehee Chung.2019. MeLU ： 用于冷启动推荐的元 学 习 用 户 偏 好 估 计 器 。 第 25 届 ACMSIGKDD知识发现数据挖掘国际会议论文集。1073-1082.[19] 格雷格·林登布伦特·史密斯和杰里米·约克2003年。亚马逊协同过滤：项目到项目的协同过滤。IEEE Internet Computing 7，1（2003），76-80.[20] Augusto Q Macedo ， Leandro B Marinho ， and Rodrygo LT Santos.2015年。基于事件的社交网络中的上下文感知事件推荐 第九届ACM推荐系统会议论文集。123-130[21] Hongseok Namkoong和John C Duchi。2016.随机梯度法求解具有f-发散的分布鲁棒优化问题在NIPS，卷。第二十九章。2208-2216.[22] Jianmo Ni，Jiacheng Li，and Julian McAuley.2019年。使用远距离标记的评论和细粒度的方面来证明在2019年自然语言处理经验方法会议和第九届自然语言处理国际联合会议（EMNLP-IJCNLP）的会议中。188-197.[23] Flavien Prost、Nithum Thain和Tolga Bolukbasi。2019.去偏嵌入减少文本分类中的性别偏见。arXiv预印本arXiv：1908.02810（2019）。[24] 约翰·罗尔斯。1958.公正即公平。哲学评论67，2（1958），164-194。[25] Mengye Ren，Wenyuan Zeng，BinYang，and Raquel Urtasun. 2018. 学习为强大的深度学习重新加权示例。国际机器学习会议。PMLR，4334[26] Steffen Rendle，Christoph Freudenthaler，Zeno Bronner，and Lars Schmidt-Thieme.2012. BPR：贝叶斯个性化排名从隐式反馈。 arXiv 预印本arXiv：1205.2618（2012）。[27] Shiori Sagawa ， Pang Wei Koh ， Tatsunori B Hashimoto ， and PercyLiang.2019年。群移位的分布鲁棒神经网络：关于正则化对最坏情况泛化的重要性。 arXiv预印本arXiv：1911.08731（2019）。[28] ZeyuWang，Klint Qinami，Ioannis Christiane Karakozis，Kyle Genova，Prem Nair，Kenji Hata，and Olga Russakovsky. 2020.视觉识别的公平性：减轻偏见的有效策略。IEEE/CVF计算机视觉与模式识别会议论文集。8919-8928[29] JiYang ， Xinyang Yi ， Derek Zhiyuan Cheng ， Lichan Hong ， Yang Li ，Simon Wang，Taibai Xu，and Ed H. 气。2020年。 混合负采样用于学习推荐中的双塔神经网络[30] Sirui Yao ， Yoni Halpern ， Nithum Thain ， Xuechi Wang ， Kang Lee ，Flavien Prost，Ed H Chi，Jilin Chen，and Alex Beutel.2021年使用模拟用户测量推荐系统效果。arXiv预印本arXiv：2101.04526（2021）。[31] XinyangYi ， Ji Yang ， Lichan Hong ， Derek Zhiyuan Cheng ， LukaszHeldt，AditeeKumthekar，Zhe Zhao，Li Wei，and Ed Chi. 2019. 用于大型语料库项目推荐的采样偏差校正神经模型。 第13届ACM 推荐系统会议论文集。269-277。[32] Yin Zhang，Derek Zhiyuan Cheng，Tiansheng Yao，Xinyang Yi，LichanHong，and Ed H Chi.2020年。两个故事的模型：改进长尾项目推荐的双迁移学习框架 arXiv预印本arXiv：2010.15982（2020）。[33] Zhe Zhao， Lichan Hong ，Li Wei，Jilin Chen， Aniruddh Nath， ShawnAndrews，Aditee Kumthekar，Maheswaran Sathiamoorthy，Xinyang Yi，and Ed Chi.2019年。推荐下一个要看的视频：多任务排名系统。 在第13届ACM推荐系统会议上。43比51
我的内容管理
展开
