端到端深度关注个性化条目检索：在线内容共享平台的挖掘尝试模型

2870面向在线内容共享平台的端到端深度关注个性化条目检索Jyun-YuJiangg美国加州大学洛杉矶分校jyunyu@cs.ucla.edu郑恒泽谷歌公司，美国加利福尼亚hengtze@google.com山景城哈里什·加纳帕蒂谷歌公司，美国加利福尼亚gharish@google.com山景城梼杌谷歌公司，美国加利福尼亚iotao@google.com山景城信阳驿谷歌公司，美国加利福尼亚xinyang@google.com山景城尼廷·金达尔谷歌公司，美国加利福尼亚nitinjindal@google.com山景城铎王美国加州大学洛杉矶分校weiwang@cs.ucla.edu乔治·鲁波斯谷歌公司，美国加利福尼亚roumposg@google.com山景城智贤谷歌公司，美国加利福尼亚edchi@google.com山景城曹培谷歌公司，美国加利福尼亚pei@google.com山景城摘要现代在线内容共享平台托管了数十亿个项目，如音乐，视频和各种提供商上传的产品，供用户发现他们感兴趣的项目。 为了满足信息需求，如何在用户搜索查询的情况下进行有效的项目检索（或项目搜索排名）已成为在线内容共享平台最基本的问题之一。此外，相同的查询可以为不同的用户表示不同的搜索意图，因此个性化对于提供更满意的搜索结果也是必不可少的。与其他类似的研究任务不同，如ad-hoc检索和具有大量单词和评论的产品检索，内容共享平台中的项目通常缺乏足够的描述信息和相关的元数据作为特征。在本文中，我们提出了端到端的深度挖掘尝试模型（EDAM）来处理个性化项目检索的在线内容共享平台，只使用离散的个人项目的历史和查询。首先将用户及其内容提供者的个人项目历史中的每个离散项目映射到作为连续表示的嵌入向量一个查询感知的注意力机制，然后应用到识别用户历史中的相关上下文，并构建一个给定的查询的整体个人表示。最后，一个极端的多类softmax分类器聚合查询和个人项目历史的表示，以提供在谷歌实习时完成的工作。本文在知识共享署名4.0国际（CC-BY 4.0）许可下发布作者保留在其个人和公司网站上以适当的署名传播作品的权利WWW©2020 IW 3C 2（国际万维网大会委员会），在知识共享CC-BY 4.0许可下发布。ACM ISBN 978-1-4503-7023-3/20/04。https://doi.org/10.1145/3366423.3380051个性化的搜索结果。我们在一个大规模的真实世界数据集上进行了广泛的实验，该数据集拥有来自Google大型视频媒体平台的数亿用户。实验结果表明，我们提出的方法显着优于几个竞争力的基线方法。值得一提的是，这项工作利用了来自真实世界商业内容共享平台的海量数据集进行个性化项目检索，以从行业方面提供更有见地的分析。关键词项目检索，个性化，注意力机制，在线内容共享平台，真实世界日志分析。ACM参考格式：Jyun-Yu Jiang ， Tao Wu ， Georgios Roumpos ， Heng-Tze Cheng ，Xinyang Yi，Ed Chi，Harish Ganapathy，Nitin Jindal，Pei Cao，andWei Wang.2020年。在线内容共享平台的端到端深度关注个性化项目检索。 在网络会议2020（WWW '20）的会议记录，2020年4月20日至24日，台北，台湾。ACM，美国纽约州纽约市，8页。http：//doi.org/10.1145/3366423.33800511引言如今，在线内容共享平台，如音乐流媒体系统、照片和视频共享平台以及在线电子商务，已经成为我们生活中最不可或缺的媒体之一[6]。然而，大量的用户也伴随着无数的上传内容。为了减轻从海量语料库中发现合适内容的负担，项目搜索成为获取相关项目以确定查询和满足用户信息需求的最基本功能之一与ad-hoc搜索任务[28]相比，项目检索中的查询通常简短而模糊，而用户搜索意图可以2871WWW表1：不同个性化搜索任务之间的比较个性化任务描述性信息Meta信息特别搜索网页搜索微博搜索产品搜索✓ （文件）✓ (web页数）✓ （推特）✓ （产品评论）✗✗✓ （标签）✓ （类别）项搜索✗✓ （内容提供商）图1：一个例子，用户有不同的搜索意图与相同的查询项目检索。更加模糊。图1示出了两个用户的模糊查询和不同搜索意图的示例更具体地，某个查询可以同时与多个项目相关，而用户可以对该查询具有不同的搜索意图因此，搜索结果应该针对不同用户的信息需求进行个性化此外，用户和项目的描述信息的缺乏进一步增加了个性化的难度因此，个性化项目检索仍然是一个重要的研究问题，特别是对于每天有数百万用户的商业平台。利用用户历史行为可以揭示用户的兴趣，这是个性化检索的可行方案之一，在产品搜索和ad-hoc搜索等研究任务中已经研究了这一思想。例如，多项研究[2，3，16]将购买产品的评论总结为个性化产品搜索的连续用户特征点击文档中的单词可用于识别用户搜索意图，以进行个性化的自组织搜索[5，9，34，36]。然而，有几个现有的研究，解决个性化的项目检索与用户历史，而以前的作品大多集中在利用-ING描述性的文档内容。此外，个性化的ad-hoc和产品搜索方法需要描述性信息，如评论，这些信息通常不适用于内容共享平台中的项目。因此，尽管现有的方法已经证明了描述性信息的有效性，但个性化项目检索需要在没有用户历史中项目的任何附加信息的情况下获得用户特征。在没有任何描述性信息的情况下，机器学习模型需要学习作为输入的项目的连续表示。 为了得到合适的项目表示，以前的一些研究[14]建议预先训练项目嵌入，然后学习具有固定项目表示的检索模型。然而，预训练的嵌入和多阶段方法导致现实世界内容共享平台中的项目检索的几个缺点。首先，每天都有大量的新项目上传到系统中，因此需要频繁地重新开始预训练，以避免冷启动问题。其次，固定的项嵌入使检索模型退化，使得项表示不能根据查询和检索任务的目标灵活地优化。最后但并非最不重要的是，多阶段方法可能过于复杂，无法集成到复杂的现实世界中生产管道有许多组件。因此，工业内容共享平台需要一种端到端的项目检索方法在本文中，我们提出了端到端的深度挖掘尝试模型（EDAM），以解决在线内容共享平台的个性化项目检索的问题。在没有任何描述性信息的情况下，我们学习每个项目和每个内容提供者的连续表示，以便查询感知注意机制可以从个人项目历史中获得历史项目和内容提供者表示。此外，我们建议利用外部关键字嵌入估计项目的注意力权重在不同的潜在空间。用户历史中的顺序知识也可以通过保持上下文项的项局部性来学习在真实商业内容共享平台的大规模数据集上的实验表明，EDAM在不同评估指标和历史长度的相关个性化搜索任务中显著优于传统的基线方法。在文献中，尽管之前的研究都没有关注在线内容共享平台的个性化项目检索个性化产品搜索[2，3，16]是考虑使用产品评论等描述性信息的最相关任务之一更准确地说，描述性信息可以解释和链接用户和产品。结构化信息[11，12，27，32，42]和上下文图像[13]也可以应用于个性化。然而，所有这些都依赖于描述性信息。一些研究[4，20，23，41]进行特征工程并学习单独的排名模型。 个性化列表搜索[14，17]也与我们的工作有关，但它们高度依赖异构Meta数据和预训练的嵌入。除了个性化产品搜索之外，ad-hoc搜索[5，9，18，29，34，36- 38 ]和微博搜索[ 31，40 ]中的个性化然而，所有现有的方法都需要描述性的信息，而一些模型需要单独学习。表1总结了不同个性化搜索任务之间的比较。带疑问的项目建议[7，8，10，25，26，33，35]和神经信息检索[15，21，30，43]也可以被视为与这项工作相关的任务。我们的贡献可以概括为：据我们所知，这项工作是个人化的项目搜索检索的先驱，查询在线内容共享平台，而不考虑任何描述性信息。此外，这是第一次使用真实世界商业媒体共享平台的数据集进行实验。本文提出了一种面向个性化检索的端到端深度挖掘模型（EDAM）。 项及其提供者的嵌入可以从用户历史中适当地学习，从而导出具有查询感知的历史表示。03 The Dog（1985）02 The Dog（2011）“明天”··面向在线内容共享平台的端到端深度关注个性化条目检索WWW2872.∈（）下一页∈（）（）.Σ√′.（ ）·∈（）.响应内容提供商HC（u）=Σ√′C（v）|v∈HV（u）C.论文中，我们估计了每个项目在用户历史中的重要性注意机制和外部项目键嵌入。用户历史中的顺序知识也可以通过局部保持来学习。此外，所提出的端到端框架可以很容易地集成到现实世界的生产系统中。实验是在来自最大的在线内容共享平台之一的数据集上进行的实验结果表明，EDAM显著优于几种常规基线。深入的分析还显示了EDAM及其组件的鲁棒性。2一种端到端的个性化物品检索深度注意在本节中，我们首先正式定义了本文的目标，然后介绍了我们提出的方法，端到端的尝试性模型（EDAM），以解决在线内容共享平台的个性化项目检索任务2.1问题陈述在本文中，我们专注于个性化项目检索使用查询和个人项目的历史，如观看的视频和听音乐。假设V和C是项目和内容提供者的语料库，其中项目v的内容提供者c表示为a. sC（v）∈C<$。每一个q都是一组项T（q）的组合，2.3用于用户历史建模的具有外部密钥记忆的查询感知注意力为了利用用户历史中的知识，我们提出了具有外部关键字记忆的查询感知注意力模型。更确切地说，基于嵌入的模型在历史项和内容提供者的潜在空间中导出连续表示查询嵌入。 对于给定的查询，我们推导出一个连续的袋的条款表示为查询嵌入聚合由于生产效率的术语嵌入。形式上，查询q的查询嵌入q∈Rd可以计算为：q=ti∈T（q）ti，|Q|其中tiRdT是项ti在Q. 请注意，查询嵌入方法可以简单地用其他方法代替，但本文中我们重点关注用户历史建模此外，术语袋方法对于现实世界生产系统中的罕见查询是鲁棒的，并在以前的各种研究中使用[3]。具有查询感知注意力的用户历史建模如图所示在以前的研究中[2，3]，用户历史可以用于个性化。然而，用户历史中的许多活动可能与用户搜索意图无关。在项目检索任务中，查询起着最重要的作用，直接代表了用户的搜索意图。因此，我们使用查询信息-用于具有查询感知注意力的用户历史建模更t1，···，t|Q|，其中i是q的第i项;|Q|是指具体地，导出两个连续表示以指示在q中的项。用户u的简档可以由个人项目历史表示为一组访问的项目Hv（. u）V和cor的集合（）用户历史中的相关项目和内容提供者。以历史项目表示为例。在这对于用户u和查询q，R q，u V指示对应的与查询相关的一组项目。给定用户u和查询q，我们的目标是对V中的所有项目进行排名，以便相关项目R q，u可以尽可能高地排名请注意，这项任务极其困难，因为只有个人物品历史记录可用与缩放点产品的注意力[39]。对于user中的每个项目，历史v HVu，注意力权重α v，q为重要性可以如下计算查询qexp.qTv/d而元数据和描述性信息都不被授予项目和内容提供商。α（v，q）=v′∈HV（u） exp.QT、v/d2.2框架概述图2示出了所提议的框架人员的图示其中q和v是d维查询和项嵌入。历史项表示h V然后可以表示为单个项嵌入的加权和h V =vHV u α v，qv。同样，历史内容提供商hC可以如下导出用于在线内容共享的具有用户历史的自动化项目检索平台用户历史记录中的项和内容提供程序是第一位的。exp.qTc/d映射到项嵌入和提供程序嵌入，而查询嵌入是通过聚合hC=c∈HC（u）c′∈HV（u） exp.QT、C/d查询项。通过查询感知注意机制，我们可以-计算每个提供者和每个项目的重要性，从而获得历史项目和内容提供者的最终表示。此外，我们建议利用外部项目的关键记忆更好地估计项目的重要性。最后，在聚合查询和用户历史的表示之后，可以通过候选项上的softmax函数来导出个性化的搜索结果。此外，项目的关键字嵌入可以通过一个辅助分类任务与查询嵌入，而在用户历史中的顺序知识，可以通过本地保存项目和提供者嵌入学习。其中C是内容提供商C的嵌入。项目注意的外部键嵌入。通常，查询感知注意力将历史项和内容提供者投影到潜在查询嵌入空间上，使得嵌入相似性可以被视为重要性分数。但是，查询嵌入空间可能不适合表示项和内容提供程序。此外，不同实体的嵌入空间可以不同。尽管一些研究[2，3]应用非线性变换将嵌入投射到同一空间中以估计注意力权重，但独立地建模表示和估计注意力权重可能会更好·WWWJyun-Yu Jiang等2873∈.（）·∈（）（·）（[]）--（一）|{}）（一）|{}）.∈（一）|）∈v′∈HV（u）expq kv′/D.通过复杂的计算，搜索结果服务分类使用Item Key Softmax训练辅助排名器作为softmax标签项全连接层历史提供商表示供应商注意提供程序嵌入等级进行项密钥嵌入Q权重softmax历史项目表示项目注意事项项目密钥嵌入项目嵌入c1c2c|HC（u）t1t|Qv1v2v|HV（u）局部保持历史记录内容提供程序查询令牌历史记录项图2：所提出的框架，端到端的深度注意力模型（EDAM），个性化的项目检索的插图在这项工作中，我们建议使用额外的外部关键字嵌入，丁估计项目的注意力权重。对于每个项v V，我们不使用项嵌入v，而是独立地学习查询嵌入空间中的外部密钥嵌入kv，以计算注意力权重，如下所示：exp。qTk。v/d搜索结果可以通过最近邻搜索来近似，以提高服务于真实世界生产系统的效率它也与现有的工业方法一致[8]。2.5辅助排名与项目键Softmax当项目键嵌入对于估计重要性至关重要时α k（v，q）=.T在用户历史记录中的每一个项目，他们只能联合起来，因此，可以重写历史项表示hV如hV=v HVuαkv，qv。请注意，我们不学习内容提供者的外部键嵌入，因为它们不会带来第3节中讨论的改进。最后，为了捕获查询和用户历史的知识并对它们的交互进行建模，可以使用全连接层h=ReLUWh h0+bh来计算用于导出搜索结果的最终特征h，其中h0=q;hV;hC连接查询嵌入以及用户历史中的项目和内容提供者的表示;Wh和bh表示dh个隐藏单元的层权重和偏置; ReLU是作为激活函数的校正线性单元注意事项事项为了学习更好的项键嵌入，我们提出一个额外的辅助排序器用于正则化。由于项目关键字嵌入与查询嵌入共享相同的潜在空间，因此项目关键字嵌入也可以相对地用于估计相关性。辅助任务旨在仅利用查询q和所有项ki的项关键字嵌入来估计相关性得分P vq，ki。在这里，我们提出了项键softmax来解决辅助任务和锐化项键嵌入。形式上，可以通过将softmax的权重替换为项键嵌入来计算项v的查询q的相关性得分Pv q，ki，如下：exp（qTkv）、2.4分级为了得出排名结果，我们遵循以前的工业P（v |q，{ki}）=v′∈V exp（qTkv′）方法[8]将排序问题作为具有最终特征h的极端多类分类的任务。更确切地说，给定查询q和用户u，我们的目标是计算每个候选项v V的概率得分P v q，u作为与查询的估计相关性。给定最终特征h，我们可以导出logits xR|V|对于具有全连接层的多类分类，x=W s h，其中W s表示用于获得logits的权重。最后，相关性得分P（v |q，u）可以用softmax计算其中q是查询嵌入;kv是项v的项键嵌入。最后，如果项目键嵌入也能够直接指示与查询的相关性，则它们可以更具信息性。此外，辅助任务也可以与第2.4节中介绍的主要检索任务联合处理，以便可以使用项目注意力和项目键softmax来训练项目键嵌入。2.6局部保持职能如下：.exp（x）P（v|q，u）=，连续的用户行为也可以指示关系vv′exp（xv′）其中xv是项目v在x中的对应logit。然后可以通过对相关性分数进行排名来生成搜索结果。请注意，我们不会学习计算logits的偏差，因为在项目和内容提供商之间。换句话说，用户历史中的项目也可以有益于学习它们的嵌入。在这项工作中，我们进行本地保存的用户历史记录中的项目的本地模式与连续的词袋（CBOW）模型作为一个额外的正则化任务。softmax面向在线内容共享平台的端到端深度关注个性化条目检索WWW2874Xvv22vi..Σ···I+2i−2v∈Vexp（sTxi）22Softmax分类器隐藏层历史项目v1vi-L时间vivi1vi+1vi+Lv|HV（u）最后，多任务学习的目标将不同分量的损失函数组合为L = L秩+L辅助+L局部。高效优化。 为了用语料库中的数百万个项目和内容提供者有效地训练模型，我们依赖于从背景分布中抽取负类作为候选，以避免计算量过大[22]。更具体地说，对于每个训练实例，交叉熵用真标签的类和几个负采样类最小化。实际上，对数千个负类进行采样可以使生产系统中的传统优化加速超过100倍，如以前的研究所示[8]。图3：连续词袋（CBOW）以历史文物为载体的地方保护模式。图3显示了用户历史记录中项的CBOW模型示例。给定某个项vi的L个上下文项，局部性保持假设上下文项的嵌入能够推断项vi。 更正式地说，我们的目标是最大化由softmax函数计算的以下目标：对于位置保存任务，枚举用户历史中的所有单个项和内容提供程序也很耗时因此，在每个训练阶段，我们随机采样一个项目和一个内容提供者，以优化目标。换句话说，我们手动进行随机梯度下降的学习局部保持的一部分，从而达到数百倍的加速枚举所有可能的候选人。P.vi|v哪里L，vi−1，vi+1，vL=.exp（sTxi）v3实验在本节中，我们进行了大量的实验和深入的分析，以验证我们提出的方法的性能sj导出项目j的logit;xi是上下文项的嵌入为xi = i− L ≤j ≤i+ L，j <$i vj。类似地，项键嵌入ki也可以通过基于用户历史中的项序列的局部保留来正则化，如图2所示。2.7多任务学习与优化应用多任务学习同时优化EDAM中不同组件的对象，包括（1）分类作为排序，（2）辅助排序器，以及（3）局部保持。每个组件具有与其他组件的损耗联合优化的相应损耗对于作为排序和辅助排序器的分类，任务使用共享训练数据解决极端的多类分类问题。因此，我们利用预测分布和金标准y之间的交叉熵[19]作为损失函数。形式上，两个任务的损失可以计算为：3.1实验设置实验数据集。本文的实验基于Google的一个大型视频媒体平台的用户日志，以视频为条目，频道为内容提供者，数据集包含1.84亿用户的400个最近访问条目，其中部分条目是在发出查询后访问的。为了减轻稀有项目的影响，如果项目不在前1M个项目中，则用词汇表外（OOV）项目替换项目。类似地，如果内容提供商不在前400K提供商的列表中，则由OOV提供商接管标签项和历史选择。与查询相关联的项被视为与相应查询相关的标签项。回答问题。 注意，OOV项将不被选择为标签，以防止训练和评估受到由模糊性引起的噪声的影响。为了避免日志中的时间泄漏，我们遵循L秩 =−。yvlog P（v|q，u），Laux =−。yvlog P（v|q，{ki}），以前的工作[8]，以获得个人项目历史的上下文图4示出了标签项的图示和哪里v∈Vv∈V为给定查询选择个人项目历史例如，vi是yv表示v是否是黄金标准y中的标签项。对于局部性保持，可以针对用户历史中的每个项目或内容提供者将其视为另一个极端的多类分类任务因此，不同嵌入的局部保持损失可以表示为：Llocality_item=而不是没有相应查询的标签项相反，vj是标签项，因为它是在查询qj之后访问的。给定带有查询qj的标签项vj，所选择的项历史被认为是v1，v2，.，vj。培训和评估。 为了评估，我们随机抽样..1[v i= v j] log P。V J|vi − L，v i−1，vi+1，vi + L，10%的用户及其日志作为测试数据，其余90%的用户数据作为训练数据集。到vi∈HV（u）vj∈VLlocality_item_key=2 2减少勤奋用户的偏见与更多的标签项目，我们只采用测试数据集中每个用户的最后一个标签项进行评估，..1[v i= v j] log P。V J|ki − L，ki−1，ki+1，ki + L，评估。相反，在每个时期，我们独立地对一个vi∈HV（u）vj∈V为每个培训用户添加2个标签项，以便受欢迎的用户不会过度训练了更多的标签项目。此外，不同的标签项其中局部保存的总体损失可定义为：L局部性 =L locality_item + L locality_item_key。可以在训练时期内检查用户的行为竞争基准。虽然现有的工作都没有集中在个性化的项目检索在线内容共享、WWWJyun-Yu Jiang等2875项历史记录方法用户历史2009年12月31日- 刚果民主共和国- 黎巴嫩镑[0，50][51，100][101，200][201，v1v2vivJ-1标签VJvj+1百分之五十四百分之五十二百分之五十百分之四十八选择项历史q2qj百分之四十六百分之四十四百分之四十二百分之四十百分之三十八图4：标签项的图示和给定查询的个人项历史的选择百分之三十六SR@1SR@3度量SR@5SR@10在没有描述性信息的平台上，可以通过用嵌入代替描述性信息的编码器来修改用于其它检索任务的方法，作为解决方案。在我们的实验中，查询嵌入模型（QEM）[3]，层次嵌入模型（HEM）[3]，零注意模型（ZAM）[2]，注意卷积神经网络（ACNN）和递归神经网络（ARNN）[16]被认为是比较基线方法。评价 对于评估，我们采用top-k（SR@ k）[28]的成功率来评估模型的性能。 更准确地说，SR@ k表示可以在排名前k的项目中找到的标签项目的百分比。实施细节。 该模型由Tensor-flow [1]实现，并由Adam [24]优化，初始学习率为1 e-5。嵌入维数d和隐藏单元数dh在微调后被设置为128和256。对于所有基线，我们还微调了所有超参数，以进行公平的比较和评估。3.2实验结果总体评价。图5显示了不同方法的性能。对于基线，QEM表现最差，因为它只考虑查询信息，而HEM通过利用用户历史实现更好的性能AEM和ZAM是最好的基线，注意力适当地识别历史上的重要项目和提供者 ACNN和ARNN的性能较差，因为它们过于强调顺序信息，而顺序信息并不像个性化搜索中历史和查询之间的关系那样重要。我们提出的EDAM显著优于所有基线。 这是因为外部项键嵌入可以更恰当地对查询历史关系进行建模，而局部性保持可以正确地学习序列知识。用户历史的长度然后，我们分析了不同长度的用户历史的性能。图6展示了在用户历史记录中不同项目数的方法的SR@1得分对于所有使用用户历史的方法用户历史中的项目越多，对QEM的改进就越大。当历史项目的数量有限时，所有利用用户历史的基线的性能都比QEM差相比之下，我们提出的EDAM一致性优于不同历史长度的所有基线它表明，EDAM是能够从用户历史的不同情况下的用户历史中获得必要的消融研究。在这里，我们进行了一项消融研究，以证明EDAM中不同组件的有效性表2图5：不同职位的方法成功率表2：有和没有辅助排序器（AR）和局部保留（LP）的EDAM的SR@1评分。百分之四十二百分之四十百分之三十八百分之三十六百分之三十四百分之三十二百分之三十百分之二十八百分之二十六0~50 51~100 101~200 201~400历史项目图6：具有不同用户历史长度的方法的SR@1得分。描述了具有和不具有辅助排序器（AR）和局部保持（LP）的EDAM的SR@1分数结果表明，AR和LP在不同的历史长度上都是一致有益的，而AR对EDAM起着更重要的作用。特别是，AR可以为更短的用户历史带来更大的改进。 它进一步证明了EDAM仅使用有限数据对个人信息进行建模的能力，如图6所示。内容提供者密钥嵌入。除了历史项，我们还尝试将外部密钥存储器应用到建模内容提供程序中以实现个性化。表3显示了使用两种不同的密钥嵌入的ZEM和EDAM的SR@1分数。尽管项键嵌入带来了显著的改进，但外部键内存不适用于建模内容提供程序。这可能是因为内容提供者的标签项可能是相关的搜索历史查询QEMHEMACNNARNNAEMZAMEDAMQEMHEMACNNARNNAEMZAMEDAM成功率（SR）Top-1成功率（SR@1）面向在线内容共享平台的端到端深度关注个性化条目检索WWW2876----表3：使用项目密钥嵌入或内容提供者密钥嵌入的ZEM和EDAM的SR@1分数方法用户历史整体[0，50][51，100][101，200][201，400]ZEM0.39570.31550.35700.37090.4056EDAM（项目）0.40970.32970.37180.38220.4196EDAM（供应商）0.38080.31060.35130.36080.3892不同的查询，所以学习的嵌入是嘈杂的。因此，EDAM只采用项目密钥嵌入。为了对查询和用户历史之间的关系进行建模，提出了具有外部密钥记忆的查询感知注意机制，以获得历史和内容提供者的表示。 序列知识也可以通过保持项目在历史中的局部性来学习。4结论在本文中，我们提出了EDAM解决个性化的项目检索的在线内容共享平台没有任何描述性信息的基础上的查询感知的注意力机制与外部关键字记忆和局部保存的问题。在实际商业在线内容共享平台的大规模数据集上的实验结果和分析也证明了EDAM的有效性和鲁棒性研究发现：（1）用户历史有助于个性化条目检索;（2）学习外部关键条目嵌入来估计注意力权重是有益的，特别是对于条目历史较短的用户;（3）用户历史中的序列信息对条目检索敏感，因此具有局部性保持的EDAM优于序列模型（如ARNN）的基线引用[1] Martín Abadi，Paul Barham，Jianmin Chen，Zhifeng Chen，Andy Davis，Jeffrey Dean，Matthieu Devin，Sanjay Ghemawat，Geoffrey Irving，Michael Isard，et al. 2016.Tensorflow：一个大规模机器学习系统第12届USENIX操作系统设计与实现研讨会（OSDI 16）。265[2] Qingyao Ai，Daniel N Hill，SVN Vishwanathan，and W Bruce Croft.2019年 。 个性化 产品搜索 的 零 注 意 模 型 。 arXiv 预 印 本 arXiv ： 1908.11322（2019）。[3] Qingyao Ai，Yongfeng Zhang，Keping Bi，Xu Chen，and W Bruce Croft.2017.学习用于个性化产品搜索的层次嵌入模型第40届国际ACM SIGIR信息检索研究与发展会议论文集。ACM，645[4] Kamelia Aryafar，Devin Guillory和Liangjie Hong。2017年。一种基于集成的方法来预测Etsy上推广列表的点击率在ADKDD'17的会议记录中ACM，10。[5] Paul N Bennett ， Ryen W White ， Wei Chu ， Susan T Dumais ， PeterBailey，Fedor Borisyuk，and Xiaoyuan Cui.2012年。 模拟短期和长期行为对搜索个性化的影响。 第35届ACMSIGIR国际信息检索研究与发展会议论文集。ACM，185-194.[6] Jean Burgess和Joshua Green2018年YouTube：在线视频和参与式文化。约翰·威利父子公司[7] 陈敬元，张汉旺，何向南，聂立强，刘伟，蔡达生. 2017.注意协同过滤：具有项目和组件级别注意力的多媒体推荐。在第40届国际ACM SIGIR会议上，信息检索的研究和发展。ACM，335-344.[8] 保罗·卡温顿，杰伊·亚当斯，埃姆雷·萨金。2016.用于youtube推荐的深度神经网络。第10届ACM推荐系统。ACM，191[9] Mariam Daoud，Lynda Tamine-Lechani，and Mohand Boughanem.2008年学习基于会话的个性化搜索的用户兴趣 在第二届国际信息交互研讨会论文集的背景下。ACM，57[10] James Davidson，Benjamin Liebald，Junning Liu，Palash Nandy，Taylor VanVleet ， Ullas Gargi ， Sujoy Gupta ， Yu He ， Mike Lambert ， BlakeLivingston，et al. 2010. YouTube视频推荐系统第四届ACM推荐系统会议论文集。ACM，293[11] 会中段、呈祥斋。2015年。矿业协调意向代表用于实体搜索和推荐的发送 第24届ACM国际信息与知识管理会议论文集。ACM，333-342.[12] 段惠忠、翟成祥、成金星、加塔尼。2013年。一种用于产品搜索日志挖掘与分析的概率混合模型第22届ACM信息知识管理国际会议论文集。ACM，2179[13] Anjan Goswami，Naren Chittar，和Chung H Sung。2011年。商品图像对网路购物使用者点击影响之研究在第20届国际会议上万维网伴侣的会议记录。ACM，45-46。[14] Mihajlo Grbovic和Haibin Cheng。2018年Airbnb使用嵌入式搜索引擎进行实时个性化排名 第24届ACM SIGKDD知识发现&数据挖掘国际会议论文集。ACM，311[15] 郭佳峰，范义兴，艾庆耀，W Bruce Croft。2016年。 一种用于ad-hoc检索的深度相关匹配模型。 第25届ACM国际信息与知识管理会议论文集。ACM，55[16] Yangyang Guo，Zhiyong Cheng，Ligen Nie，Yinglong Wang，Jun Ma，and Mohan Kankanhalli.2019年。个性化产品搜索的注意长短期偏好建模ACM信息系统交易（TOIS）37，2（2019），19。[17] Malay Haldar，Mustafa Abdool，Prashant Ramanathan，Tao Xu，ShulinYang，HuizhongDuan，Qing Zhang，Nick Barrow-Williams，Bradley CTurnbull，Bren-dan M Collins，et al. 2019年。深度学习在Airbnb搜索中的应用 第25届ACM SIGKDD知识发现&数据挖掘国际会议论文集。ACM，1927[18] Balázs Hidasi，Alexandros Karatzoglou，Linas Baltrunas，and DomonkosTikk.2015.使 用 递 归 神 经 网 络 的 基 于 会 话 的 推 荐 。 arXiv 预 印本 arXiv：1511.06939（2015）。[19] 杰弗里·E·辛顿和鲁斯兰·R·萨拉胡迪诺夫。2006年。用神经网络降低数据的维数。science313，5786（2006），504[20] Yujing Hu，Qing Da，Anxiang Zeng，Yang Yu，and Yinghui Xu.2018年强化学习在电子商务搜索引擎中的排名：形式化、分析与应用。第24届ACMSIGKDD知识发现数据挖掘国际会议论文集&。ACM，368[21] Po-Sen Huang，Xiaodong He，Jianfeng Gao，Li Deng，Alex Acero，and Larry见鬼2013年。使用点击数据学习网络搜索的深度结构化语义模型第22届ACM信息知识管理国际会议论文集。ACM，2333[22] Jestien Jean ， Kyunhyun Cho ， Roland Memisevic ， and YoongeBengio.2015年。使用非常大的目标词汇进行神经机器翻译。 在第53届计算语言学协会年会和第7届亚洲自然语言处理联合会自然语言处理国际联合会议上，ACL-IJCNLP 2015。 计算语言学协会（ACL），1-10。[23] Shubhra Kanti Karmaker Santu ， Parikshit Sondhi 和 ChengXiang Zhai 。2017年。学习排名在电子商务搜索中的应用。第40届国际ACM SIGIR信息检索研究与发展会议论文集。ACM，475[24] Diederik P Kingma和Jimmy Ba。2014年。亚当：一种随机优化方法异化。arXiv预印本arXiv：1412.6980（2014）。[25] Jing Li，Pengjie Ren，Zhumin Chen，Zhaochun Ren，Tao Lian，and JunMa.2017年。基于神经注意会话的推荐。2017年ACM信息与知识管理会议论文集。ACM，1419[26] 李胜，贾亚·卡瓦利，傅云。2015年。 通过边缘化去噪自动编码器的深度协同过滤。第24届ACM国际信息与知识管理会议论文集。ACM，811[27] 林宗宗，刘英，李咏彬2010年。基于语义标注产品族本体的多方面产品信息搜索与检索。信息处理管理46，4（2010），479[28] Christopher Manning ， Prabhakar Raghavan ， and Hinrich Schütze.2010年。情报检索导论。自然语言工程16，1（2010），100-103。[29] 尼古拉斯·马蒂亚斯和菲利普·拉德林斯基。2011年。使用长期浏览历史记录个性化网页搜索第四届ACMWeb搜索和数据挖掘国际会议论文集。ACM，25[30] 巴斯卡·米特拉，费尔南多·迪亚兹，尼克·克拉斯韦尔.2017年。学习使用本地和分布式文本表示进行网络搜索匹配。在第26届万维网国际会议上。 国际万维网会议指导委员会，1291-1299。[31] Makbule Gulcin Ozsoy ， Kezban Dilek Onal ， and Ismail SengorAltingovde.2014年。搜索结果多样化网络信息系统工程国际会议。斯普林格78WWWJyun-Yu Jiang等2877[32] Nish Parikh和Neel Sundaresan2011年。超越市场搜索的相关性第20届ACM信息与知识管理国际会议论文集。ACM，2109[33] Steffen Rendle，Christoph Freudenthaler，Zeno Bronner，and Lars Schmidt-Thieme.2009. BPR：贝叶斯个性化排名从隐式反馈。 第25届人工智能不确定性会议论文集。AUAI Press，452[34] 沈雪华，谭斌，翟成祥。2005年用于个性化搜索的隐式用户建模第14届ACM信息与知识管理国际会议论文集。ACM，824[35] Börkur Sigurbjörnsson和Roelof Van Zwol。2008.基于集体知识的Flickr标签推荐。在第17届万维网国际会议上。ACM，327[36] 大卫·桑塔格，凯文·柯林斯·汤普森，保罗·N·贝内特，瑞恩·W·怀特，苏珊·杜迈斯和博多·比勒贝克。2012.个性化网页搜索的概率模型。第五届ACMWeb搜索和数据挖掘国际会议论文集。ACM，433[37] 谭斌，沈雪华，翟成祥。2006.挖掘长期搜索历史，以提高搜索的准确性。第12届ACM SIGKDD知识发现和数据挖掘国际会议论文集。ACM，718[38] 尤里·乌斯蒂诺夫斯基和帕维尔·谢尔久科夫。2013年。 使用短期浏览上下文的网页搜索的个性化。 第22届ACM信息&知识管理国际会议论文集。ACM，1979[39] Ashish Vaswani，Noam Shazeer，Niki Parmar，J