基于用户行为的多任务排序模型优化文本视频搜索的用户体验

126†基于用户行为的文本-视频搜索多任务排序刘培东1， 2，廖栋梁2，<$，王金鹏1， 2，吴阳新2，李功福2，夏树涛1， 3，<$，徐进41清华大学深圳国际研究生院2微信群、腾讯公司3人工智能研究中心，鹏程实验室4华南理工大学未来技术学院{lpd19,wjp20}@mails.tsinghua.edu.cn{brightliao，yangxinwu，gongfuli}@tencent.comxiast@sz.tsinghua.edu.cn，jinxu@scut.edu.cn摘要文本视频搜索已经成为许多行业视频共享平台中的重要需求，例如，，YouTube，TikTok和微信频道，从而吸引了越来越多的研究关注。文本-视频搜索中基于语义相关性的排序方法主要集中在利用视频和查询之间的语义相关性。然而，相关性不再是排名阶段的主要问题，因为从匹配阶段检索的候选项自然保证足够的相关性。相反，我们认为，提高用户满意度应该是排名的最终目标，挖掘廉价而丰富的用户满意度进行模型训练是有希望的。为了实现这一目标，我们提出了一个有效的多任务排名管道与用户行为（MTRUB）的文本视频搜索。具体来说，为了有效地利用多模态数据，提出了一种异构多模态融合模块（HMFM），以自适应的方式融合不同模态的查询和视频特征。此外，我们设计了一个独立的多模态输入方案（IMIS），以减轻多任务学习中的竞争任务相关性问题在微信搜索收集的离线数据集上进行的实验表明，MTRUB在平均gAUC和平均nDCG@10方面分别优于基线12.0%和 13.3%我们还进行了现场实验上的一个大规模的移动搜索引擎，即。与传统的基于相关度的排名模型相比，微信搜索和MTRUB获得了实质性的改进。CCS概念• 信息系统→内容排名。关键词文本视频搜索，排序模型，多任务学习，用户感知，多模态融合通讯作者。这项工作得到了国家自然科学基金62171248和PCNL KEY项目（PCL2021A07）的部分支持。允许免费制作本作品的全部或部分的数字或硬拷贝，以供个人或课堂使用，前提是制作或分发副本的目的不是为了盈利或商业利益，并且副本的第一页上有本声明和完整的引用。版权的组成部分，这项工作所拥有的其他人比ACM必须尊重。允许使用学分进行摘要 以其他方式复制、重新发布、在服务器上发布或重新分发到列表，需要事先获得特定许可和/或付费。请求权限请发邮件至permissions@acm.org。WWW©2022计算机协会。ACM ISBN 978-1-4503-9130-6/22/04。https://doi.org/10.1145/3487553.3524207ACM参考格式：刘培东1，2，廖栋梁2，†，王金鹏1，2，吴阳新2，李功福2，夏树涛1，3，†，徐进4。2022年基于用户行为的多任务排序iors用于文本视频搜索。在网络会议的配套会议记录2022年（WWWACM，美国纽约州纽约市，5页。https://doi.org/10.1145/3487553.35242071引言随着人工智能的发展，研究人员关注不同的主题，如视频理解[15]，神经结构搜索[9]，智能系统[23]等。文本视频搜索是视频理解中的重要任务之一，其目标是在给定文本查询条件下检索出用户满意度最高的视频该任务在工业视频共享平台中的实际应用引起了世界各地研究人员的广泛关注。、YouTube、TikTok和微信频道。近年来，视频理解社区在文本视频搜索方面取得了实质性进展。文本-视频搜索的常见实践集中于利用基于概念的方法、跨模态融合方法和基于潜在空间的方法来挖掘视频和查询之间的语义相关性。基于概念的方法[1，7，14，18，21]依赖于用一组概念表示视频，这些概念用于与查询文本匹配。这些方法的挑战在于如何为视频和查询选择相关和可检测的概念。 至于跨模态融合方法[24- 26]，他们设计了一个跨模态融合子网络，将文本和视频作为输入，并直接产生它们之间的相似性。虽然这些方法是有效的，但它们的搜索效率在现实中是低的，因为视频和文本在馈送到网络之前必须耦合在一起相反，基于潜在空间的方法[4，12，17，22]提出对视频和查询进行编码，然后将它们映射到一个公共潜在空间，由于其出色的排名性能和高效率，该方法通常被使用。在实践中，文本视频搜索通常可以分解为两个阶段，即匹配阶段和排名阶段。在匹配阶段，我们以通常的方式训练视频和查询文本之间的语义相关性模型，以保证获取的视频是语义相关的。然而，在排名阶段，我们认为，语义相关性不再是主要的问题，因为从匹配阶段检索的候选项自然保证足够的相关性。在某些情况下，只考虑语义相关性是不足以提供用户满意的视频给定的查询文本。例如，当用户使用查询文本LeBron James进行搜索时，传统的WWWPeidong Liu，etal.127基于相关性的搜索引擎会对勒布朗·詹姆斯的篮球比赛视频进行无差别的排名，这可能会给用户带来不好的体验，因为大多数用户实际上想观看勒布朗·詹姆斯当晚十大精彩扣篮。 为了改善搜索引擎中的用户体验，我们专注于排名阶段，并专门利用用户行为，例如：用户反馈和交互，而不是相关性分数，以捕捉用户对给定查询的视频的兴趣。 与视频推荐方法[8，10，11]相比，我们专注于理解查询文本，而不是使用用户肖像特征（例如，用户是否喜欢卡通）或上下文特征（例如，时间和位置），因为查询文本直接反映用户意图并且包含足够的语义信息以与视频特征匹配。在这项工作中，我们提出了一个有效的多任务排名管道与用户行为（MTUB）的文本视频搜索。为了有效地利用多模态数据，我们提出了异构多模态融合模块（HMFM），以不同的方式融合查询和视频特征。此外，我们设计了独立多模态输入方案（IMIS），以缓解多任务学习中复杂甚至竞争的任务相关性问题。在从微信搜索收集的离线数据集上进行的实验显示，MTRUB在平均gAUC和平均nDCG@10方面优于基线12.0%和 13.3% 我们进一步进行现场实验与MTRUB上的大规模移动搜索引擎，即。，微信搜索，并获得了基于相关性的排名模型的巨大改进。离线和现场实验一致证明了我们提出的方法的有效性概括而言，我们的主要贡献如下：我们提出了MTRUB管道，这是第一个专门探索用户行为以学习文本视频排名模型的研究该模型直接研究用户对视频的满意度为了有效地利用多模态数据，本文提出了异构多模态融合模块（HMFM），以自适应的方式匹配不同模态的查询。我们设计了独立多模态输入方案（IMIS），以缓解多任务学习中复杂甚至竞争性任务相关性问题。在微信搜索上的离线和实时实验都显示，我们的MTRUB大幅优于竞争基准。2所提出的方法2.1MTRUB管道基本上，在文本视频搜索的排名模型中，我们可以从视频中提取文本信息和视觉信息文本数据包括视频标题、从光学字符识别（OCR）和自动语音识别（ASR）获得的文本，而视觉数据包括视频封面图像和关键帧。为了对查询文本和多模态视频信息之间的关系进行建模，我们提出了MTRUB管道，该管道利用现成的用户行为来学习文本-视频搜索的排名模型图1是MTRUB的概述对于查询文本和视频的文本信息，，OCR，ASR和视频标题，我们应用CLIP[19]模型中的预训练BERT [3]编码器来获得文本级嵌入和单词级嵌入。 对于视频的视觉信息，即，，视频封面和关键帧，我们应用预先训练的ViT [5]从CLIP [19]模型获取图像嵌入。请注意，文本编码器和图像编码器的参数是固定的，仅为查询和视频信息提供紧凑的语义向量。 我们匹配嵌入从查询和视频与建议的异构多模态融合模块，挖掘不同的信息，从多模态数据。由于任务复杂，甚至相互竞争，我们提出了一种新的多模态数据的输入方案，即。独立多模态输入方案，在基于专家的模型中，不同的任务可以显式地利用不同的模态数据。 此外，该方案通过分析门机制中的权重来获得不同模态数据对不同任务的重要性，从而提高了模型的可解释性。2.2异构多模态融合模块先前的多模态融合方法[8，11，12，16]未能考虑文本和图像的异构结构，这限制了匹配性能为了进一步考虑文本和视觉数据的不同特征，我们提出了一个异构多模态融合模块（HMFM），以不同的方式融合查询和视频特征。 一方面，我们将查询与图像数据进行匹配，即，视频封面和关键帧，以粗粒度的方式通过连接图像嵌入和查询逐帧向量。 另一方面，HMFM将查询与视频文本数据融合，即，、OCR、ASR和标题，通过使用Conv-KRNM [ 2 ]对它们的语义关系进行建模，以实现按单词的文本嵌入。Conv-KRNM是一种流行的基于卷积核的神经排名模型，它在统一的嵌入空间中对查询和视频文本之间的n-gram软匹配进行建模。Conv-KRNM在给定查询词和视频文本词嵌入的情况下，生成带有CNN层的n-gram向量，在n-gram嵌入空间中交叉匹配不同长度的查询n-gram向量和视频文本n-gram向量以获得翻译矩阵，并应用核池层来获得软TF特征，其描述查询和视频文本之间的匹配分数分布。这些获得的软TF特征通过与原始嵌入融合引入了更多的语义信息 通过HMFM，查询可以使用自适应的方式与不同的模态数据匹配，即。通过对视频视觉特征的粗粒度匹配和对视频文本特征的细粒度匹配，从多模态数据中挖掘出丰富的语义信息2.3独立多模态输入方案文本-视频搜索的多任务排序遇到了与多任务视频中一样的复杂甚至竞争性任务相关性问题推荐系统[13，20]。 为了解决这个问题，我们提出了一种新的独立多模态输入方案（IMIS），其中不同的任务可以显式地使用不同的模态数据。综管信息系统通过向每一位专家只提供一种模式数据而不是所有模式数据来简化多模式输入。此外，排序模型中的门机制可以反映不同模态输入对具有学习权重的不同任务的重要性，其中大的值指示更高的重要性程度因此，综管系统在很大程度上提高了多任务模式的可解释性。····基于用户行为的文本-视频搜索多任务排序WWW128±多任务学习任务专用网络点击了吗？是否重播？是否有效？是一个长期停留？是一个完整的发挥？多门专家混合算法（MMOE）专家网络权重权重重要性分数独立多模态投入计划（综管系统）异构多模态融合模块（HMFM）栅极Concat转换-KRNM栅极ConcatCo-KRN M栅极大门Concat Concat Concat转换-KRNM查询[CLS] 标题词标题[CLS]查询[CLS] OCR逐字OCR[CLS]查询[CLS]ASR字ASR[CLS] 封面图片 查询[CLS]聚合嵌入嵌入嵌入嵌入嵌入嵌入嵌入嵌入嵌入嵌入嵌入 关键帧嵌入图1：拟议的MTRUB管道概述对于多模态输入融合，本文提出了一种异构多模态融合模块（HMFM），它考虑了文本和视觉数据的不同特征 HMFM以自适应的方式将查询与多个模态数据中的每一个进行匹配，即，针对视频视觉特征的粗粒度匹配和针对视频文本特征的细粒度匹配。此外，为了减轻竞争任务的相关性问题，我们设计了一个独立的多模态输入方案（IMIS），它通过只向每个专家提供一个模态数据而不是所有模态数据来实现多模态输入门控机制可以学习不同模态输入对不同任务的重要性请注意，从门获得的五个小方块表示重要性分数，其中暗红色表示高重要性，浅红色表示低重要性。研究发现，在isClick任务中，视频的封面图像和标题起着更重要的作用，而OCR、ASR和视频关键帧对与用户停留时间相关的任务贡献更大。、isReplay、isLongStay等。3实验3.1数据集和数据库3.1.1数据集。对于离线实验，我们从微信搜索引擎中收集了80万个样本，每个样本包含一个文本查询，一组候选视频，以及关于此查询的用户行为日志。每个查询与大约10个视频候选项相关联，包括肯定候选项（暴露并点击）和否定候选项（暴露但未点击）。 对于每个视频，我们提取视频封面图像和30个关键帧作为视觉信息。此外，我们从光学字符识别（OCR），自动语音识别（ASR）和视频标题中获取文本，作为每个视频的文本信息。我们从日志中提取用户行为标签，包括：用户是否点击视频（isClick）、用户是否重播视频（isReplay）、用户是否播放视频超过10秒（isValidStay）、用户是否播放视频超过30秒（ isLongStay ） 、 用 户 是 否 播 放 视 频 超 过 90% 时 长（isFullPlay）。我们将整个数据集分为560k个样本的训练集和其余240k个样本的测试集3.1.2指标. 我们采用分组ROC曲线下面积（gAUC）和贴现累积增益（nDCG@ k）的归一化版本作为性能度量，其中gAUC测量相关项目排名高于不相关项目的可能性，并且nDCG@ k在特定排名水平k处被截断以强调前k个搜索视频的重要性。3.2实现细节为了减轻学习难度并节省计算成本，我们在将文本和视觉特征转发给模型之前预先提取它们具体来说，我们采用BERT [3]编码器来提取文本特征，并采用ViT [5]模型来获得图像嵌入。BERT和ViT的参数来自预训练的CLIP [19]。我们采用Adam [6]优化器和循环余弦退火学习，使用速率表和10−2的重量衰减。我们训练模型对于100个时期，具有1024的批大小我们为每个任务应用二进制交叉熵损失对于MMOE [13]，我们使用16个专家和128个隐藏单位。为了便于公平比较，我们将所有比较模型的参数保持近似（以60M 2M为单位）。为了找到一个合适的学习率，我们尝试了几种设置（即：、10 −2、10 −3、10 −4和10 −5），并报告具有最佳性能指标的模型。对于每个实验，我们使用不同的随机种子运行5次，并报告平均值。3.3离线数据集上的消融研究3.3.1混 合专 家的 有效 性。 为 了验 证排名模型中专 家混 合（MoE）的有效性，我们构建了两个简单的样本[16]基线（即：，MMOE+MMOE）和无MMOE（即，，A +Shared-Bottom）进行比较。如表1所示，MoE增强了模型捕获任务差异的能力，从而提高了共享底部对应物在不同任务上的性能。WWWPeidong Liu，etal.129供试品gAUC（%）全戏βγCUPisClickisReplayisValidStay是长住isFullPlay是说gAUCnDCGgAUC nDCGgAUCnDCG gAUCnDCGgAUC nDCGgAUCnDCG公司简介65.657.167.958.466.657.467.057.267.858.066.957.6企业简介68.660.471.763.269.461.170.262.070.662.470.161.8管理信息系统+MMOE68.159.872.764.269.060.871.062.872.163.670.662.2HMFM+MMOE与综管系统78.670.879.371.178.670.678.770.779.271.278.970.9表1：离线微信搜索数据集上的消融研究 所有模型都是用多任务学习训练的，我们报告了所有任务的gAUC和nDCG@10的结果，即、isClick、isReplay、isValidStay、isLongStay和isFullPlay。每列的最佳值以粗体显示。我们提出的MTRUB在gAUC和nDCG@10方面显示出比基线有实质性的改进，这表明IMIS是一种有效的排名模型输入方案，HMFM是一种比RNN更好的多模态融合方案[16]。3.3.2独立多模态输入方案的有效性。 我们88评价独立多模式输入计划（综管系统），使每个专家专注于其中一种输入方式。表1.80显示，综管系统提高性能方面的平均76大多数任务的gAUC和nDCG@10通过分析72MoE中的门权重，其中较大的值表示较高的68重要性，我们发现封面图像和视频标题播放更多重要角色，而OCR、ASR和视频键64帧对与用户停留60相关的任务贡献更多时间例如、isValidStay、isLongStay等。任务8076726864605652任务3.3.3异构多模态融合模块的有效性在这里，我们调查的异构多模态融合模块（HMFM），它利用在一个异构的方式在视频中的文本和视觉信息的有效性。如表1所示，HMFM一致地改善了gAUC 和nDCG@10 ，与其他基线相比有较大幅度的改善。HMFM在查询和各种视频模态之间提供了更多的自适应交互，从而有助于更好的信息融合。3.3.4MTRUB 多 任 务 学 习 的 有 效 性 我 们 进 一 步 比 较 了MTRUB在单任务和图2：MTRUB和单任务版本MTRUB之间的比较请注意，在单任务版本MTRUB中，我们只为每个实验应用一个单任务塔，并报告同一任务的性能指标。gAUC和nDCG@10的结果分别列于左侧和右侧。在不同任务上的实验一致表明，MTRUB在基于用户行为建模的文本视频搜索中具有多任务学习的优越性。我们通过所有用户的指数融合来生成排名分数，多任务学习方式。在单任务学习中，我们应用建议的MTRUB只有一个单一的任务塔，并报告IORS，即，得分= P点击P αPreplay∗Pvalidstayδlonдstay相同任务的性能指标如图2所示，与单任务学习相比，多任务学习使不同的任务能够一起共享知识，从而提高所有任务的搜索效率，特别是那些在单任务学习中表现不佳的任务，例如。、isFullplay、isReplay等。3.4在线实验结果在本节中，我们对微信搜索引擎进行了大规模的在线评估。 我们从微信搜索中随机抽取了三个用户群，每个用户群包含约140万用户。我们对不同的群体进行了为期7天的控制变量实验，以评估不同的排名模型，具有相同的视频索引，检索方法和前端界面。我们评估了三种不同的排名策略：基于人类注释数据集训练的相关性模型的排名，基于单任务学习用户行为（isClick）模型的排名，基于所提出的多任务学习用户行为模型的排名。尤其是，并采用Pareto最优搜索参数α、β、γ、δ。与相关性排序相比，基于点击率（isClick）预测的排序相对提高了3.3%的查询点击量和3.7%的isClick率。此外，与单中心任务相比，基于多任务学习用户行为模型的排名进一步提高了在线isClick率1.3%，isReplay率3.6%，isLongStay率1.7%，isValidStay率3.4%和isFullPlay率1.9%。4结论在这项工作中，我们提出了一个有效的多任务排名管道与用户行为（MTUB）的文本视频搜索。 为了充分利用多模态输入数据，提出了异构多模态融合模块（HMFM），以自适应的方式融合不同模态的查询和视频特征。此外，我们设计了独立多模态输入方案（IMIS），以缓解多学习方案中的竞争任务相关性问题。微信搜索的离线和实时实验都显示，MTRUB大幅优于基线i任务Mult勒塔布唱i任务Mult勒塔布唱检测nDCG@10（%）基于用户行为的文本-视频搜索多任务排序WWW130引用[1] KonstantinosAvgerinakis，AnastasiaMoumtzidou，DamianosGalanopoulos ， GeorgiosOrfanoulos ， SteliosAndreadis ， FoteiniMarkatopoulou ， Elissavet Batziou ， Konstantinos Ioannakis ， StefanosVrochoulos ， Vasileios Mezaris ， et al. 2018 年 ITI-CERTH 参加TRECVID2018 在TRECVID。[2] Zhuyun Dai，Chenyan Xiong，Jamie Callan，and Zhiyuan Liu.2018年卷积神经网络用于ad-hoc搜索中的软匹配n-gram在WSDM。126-134[3] JacobDevlin ， Ming-WeiChang ， WendonLee ， andKristinaToutanova.2018年Bert：深度双向转换器的预训练，用于语言理解。 arXiv预印本arXiv：1810.04805（2018）。[4] Jianfeng Dong，Xirong Li，and Cees GM Snoek.2018年从文本预测视觉特征用 于 图 像 和 视 频 字 幕 检 索 。 IEEE Transactions on Multimedia 20 ， 12（2018），3377-3388。[5] AlexeyDosovitskiy 、 LucasBeyer 、 AlexanderKolesnikov 、 DirkWeissenborn 、 Xi- aohuaZhai 、 Thomas Unterthiner 、 Mostafa Dehghani 、Matthias Minderer、GeorgHeigold、Sylvain Gelly、Jakob Uszkoreit和NeilHoulsby。2021年一张图像值得16x16字：大规模图像识别的变形金刚。在ICLR。[6] Diederik P Kingma和Jimmy Ba。2014年。Adam ：一种随机优化方法。arXiv预印本arXiv：1412.6980（2014）。[7] Duy-DinhLe ， Sang Phan ， Vinh-Tiep Nguyen ， Benjamin Renoust ， Tuan ANguyen ， Van-Nam Hoang ， Thanh Duc Ngo ， Minh-Triet Tran ， YukiWatanabe ， Martin Klinkigt ， et al. 2016 年 。 NII-HITACHI-UIT 参 加TRECVID 2016在TRECVID，卷。二十五[8] Chenyi Lei ， Yong Liu ， Lingzi Zhang ， Guoxin Wang ， Haihong Tang ，Houqiang Li，and Chunyan Miao.2021. SEMI：一个用于电子商务微视频推荐的顺序多模式信息传输网络。在KDD。3161-3171。[9] Peidong Liu ， Gengwei Zhang ， Bochao Wang ， Hang Xu ， XiaodanLiang，Yong Jiang，and Zhengguo Li.2020年。 基于收敛模拟驱动搜索的目标检测损失函数发现。在ICLR。[10] QiLiu，Ruobing Xie，Lei Chen，Shukai Liu，Ke Tu，Peng Cui，BoZhang，and Leyu Lin. 2020.用于标签增强视频推荐中标签排序的图神经网络。在CIKM。2613-2620。[11] 刘尚，陈振中，刘弘毅，胡星海。2019.用户-视频共同关注网络，用于个性化微视频推荐。在WWW上。3020 -3026。[12] Yang Liu，Samuel Albanie，Arsha Nagrani，and Andrew Zisserman.2019年。 使用你所拥有的：使用协作专家的表示进行视频检索。在BMVC。[13] Jiaqi Ma，Zhe Zhao，Xinyang Yi，Jilin Chen，Lichan Hong，and EdH Chi.2018年多门专家混合多任务学习中任务关系建模。在KDD。1930-1939年。[14] Foteini Markatopoulou ， Damianos Galanopoulos ， Vasileios Mezaris ， andIoannisPatras. 2017年。用于特定视频搜索的查询和关键帧表示 在ICMR。407-411[15] 安托万·米奇，伊万·拉普捷夫和约瑟夫·西维克。2018年从不完整和异构数据中学习文本视频嵌入 arXiv预印本arXiv：1804.02516（2018）。[16] 安托万·米奇，伊万·拉普捷夫和约瑟夫·西维克。2018年从不完整和异构数据中学习文本视频嵌入 arXiv预印本arXiv：1804.02516（2018）。[17] Antoine Miech、Dimitri Zhukov、Jean-Baptiste Alayrac、Makarand Tapaswi、IvanLaptev和Josef Sivic。2019年。Howto100m：通过观看一亿个视频片段来学习文本视频嵌入。在ICCV。2630-2640。[18] Chongong Anh Nguyen ， Qing Li ， Zhi-Qi Cheng ， Yi-Jie Lu ， HaoZhang，Xiao Wu，and Chong-Wah Ngo.2017. VIREO@ TRECVID 2017：视频转文本、临时视频搜索和视频超链接。在TRECVID。[19] Alec Radford，Jong Wook Kim，Chris Hallacy，Aditya Ramesh，GabrielGoh ， SandhiniAgarwal ， Girish Sastry ， Amanda Askell ， PamelaMishkin，Jack Clark，et al. 2021年从自然语言监督中学习可转移的视觉模型arXiv预印本arXiv：2103.00020（2021）。[20] 唐红岩，刘俊宁，赵明，龚旭东。2020年。 渐进分层提取（ple）：一种用于个性化推荐的新型多任务学习（mtl）模型。在RecSys。269-278。[21] Kazuya Ueki ， Koji Hirakawa ， Kotaro Kikuchi ， Tetsuji Ogawa ， andTetsunori Kobayashi. 2017年。Waseda_Meisei at TRECVID 2017：Ad-hocVideo Search.. 在TRECVID。[22] 熊宇，黄清秋，郭凌峰，周杭，周波磊，林大华。2019年。一个基于图形的框架，用于连接电影和概要。在ICCV。4592-4601.[23] 杨晓军，廖伦佳，杨秦，孙波，奚建祥。2021年具有间歇交互的多智能体系统的有限能量输出形成富兰克林研究所杂志358，13（2021），6462-6489。[24] Youngjae Yu，Jongseok Kim，和Gunhee Kim。2018.一种用于视频问答与检索的联合序列融合模型。在ECCV。471-487[25] Youngjae Yu，Hyungjin Ko，Jongwook Choi，and Gunhee Kim.2017年。用于视频字幕、检索和问答的端到端概念词检测在CVPR。3165-3173。[26] 朱林超和杨毅。2020年。Actbert：学习全球-本地视频-文本表示。在CVPR。8746-8755。