无监督学习方法在搜索建议和任务推荐中的应用

沙特国王大学学报基于无监督学习技术Mohammad AlsulmiMohammed，Reham Alshamarani沙特阿拉伯利雅得沙特国王大学计算机和信息科学学院计算机科学系阿提奇莱因福奥文章历史记录：收到2021年2021年6月4日修订2021年6月6日接受2021年6月17日在线提供保留字：Web搜索信息检索主题建模搜索日志挖掘评测A B S T R A C T搜索系统在改善网上用户体验和信息获取方面发挥了重要作用，使用户能够表达其信息需求（作为搜索查询提供），并为用户提供满足这些需求的结果。然而，用户在这种情况下，智能搜索系统将有利于识别和理解用户发出的原始搜索任务，然后建议与原始搜索任务相关的若干搜索任务（以关键短语或简短主题的形式）。针对这一局限性，本文提出了一个框架，用于应用几种无监督学习方法，包括主题建模和日志挖掘。将这些方法应用于大型用户会话数据的结果表明，这些方法确实适用于搜索建议和任务推荐，在强大的基线上实现了显着的改进。版权所有©2021作者。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍随着互联网上数据的大量增长，搜索系统在获取信息资源和帮助用户高效地完成日常活动方面变得越来越重要。顶级商业搜索服务，如Google、Bing、Yahoo等，现在正成为在线搜索的最主要方式，每天接收数十亿次搜索请求（Jun等人，2018; Clement，2021）。有趣的是，随着越来越多的政府和商业服务转移到在线平台，预计越来越多的用户将依赖于搜索来访问和定位这些服务，这对搜索引擎在扩大其服务以处理更多用户除了扩大规模和处理更多用户之外，另一个关键挑战是调整搜索服务以满足用户的各种信息需求。搜索系统的传统方法是专注于为单用户查询生成最佳结果，而无意中忽略了促使该用户*通讯作者。电子邮件地址：malsulmi@ksu.edu.sa（M. Alsulmi）。沙特国王大学负责同行审查最初提交该查询（Yilmaz等人，2015; Verma等人，2016年）。用户计划访问纽约市的用户需要发出多个查询，例如有一个搜索系统，可以建议类似的任务，以初始查询将是有益的，因为它将帮助用户完成他们的搜索任务容易和方便。针对这一局限性，我们探索了几种非监督学习和日志挖掘方法，并利用它们开发了一个Web搜索任务建议系统。 该系统可以与商业搜索系统（例如，Google）或作为个人助理应用程序的一部分（例如，Siri）来帮助用户并向他们提供搜索建议。在我们的评估中，我们将所提出的系统的原型应用于TREC 2016任务跟踪中的一组查询，模拟用户搜索任务，我们的结果表明，该系统在为每个查询生成大量建议方面非常成功，在强大的基线上实现了高达26%的性能提升。我们将本文的其余部分组织如下。接下来，我们提供与本文相关的主题的简要背景。然后，我们讨论了一些相关的工作，搜索和任务调度。在方法论部分，我们提出了我们的框架https://doi.org/10.1016/j.jksuci.2021.06.0041319-1578/©2021作者。由爱思唯尔公司出版代表沙特国王大学这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comM. Alsulmi和R. 阿尔沙马拉尼沙特国王大学学报5526并详细描述它。随后，我们提出了我们的评估框架，并讨论和分析我们的结果。最后，本文对本文的工作进行了总结，并对今后的研究方向提出了一些建议。2. 背景Web上数据的非结构化性质使得使用传统方法（如数据库）进行处理变得困难。数据库在操作数据时依赖于数据模式，这是非结构化数据所不具备的属性。因此，通过采用各种索引和语言建模技术，信息检索原则在处理非结构化数据中变得至关重要（Manning等人，2008年）。 信息检索（IR）关注的是建立有效的系统来查找非结构化的项目（文档，网页等）。满足用户信息需求（搜索查询）（Manning等人，2008; Croft等人，2010年）。Web搜索引擎，用户通过它提交文本查询，然后等待搜索结果，通常是XML系统。结果通常是列表形式，其中项目（网页、图像、视频）与给定查询相关，并根据它们与查询的相关性进行排名（Clarke等人， 2012年）。如今，IR被广泛用于各种领域（Voorhees和Tong，2011; Alsulmi和Carterette，2016; Zingla等人，2016年）。例如，IR方法广泛用于医疗和卫生保健领域，最近，临床医生和医务工作者已经利用IR方法来诊断患者此外，几乎所有的社交媒体和微博平台（诸如Facebook和Twitter）都依赖于搜索来提供各种服务，包括定位用户简档、建议用户关注以及针对特定主题或主题搜索整个平台（Zingla等人，2016年）。此外，最近出现了一种新的IR系统类别，称为推荐系统，其基于用户的询问向用户推荐项目（Carterette等人，2014年）。这些系统包括视频流媒体服务，其基于用户先前的流媒体视频来推荐视频，以及在线购物网站，其基于用户购买类似物品来向用户推荐物品。我们将集中在这些系统的一个实例，它接受用户输入的查询表示的任务，用户的目标是完成，然后建议几个子任务相关的任务的形式。用户可以选择一个或多个所产生的建议来发起新的搜索请求并查找关于该子主题的网页。构建这样一个系统需要检查各种方法，包括基于学习的技术，如主题和日志挖掘，我们将在下面讨论2.1. 主题建模主题建模是一种潜在的方法，我们在本文中研究，以提供建议，用户在执行搜索。主题建模用于将项目（通常是文本文档）分类为不同的主题，以便一组单词和一组包含这些单词的文档表示一个主题。主题建模有利于探索大量文档并将其归类为较小的主题集，这样主题相 关的文档就 属于同一类 别（ Alghamdi 和 Alfalqi ， 2015;George和Birla，2018）。我们利用主题建模将搜索结果分类为各种主题，允许多样化的结果显示给用户。有几种主题建模方法，包括潜在语义分析（LSA），概率潜在语义分析（PLSA）和潜在狄利克雷分配（LDA）（Alghamdi和Alfalqi，2015; George和Birla，2018年）。PLSA和LDA是基于术语生成模型和期望最大化（EM）过程的两种常用从经验上讲，两者之间没有显著区别，因为它们彼此相当，实现了该任务的高级性能（Wu等人， 2010年）。2.2. 日志挖掘和用户会话生成搜索建议的另一种潜在方法是挖掘用户搜索日志。许多web搜索系统在搜索期间收集用户的会话数据（即，查询、点击、鼠标移动等），所以挖掘日志文件正成为一种常见的策略以增强搜索并满足用户需求。虽然已经引入了几种方法，但最有前途的策略涉及将查询重构应用于用户查询以更适当地解决用户的需求（Jones等人，2006年;Moen例如，2019年）的报告。我们将研究单词替换技术（即，建议替换查询或用单词或短语丰富它们），并且我们将在挖掘日志文件和生成满足用户搜索需求的新搜索短语（任务）时调整它们。3. 相关工作将机器学习方法应用于网络搜索和信息检索的先前工作可以分为两大类。一种包含一组专注于适应学习算法的方法，如决策树和支持向量机，并使它们适用于搜索和排名目的（Freund等人，2003; Cao等人，2007; Burges等人， 2005年）。另一类试图从用户会话中收集的大量数据中受益，这些数据是由用户搜索系统交互生成的然后，它们被集成到搜索系统中，以改善搜索结果并提高用户满意度。虽然大量研究属于这一类别，但我们注意到Bah和Carterette（2014）的工作，该工作研究了从非正式用户会话中学习，以及Zengin和Carterette（2015）的方法，该方法依赖于监督学习方法来预测用户对相关搜索结果的偏好我们观察到这些方法的多样化，因为有些是一般的网络搜索任务。例如，Ahamed和Ramkumar（2016）提出了一种网络搜索系统，该系统通过结合多种技术（如查询扩展和术语权重提升）来组合来自不同资源的结果，以有效地相比之下，其他方法用于更具体的搜索任务，例如生物医学和健康搜索，如（Alsulmi和Carterette，2018）。所有这些方法（包括Ahamed和Ramkumar，2016）都解决了一般搜索任务的问题，其中用户提供他们的查询，然后等待搜索系统以文档的形式产生结果（例如，网页）。然而，本文所考虑的研究问题略有不同，因为它旨在构建能够提供与用户输入的搜索查询相关的建议（以关键短语而不是文档的列表形式）的系统通过应用机器学习方法，我们可以有效地满足用户TREC任务跟踪介绍了潜在的研究问题，以激励该领域的研究和实验，持续了三年：2015年，2016年和2017年。该跟踪组织者使用一些标准程序M. Alsulmi和R. 阿尔沙马拉尼沙特国王大学学报5527约翰·基尔由TREC采用（Yilmaz等人，2015; Verma等人，2016年），然后评估了参与系统。在这里，我们注意到一些参与团体和他们在这条赛道上的方法（ Bennett 和 White ， 2015; Hagen 等 人 ， 2016 年 ; Garigliotti 和Bennett，2016年）。微软研究团队的一个系统基于锚文本图来表示链接关系。该团队的方法考虑通过依赖于搜索日志中频率较高的短语以及通过探索高点击率链接的锚文本来识别与给定搜索查询相关的关键短语。尽管所提出的系统已经表明，使用锚文本对于查询和任务建议是有用的，但与其他方法相比，这种方法并不是最好的（Bennett和White，2015）。另一个系统结合了几个数据源（查询日志和搜索引擎API）来检索与每个查询相关的子主题。 对于搜索日志，它使用商业搜索引擎的查询日志文件和Freebase，对于API，它使用Google和Bing API来检索建议。一般来说，这种方法依赖于将从两个数据来源获得的搜索结果结合起来。然后，它使用BM 25检索模型对每个生成的建议进行评分，并生成最终的建议列表。评估这种方法的结果是有希望的，使该系统成为该竞赛中的顶级系统之一（Hagen等人，2016年）。同样，斯塔万格大学的方法考虑将提供的查询提交给Bing和Google，然后从Google和Bing的内部搜索API中提取每个查询的顶级关键词。然后，他们的系统收集了所有生成的关键短语，并根据它们的相关性对其进行排名。评估表明，这种方法实现了最佳性能结果（Garigliotti和Beville，2016）。4. 方法我们的目标是开发一个智能系统，接受用户输入，搜索查询表达用户的需求，然后，系统可以建议几个搜索任务相关的输入查询。因此，用户可以通过覆盖其搜索主题的广泛方面从该系统中受益开发这一系统需要考虑大量的数据收集（作为搜索建议的来源）和从这些收集中产生建议的有效机制。在本节中，我们将描述我们在该系统中使用的数据集然后，我们提供了一个概述我们的系统，并讨论了几种方法在我们的系统中生成任务建议。4.1. 数据集我们认为，从美国在线搜索引擎的搜索日志文件-释放以前，并公开提供-作为一个源生成erating搜索建议。日志文件包含了超过65万用户三个月内数据已经很老了（2006年发布），但每一行由一组属性表示，例如Query、QueryTime、ItemRank 和ClickURL。表1显示了此日志的示例。此外，为了模拟用户执行的搜索任务，我们依赖于TREC 2016Tasks Track提供的查询集。查询集由50个任务组成（即，查询），表示不同的搜索需求集合。组织者为每个查询发布了一组潜在的子任务，代表了用户对该查询所期望的黄金标准建议。例如，对于像“构建家庭影院系统”这样的搜索查询表2显示了来自该跟踪的查询示例及其潜在建议。4.2. 系统概述为了存储和索引大型日志文件，以使关键短语的检索Lucene是一个常用的搜索工具，用Java编写，提供强大的索引和搜索功能。我们的索引过程如下。从表1所示的数据集中，我们只提取日志文件中每行的查询文本，将其视为Lucene的文档我们执行了几个文本预处理步骤，例如消除仅包含Web链接的查询以及那些混合了数字内容的查询。此外，我们消除了任何少于两个单词的查询此外，在将其作为文档发送到Lucene之前，我们应用了词干分析（即，将每个单词返回到其词干）。然后，我们应用停止（即，删除诸如the、and、and或之类的停用词）。在对整个数据集合进行索引之后，所提出的搜索系统然后准备好生成任务建议。要做到这一点，我们接下来研究三种方法：一种是基线，应用浅日志挖掘;第二种是基于日志挖掘与查询subcruitment;最后一种依赖于主题建模和自动标注。图1给出了我们的搜索系统的概述，突出显示了三种研究方法以及它们如何相互作用以生成搜索建议。4.3. 基线：浅层原木开采我们的基线方法使用Lucene为给定的查询生成建议我们通过首先接受来自用户的查询来执行此过程（在我们的例子中，它是针对TREC任务跟踪然后，为了一致性，我们遵循前面描述的相同的预处理步骤，即应用Porter词干提取和停止。在此之后，我们依靠从Lucene的索引中学习到的参数语言模型（LM）对关键短语（即，建议）通过计算查询和关键短语之间的得分，如等式（1）所示。1下面。通常使用这样数据，因为获取更近的用户ntfltfqi;K得分K;QlogPQjKXlogqi;KjCjð1Þ表1存储在AOL日志文件中的用户搜索日志数据示例ItemRank和ClickURL字段的默认值指示用户未执行任何单击。hline AnonID查询查询时间ItemRankClickURL3302医学用语词典2006年4月4日8时04分1http://cancerweb.ncl.ac.uk3302医学用语词典2006年4月4日8时04分3http://www.nlm.nig.gov3302医学用语词典2006年4月4日8时04分6http://www.medicinet.com2722格温内特公园2006年5月25日0：323http://www.co.gwinnett.ga.us2722诺克罗斯市25/5/2006 0：531http://norcross.georgia.gov由于隐私和版权限制，数据正在成为一个挑战。日志文件以行排序的方式进行结构化1/1M. Alsulmi和R. 阿尔沙马拉尼沙特国王大学学报5528NGD-表2TREC 2016年任务跟踪中使用的搜索任务样本，并提供给参与者。此外，每个任务的建议子任务。查询潜在子任务查询中的短语。组块工具使用词性标记（POS）根据预定义的规则集进行组块决策，以生成对用户有意义且相关的短语。我们的规则遵循Meiet al.（2007），主要考虑-打造家庭影院系统● 我需要● 如何选择屏幕● 如何选择演讲者● 如何组装系统● 在哪里放置系统对名词和形容词短语的提取进行了不同程度的研究，段（即，某些情况下短语包含介词短语，而某些情况下不包含介词短语）。此外，我们对动词短语例外，因为我们认为当有一个实例时，名词短语接在动词短语之后。一般来说，这套规则开立银行账户●在某家银行开立银行账户或位置● 如何选择银行账户类型● 了解不同类型的银行账户● 如何估算开立银行账户的费用●在线开立银行账户其中Q是具有n个术语的用户查询，jKj和jCj分别是关键短语和集合长度，tfq;K和tfq;C是关键短语和集合长度为任务建议生成好的候选短语。在为给定查询生成多个短语之后，我们使用语言模型来检索与每个短语匹配的最佳建议通过遵循Jones等人的查询替换技术，（2006），我们只考虑包含对给定短语的潜在替换的建议（来自检索到的建议列表）。换句话说，我们考虑两种搜索建议：包含丰富原始内容的新词的建议i i短语和建议，包含一个或多个取代查询词的关键短语和集合频率分别为qi，l是Dirichlet平滑参数（Ponte和Croft，1998）。在根据该分数检索并排名该查询的顶级建议之后，我们通过从这些建议中删除重复项来应用进一步的过滤步骤。这是通过计算检索到的建议之间的余弦相似性度量（给出0.0和1.0之间的分数）来执行的，使得仅保留一个不同的建议。4.4. 日志挖掘与查询替换在这种方法中，我们通过对搜索查询应用进一步的处理并执行查询替换来扩展上述方法（如图1所示）。①的人。搜索系统通常使用查询替换来执行部分输入的查询的自动完成，并建议给定查询内的单词替换。然而，在我们的方法中，我们调整查询替换，通过将输入的查询分解为较短的关键短语并生成一组关键短语建议，为给定的查询生成一组关键短语建议。短语中的一组单词。图2显示了从组块到生成建议的整个过程，其中两个短语用户搜索查询“该方法的最后一步是执行排序（即，排序）基于所生成的建议与用户提交的原始查询的相关性。我们考虑使用语义相似性度量，因为它们提供了一种基于语义来测量两个短语之间的距离的方法，这与其他度量不同，例如基于单词向量测量两个短语之间距离的余弦相似性。因此，我们使用归一化的谷歌距离（NGD），并通过计算关键短语建议和给定用 户 查 询 的 NGD 对 生 成 的 建 议 进 行 排 序 （ Cilibrasi 和 Vitanyi ，2007）。NGD假设与原始查询的距离较小的建议更相关并且排名更高，如下所定义。使用Lucene索引为每个短语添加一组替换作为建议。我们的做法如下。一旦用户输入查询，我们应用OpenNLP分块工具来提取一个或多个潜在的最大logfQ;logfSlogfQ;S最小对数fQ;对数fSð2ÞFig. 1.概述了系统的搜索建议过程，从查询处理开始，到使用三种检查方法之一生成建议结束。M. Alsulmi和R. 阿尔沙马拉尼沙特国王大学学报5529nð Þ ð ÞðÞðj普什尔普乌伊河图二、对“政府工作”和“印度政府工作”的最佳建议图上部的B-VP、B-PP、B-NP和I-NP分别表示动词短语的开头、命题短语的开头、名词短语的开头和名词短语的内部其中N是集合中所有文档的数量，ADL是平均文档长度，f Q和f S表示包含查询Q的文档的数量和包含查询Q的文档的数量Relevancel;hllogpljhlXlogpuijh1/1ð3Þ分别包含关键短语建议S和f Q;S表示包含Q和S的文档数量（Cilibrasi和Vitanyi，2007）。所有参数在Eq.2是学习和估计Google商业搜索API4.5. 主题建模与自动标注我们的最后一种方法利用主题建模和自动标签，以生成任务建议。正如2.1节所讨论的，有几种方法可以在大型文本数据上挖掘主题。我们考虑PLSA，因为研究经验表明，它的性能与主题建模的其他方法相当（Wu等人，2010年）。我们的方法旨在检索一组搜索结果（即，关键短语），将它们分类为若干主题，最后生成一组新关键短语作为对该查询的建议。这种方法的工作原理是接受用户搜索查询，然后将其提交给第4.3节中描述的基线系统当我们从基线中检索到一组初始关键短语时，我们应用PLSA算法;通过PLSA的请注意，PLSA算法的输出包括两种结果：排名最高的文档（即，短语）与它们到每个主题的概率以及给定主题的排名靠前的术语（词）与它们的概率值。因为PLSA不生成标签（即，关键短语）为了描述每个主题的内容，我们探索了用于生成这些标签的各种技术。特别地，我们遵循Mei等人的工作，通过应用组块来为每个挖掘的主题生成一组候选日期关键短语标签（Mei等人，2007年）。我们执行以下步骤。首先，我们在消除重复 之 后 从 基 线 系 统 收 集 所 有 结 果 。 其 次 ， 我 们 应 用 OpenNLPchunker，使用第4.4节中指定的相同规则，为基线产生的结果的每行提取一个或多个候选标签，如图3所示。这一步产生了大量的候选标签。然后，在应用如上所述的PLSA建模之后，我们针对每个挖掘的主题评估每个候选标签。使用等式在下面的图3中，我们估计了关键短语标签l与给定主题h的相关性。在估计标签与每个主题的相关性之后，我们保留了每个主题的最相关标签（同时，我们排除了结果中的任何冗余当量3如下。标签l与主题h的相关性基本上被计算为给定主题h的l中的每个词的概率的总和（从所得到的PLSA模型容易地获得p u i h）除以正在使用的集合中的词的概率（在我们的情况下，它是大的搜索日志文件）（Mei等人，2007年）。最后，为了以排序的方式向用户显示结果，我们应用了NGD，如第4.4节所述。这个步骤是必要的，以根据最终建议与用户输入的初始搜索的语义相似性来对最终建议进行排名。5. 评价在介绍了我们在Web搜索上生成查询结果的框架之后，我们现在描述我们对这些方法的评估。首先，我们介绍了我们在评估中使用的测试数据。然后，我们讨论了我们的实验设置以及我们使用的评估指标。最后给出了我们的结果并进行了分析和讨论。5.1. 测试数据我们使用了TREC 2016年任务跟踪中的主题集，如第4.1节所述，其中包括50个搜索查询，涵盖各种搜索需求。此外，我们依靠AOL产生的用户日志数据作为生成搜索建议的主要数据收集。因为我们的系统不是TREC的一部分，我们不能依赖于赛道组织者产生的相关性判断，因为我们的系统产生的建议不包括在该赛道的池中。因此，我们聘请了三名评估员，请他们评估对于来自主题集的给定查询的每个所产生的建议（即，关键短语是否与查询相关）。我们遵循TREC的程序，使用相同的黄金标准。5.2. 实验设置我们运行了四个实验，同时为每个实验应用不同的设置这些实验包括（1）使用浅日志挖掘的基线应用，（2）使用查询替换的详细日志挖掘，（3）使用自动标记的主题建模，以及（4）后两者的组合对于基线，我们设置M. Alsulmi和R. 阿尔沙马拉尼沙特国王大学学报5530¼图三. 使用OpenNLP和指定规则从每行结果中提取一个或多个标签的自动标记过程。将参数设置为Lucene的默认值。对于使用subjunction-tion和主题建模实验的日志挖掘，我们使用Google搜索API来计算NGD，并使用此度量对建议进行排名。此外，我们还在主题建模中设置了k3.对于这两种方法的组合（最后一个实验），我们通过删除重复项来聚合两者的结果，并最终使用NGD对建议进行排名。为了进行评估，我们使用了两类措施：标准IR指标和意图感知指标，通常用于多样性搜索和任务建议。对于标准的IR指标，我们在不同的排名截止点使用精确度和召回率（Manning等人，2008;Croft等人，2010年）。对于意图感知度量，我们使用意图感知精度（P-IA）和子主题召回率（stRrec），它们分别计算给定查询的所有子任务的精度和召回率值的平均值。此外，我们考虑了归一化期望倒数秩（nERR-IA）和归一化折扣累积增益（a-nDCG）的意图感知版本（Agrawal等人，2009; Ashkan和Clarke，2011）。5.3. 结果和讨论我们现在展示我们的结果并提供一些讨论。表3显示了使用精确度和召回率的几种任务建议方法在四个排名截止值（5，10，15和20）的性能结果此外，表4显示了使用意图感知指标的性能结果（我们报告的排名为20，因为这是TREC用于此任务的官方截止值Yilmaz等人， 2015年）。看看结果，可以看到，我们使用语言建模的浅层日志挖掘技术确实是一个很好的基线，在所有指标上都取得了不错的性能特别是，在表3中，我们看到在所有50个查询中，P@5达到0.5240，表明在排名5时，我们的基线平均将有利于为给定的用户查询（从五个中）引出两到三个相关的建议此外，对于召回度量，似乎随着生成更多建议，我们的系统倾向于增加其子任务的覆盖率，在召回和子主题召回的排名20时达到约70%（来自表4）。对于其他两种方法，深度日志挖掘（即，日志挖掘与替换）和主题建模，结果有点不同。虽然它们与基线相当，但这两种方法在某些指标上略低于基线，但在其他指标上优于基线（我们的观察结果是，主题建模往往略高于大多数指标的替代挖掘）。然而，当我们将来自两种方法的建议聚合到一个系统中（上面表3和表4中的LS + LM）并消除重复时，我们看到性能在基线上显著提高。当这个系统产生更多的建议时，这一点尤其正确（所有方法的性能在最高排名时都是相当的，例如5，但是当我们在排名列表中下降时，组合方法的有效性会提高）。事实上，使用一般的IR指标，组合方法优于基线，性能提高可以达到25.6%。通过查看P@10和P@20，可以注意到，该方法平均将在等级10处生成五个相关建议，并且在等级20处生成大约八个相关建议（在等级20处生成两个更相关的结果，并且在等级10处生成一个更相关的结果通过应用配对单侧t检验来检验这些改善相对于基线的显著性，我们证实，对于P@15、P@20、R@15和R@20，它们确实具有统计学显著性（P@15和R@15的p0： 05，<

下载后可阅读完整内容，剩余1页未读，立即下载