构建点击模型：搜索引擎用户行为分析

可在www.sciencedirect.com在线获取ScienceDirectCAAITransactions on Intelligence Technology 1（2016）313e322http://www.journals.elsevier.com/caai-transactions-on-intelligence-technology/评论文章构建点击模型：从想法到实践王超，刘益群，马少平*清华大学信息科学与技术国家实验室，清华大学计算机科学与技术系，北京100084接收日期：2016年9月5日;接受日期：2016年12月8日2016年12月23日在线发布摘要点击信息被认为是用户隐性相关反馈的重要来源由于用户行为通常受到许多因素的影响，因此，许多点击模型被提出来描述用户点击行为如何发生，并预测点击概率（和搜索结果相关性）。这项工作建立在THUIR实验室多年来的现有努力的基础上，总结了最新的进展，并提供了一系列实用的点击模型。本文介绍了如何建立一个有效的点击模型。本文以两个点击模型为例，介绍了建立点击模型的一般过程。我们还介绍了不同的点击模型的比较常见的评估指标。本文还介绍了一些有用的数据集和工具，以帮助读者更好地理解和实现现有的点击模型。本次调查的目的是汇集该领域目前的努力，总结迄今为止进行的研究，并给出一个关于构建网络搜索点击模型的观点Copyright© 2016 ， 重 庆 理 工 大 学 . Elsevier B. V. 制 作 和 托 管 这 是 CC BY-NC-ND 许 可 证 下 的 开 放 获 取 文 章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：搜索引擎;用户行为分析;点击模型1. 介绍自网络搜索诞生以来，相关性估计一直是最关键的问题。随着Web内容的爆炸式生成，现代搜索引擎已经被要求从庞大的语料库中高效地检索相关URL。这对工业和学术研究人员都提出了巨大的挑战。搜索相关性的早期工作集中在查询和URL之间的文本匹配，例如BM 25[1]，概率检索模型[1e3]和向量空间模型[4]。除了搜索结果的内容信息外，用户行为在工业环境中也表现出了巨大的相关性提升潜力，用户行为建模已经被广泛探索以提高搜索相关性。*通讯作者。电子邮件地址：msp@mail.tsinghua.edu.cn（新加坡）Ma）。同行评议由重庆理工大学负责。商业搜索引擎每天都会记录大规模的用户交互日志，并对Web搜索中的许多问题（如点击预测、Web搜索排名、查询建议等）进行研究。与这些行为日志密切相关。虽然用户点击提供了关于用户对结果的感知相关性的隐含信息，但它们不是真实、准确的相关性反馈。因此，已 经 提出 了 各 种 方 法来 应 对 用 户 点击 的 噪 声 性 质。Joachims等人。[5]致力于从用户行为中提取可靠的隐式反馈，并得出结论，点击日志是信息丰富但有偏见的。先前的研究揭示了几个方面的偏见，如“位置”[5，6]，“信任”[7]和“演示”[8]因素。为了解决这些问题，研究人员提出 了 一些 点 击 模 型 来描 述 用 户 在 搜索 引 擎 结 果 页面（SERP）上的检查行为，并获得结果相关性的无偏估计[9e11]。大多数现有的点击模型制定的概率图形模型的框架内。在这些模型中，通常使用一组变量来对每个搜索结果进行http://dx.doi.org/10.1016/j.trit.2016.12.0032468-2322/Copyright© 2016，重庆理工大学由爱思唯尔公司制作和主持这是一篇基于CC BY-NC- ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。314C. Wang等人/CAAI Transactions on Intelligence Technology 1（2016）313e 322ð ¼ Þ¼ð ¼ Þ ð ¼ Þð ¼ Þþ我我对于特定的查询。变量包括可观察的点击行为和一些隐藏变量，如用户检查，结果相关性，用户查看此结果后的满意度等。不同的点击模型使不同的用户行为假设（例如级联假设[6]）构建变量之间的网络结构。一旦构建，这些点击模型可以在大量用户点击日志上进行训练，然后用于预测结果的点击概率或根据推断的相关性对搜索结果列表进行重新排名。本文重点介绍了我们在建立点击模型方面的经验，并介绍了两个已经成功实现的实用点击模型。我们首先介绍垂直感知点击模型（VCM）[8]。该模型关注的问题是，当垂直结果与普通结果相结合时，呈现上的显著差异可能导致用户行为偏差。为了建立这个模型，我们收集了一个大规模的日志数据集，其中包含垂直和普通结果的行为信息。我们还进行了眼动跟踪分析，以研究用户在现实世界中的检查行为。根据这些分析，我们发现，不同的结果外观可能会导致不同的行为偏差，无论是垂直结果（局部效应）和整个结果列表（全局效应）。这些偏见包括：检查垂直结果的偏差（特别是具有多媒体组件的那些）、具有垂直结果的结果列表的信任偏差、以及垂直结果的结果再访问的更高概率。在此基础上，我们构建了一个新的点击模型，该模型除了考虑位置偏差外，还考虑了这些偏差，以描述与包含垂直的SERP。第二个点击模型是部分顺序点击模型（PSCM）[12]。该模型针对现有的点击模型大多遵循顺序检查假设，即用户从上到下以线性方式检查搜索结果，但许多研究表明Web搜索中存在很大比例的非顺序浏览行为（检查和点击）的问题。为了建立这个模型，我们进行了一个实验室的眼动跟踪研究，分析用户的非顺序检查行为，然后提出PSCM模型，捕捉用户的实际行为根据这些点击模型，我们可以得出建立点击模型的主要步骤是：1）从数据中调查用户行为，总结不同用户和不同查询的行为模式，2）将这些行为模式形式化为数学行为假设（建立模型），3）设计模型的学习方法（参数推断方法），4）设计模型的学习算法（参数推断方法），5）设计模型的学习算法（参数推断方法）。4）利用大规模用户行为数据（通常是具有结果印象的点击数据），用学习方法训练所提出的模型;模型最后，我们将在第6节介绍一些有用的工具和数据集。我们在本文中的贡献是：我们简要介绍了构建和测试搜索点击模型的一般过程。我们使用两个点击模型（VCM和PSCM）作为具体的例子来展示每个步骤中的细节。我们介绍了比较不同的点击模型的共同评价指标。我们还描述了软件包和公共数据集，我们发现有用的点击模型。2. 背景在本节中，我们将回顾一些基本的点击模型，并介绍这些模型所共有的一些初步假设。对于大多数这些模型的细节，读者可以参考Chuklin等人最近的调查书[13]第10段。2.1. 基本点击模型大多数点击模型遵循检查假设[6]：一个文档被点击，Ci1 应满足（/）两个条件：它被检查Ei1 它与Ri 1（大多数 单击模型 假设PRi，ru，其是感知相关性的概率），并且这两个条件彼此独立。Ci¼1/Ei¼1;Ri¼1/1Ei<$0/Ci<$02Ri<$0/Ci<$03根据这个假设，文档被点击的概率确定如下：基于用户从顶部位置到底部位置检查的假设，这种点击自然地考虑到位置偏差。Craswell等人[6]提出了级联模型，该模型假设当用户从上到下依次检查结果时，他/她立即决定是否点击结果。级联模型最适合单击会话。随后提出了一些模型，以提高其适用性和性能。第1页1页1页5页相关性 估计）; 6)评价 模型性能通过不同的评价指标。PE1 -1jE 1;C 1-Cð6Þ因此，本文的其余部分组织如下：在第2节中，我们回顾了一些现有的努力，在构建点击模型的Web搜索。在第三节中，我们介绍了用户行为分析方法。第4节讨论了模型的构造和参数推断过程。在第5节中，我们将介绍流行的点击评估指标这里，对第（i 1）个结果的检查表明，此结果已被检查但未被点击。虽然级联模型在预测点击率方面表现良好，但该模型仅适用于单击场景。基于级联假设，依赖点击模型（DCM）[9]扩展了级联模型，以便●●●●第一章1我C. Wang等人/CAAI Transactions on Intelligence Technology 1（2016）313e 322315þ在多次点击会话中对用户交互进行建模。DCM假设用户在点击当前文档后可能有一定的概率查看下一个文档，该概率受结果的排序位置的影响。DCM模型的特征如下：PEi11jEi 1;Ci 01 7PEi11jEi 1;Ci1118其中L1表示位置i的保存概率1。随后，用户浏览模型（UBM）[10]通过假设正在检查的文档的事件取决于先前的点击位置以及先前点击位置与当前点击位置之间的距离来进一步细化检查假设。PEi¼1jC1：i-1lri;di9其中，ri表示前一点击位置，di是当前排名与ri之间的距离。动态贝叶斯网络模型（DBN）[10]是第一个考虑由于片段（而不是排名位置）导致的呈现偏差的模型。该模型将实际相关性与感知相关性区分开来，感知相关性表示SERP中标题或片段所表示的相关性，而实际相关性是着陆页的相关性。P Ri1 ru10PSi1jCi1su11PEi1jEi1;Si0l 12其中Si表示用户是否对第i个文档满意，Su是该事件的概率，Ru是感知相关性的概率，而L表示继续检查过程的概率。随后，点击链模型（CCM）[14]使用贝叶斯推理来获得相关性的后验分布。与其他现有模型相比，该模型引入了跳跃行为。CCM对于大规模点击数据具有可扩展性，实验结果表明它对于低频（也称为长尾）查询是有效的。2.2. 高级点击模式在这里，我们总结了一些改进基本点击模型的最新点击模型。这些模型中的大多数通过引入新的参数建立在基本点击模型之一的基础1单击第i个文档时，检查第（i 1）个结果的概率使用更多的数据，并且更一般地，结合关于用户行为的附加知识。很明显，垂直结果通常在视觉上更突出，吸引更多的用户注意力。此外，Chen et al.[15]显示垂直块也会影响附近非垂直文档获得的关注量。在对垂直领域的不同特性进行深入分析后，Wang等人[8]提出了一个基于UBM的复杂模型，并结合了四种不同类型的偏见：吸引力偏见，全局偏见，第一位偏见和序列偏见，以描述用户面对垂直结果时的行为。Chuklin等人。[16]建议将垂直搜索视为具有不同意图（需求）的不同用户：有机网页，图像，新闻，视频等。然后可以对不同的内容使用不同的检查和点击概率，假设每个查询的意图分布是已知的。作者建议进一步考虑视觉方面，假设使用特殊的演示格式，例如，新闻结果将导致不同的考试模式比，如果这些结果是作为有机网络结果呈现。很明显，SERP越异构，用户就越有可能以非线性的方式检查它。Wang等人提出了部分顺序点击模型（PSCM）[12]，以考虑点击序列信息。PSCM模型基于眼动跟踪实验提出了两个额外的用户行为假设：第一个假设是，虽然相邻点击之间的检查行为可以被视为局部单向的，但用户可能会跳过一些结果，并沿着某个方向检查与当前结果相距一定距离的结果。第二个假设是在相邻的点击之间，用户倾向于在一个单一的方向上检查搜索结果，而不会发生变化，并且该方向通常与点击的方向一致。该模型区分了结果位置和检查顺序，并显示出比基于位置的点击模型更好的点击预测性能。除了PSCM的努力，将非顺序行为到点击模型，还有一些其他的工作在类似的方向。例如，Zhang等人。[17]提出了一种基于递归神经网络（RNN）的点击模型用于赞助搜索。他们通过RNN中的递归结构直接将用户顺序行为的依赖性建模到点击预测过程中。Borisov等人。[18]还提出了一种基于RNN的点击模型来建模用户的顺序点击行为。这些模型只考虑了点击序列信息，忽略了不同点击停留时间对点击行为的影响。3. 用户行为分析如前所述，大多数点击模型都遵循一个建立过程，即首先对用户行为进行分析，然后总结不同的用户行为模式。为此，我们首先介绍了用户行为分析的过程.316C. Wang等人/CAAI Transactions on Intelligence Technology 1（2016）313e 322≥ð Þ ð Þ ðÞ3.1. 点击日志分析为了调查用户行为信息，我们必须首先收集用户与搜索引擎的交互数据。由于用户的点击信息是非常有用的，并且很容易被商业搜索引擎收集，许多用户行为分析都是基于搜索和点击日志。例如，在垂直感知点击模型[8]中，在2012年4月的时间段期间，数据集包含53，080，107个查询会话，其中有15，149，469个不同的查询。利用点击日志，我们可以分析不同情况下的点击分布差异，并根据这些比较发现一些用户偏好。例如，在垂直感知点击模型[8]中，我们可以根据图1得出两个现象：1）不同的垂直对用户点击偏好具有不同的全局影响; 2）多媒体垂直增加全局点击率（CTR），而应用垂直降低全局CTR。3.2. 眼动追踪研究虽然点击日志分析可以帮助我们了解用户的搜索行为，但通过点击日志并不能完全了解用户的浏览过程。因此，也有研究者在实验室进行眼动追踪研究，观察用户在搜索过程中的实际眼动情况。由于眼动仪价格昂贵且难以广泛应用，因此眼动研究的规模通常远小于对数分析。眼动追踪研究的受试者人数通常少于100人[19e21]。使用眼动追踪设备（例如Tobii X2-30），我们可以在搜索引擎结果页面（SERP）上记录每个受试者的眼动信息。为了质量控制的目的，每个受试者被要求在实验前进行眼动跟踪校准。使用眼动追踪装置，可以收集两种类型的眼动信息：扫视和注视。扫视意味着快速的眼球运动，从一点到另一点，而固定意味着眼睛停留很短的时间[22]。由于新信息主要是在注视期间获得的，因此大多数现有研究[23e25]假设眼睛注视等同于用户检查序列。近期研究[21]Fig. 1.第一页的平均点击率，当不同类型的垂直结果出现从排名1到排名10。表明在许多情况下，眼睛注视并不一定意味着检查。因此，扫视信息在搜索过程中也可能是非常有用的。3.2.1. 垂直感知点击模型对于VCM模型，我们希望找到以下关于用户在SERP上的检查行为的问题的答案：RQ：用户首先检查垂直行业吗为了分析用户首先关注的结果，我们收集了受试者在屏幕上的前2秒眼睛注视图图2和图3示出了来自眼动跟踪数据的两个示例，其示出了用户在SERP上观看具有不同种类的垂直或没有垂直结果的区域。我们可以看到，当SERP中没有垂直（这应该被视为位置偏差的标志）时，用户最关注第一个结果然而，当在第三位置有多媒体垂直结果有了这个观察，我们可以制定以下行为假设：吸引偏差：如果SERP中有一个垂直放置，用户可能会首先检查它3.2.2. 部分顺序点击模型对于PSCM模型，我们希望找到以下两个关于用户在SERP上的检查行为的问题的答案：RQ 1：用户在点击之间多久改变一次检查方向？用户在查看当前点击结果后，眼睛的注视会跳多远？通过对这两个问题的研究，我们旨在了解用户的行为，并提出相应的用户行为假设，以便以更合理的方式对用户的考试行为进行为了简化符号，假设第一次点击在位置i，下一次点击在位置j，如果ij，则根据深度优先假设，它是一个顺序动作（该方向被称为<如果我j，它是根据重新访问行为的定义的非顺序点击动作（该方向被称为“[“）。为了回答这两个研究问题，我们首先将所有的考试序列划分为相邻的考试行为对。为一给定考试序列E1;E2;<配对：E1;E2;E2;E3;对于每一对，类似有了相邻点击的方向定义，我们可以根据检查对的顺序是否遵循深度优先假设，将其方向定义为[或Y]。为了研究RQ 1，我们分别考虑[和Y个相邻点击之间的检查序列。直觉上，人们可能认为Y相邻点击之间的检查顺序应该遵循深度优先假设。换句话说，检查序列将与点击序列一致然而，检查序列中的一些部分也可能遵循非顺序次序。类似地，[相邻点击]之间的检查序列也可以包含Y个相邻检查对。为了了解检查方向改变在相邻C. Wang等人/CAAI Transactions on Intelligence Technology 1（2016）313e 322317图二、SERP上前2秒内受试者眼睛注视区域的热图，无垂直。图3. 在SERP上的前2秒内受试者眼睛注视区域的热图，其中多媒体垂直放置在第三位置。点击，我们计算检查方向变化的数量，分布如图所示。四、从该图中可以看出，无论点击方向是[还是Y，在大多数情况下（72.7%为Y，78.9%为[），整个检查序列都遵循与点击方向相同的方向，没有任何方向变化。Y点击之间方向改变的序列的百分比略大于[点击]之间的百分比。这种现象很好地对应于用户在移动到较低排名的结果之前重新检查一些较高排名的结果的行为模式有了这个观察，我们可以制定以下行为假设：局部单向检查假设：在相邻的点击之间，用户倾向于以一种见图4。两种相邻点击类型的检查方向变化计数的分布。318C. Wang等人/CAAI Transactions on Intelligence Technology 1（2016）313e 322J -J-þ单一方向，无变化，无论是[或Y，方向为了回答RQ 2，我们查看相邻检查对内的平均检查转换距离。对于给定的相邻检查对<$E t-1;E t<$，假设第一个检查Et-1位于位置k，而下一个检查Et在位置l处，过渡距离可以计算为：克湖图5显示了不同结果位置的过渡距离分布。我们可以看到，当用户遵循自上而下（Y）点击序列时，所有过渡距离都在1.25左右。而当用户跟随botto m-up（[）点击序列时，他/她的眼睛可能会跳过几个结果以找到特定的结果。特别是，我们观察到较大的过渡距离底部排名的位置，这往往会带回到列表中的中间位置（位置5和 6）。由于所有转换距离在统计学上显著大于1（基于t检验，每个位置和每个点击方向的p值为0：<非一阶检验假设：虽然相邻点击之间的检验行为可以被视为局部单向的，但用户可以跳过一些结果，并沿着某个方向在距离当前结果一定距离处检验结果。4. 模型构建在分析用户行为模式之后，我们需要将这些模式抽象为数学公式，并推断此类模型的学习方法。4.1. 垂直感知点击模型所提出的垂直感知点击模型（VCM）描述如下：PCi<$1jEi<$0 <$0 13PCi<$1jEi<$1P Ri< $1jEi<$114PF1ftv;lv15P？Ei？1jF？ 0;C1：i-1？1gi;i-1i？16 gPEi<$1jF< $1;C1：i-1gi;i-liqq;i17PRi<$1jEi< $1;F<$0aq;i18PRi<$1jEi< $1;F<$1aq;ibq;i19PB<$1jF<$0<$20PB1jF1stv;lv21图6显示了VCM的决策过程。当用户开始查询会话时，如果SERP中存在垂直结果，则用户将有机会首先检查垂直。首先检查垂直方向后，用户将决定以自下而上或自上而下的顺序扫描回前一个文档。4.2. 部分顺序点击模型一阶点击假说在DBN和UBM等点击模型中被广泛接受。我们在这项工作中做同样的事情。假设时间t1的点击事件仅由时间t的点击事件决定。根据该假设，用户点击动作C1;C2;<可以独立地分成T1个相邻的点击对：;<<图五、不同考试的平均考试过渡距离两种类型的相邻点击的位置转换开始位置见图6。氯乙烯单体的决策过程C. Wang等人/CAAI Transactions on Intelligence Technology 1（2016）313e 322319¼¼公司简介≤ ≤ ≤ ≤..≤ ≤≤≤我ωt-1不困惑i¼2NJ我我我我..Σ搜索过程）。这使得我们可以将点击序列划分为子序列（相邻点击对）。根据局部单向检验假设，给定在时间t的相邻喀哒声的观察： 用户倾向于检查从m到n的路径上的结果，而没有任何方向改变。然后对Ct-1和Ct可以被指出作为< E m;...; E j ; ...; E n>和m），其中它们之间的所有文档都有一定的概率被检查。这种行为由等式（23）和等式（24）建模。4.3.参数推断我们使用期望最大化（EM）算法来完成推理步骤。EM算法用于找到其中，困惑度i是第i个结果位置中的困惑度分数并且N是总会话计数，Ci是实际用户点击信息并且pi是预测点击概率。整体点击困惑分数是所有位置的平均值（在我们的数据集中为10）。点击困惑表明模型可以预测点击的程度。困惑度值越小表示建模性能越好，在理想情况下该值达到1。点击困惑CP1比CP2的改善通常是按CP2-CP1计算 100%[8，15]。CP2- 1ð27Þ320C. Wang等人/CAAI Transactions on Intelligence Technology 1（2016）313e 322345.1.2. 对数似无论何时我们有一个统计模型，我们都可以通过查看一些保留测试集的可能性来评估其准确性[26]。对于测试集中的每个会话，我们根据点击模型计算该会话的可能性。如果我们进一步假设会话的独立性，我们可以计算联合似然的对数。这个度量被称为对数似然，通常使用总概率公式进行分解。作为概率度量的对数，该度量总是具有非正值，值越高表示预测质量越好。5.2. 相关性估计以评价基础相关性为目标，利用专业编辑的判断力。编辑人员手动将查询结果对分为五个等级：完美，优秀，好，一般和差。然后使用归一化贴现累积增益（NDCG）[27]作为评估搜索相关性性能的常用度量。NDCG是一个重要的和流行的度量排名算法的性能。由于每个点击模型都可以在训练过程后提供其查询结果相关性预测，因此一旦我们获得每个查询结果对的相关性标签，我们就可以使用NDCG测试排名性能。包含实际查询和文档URL的少数数据集，这使得它很有价值，尽管它代表了不同一代的Web搜索用户。WSCD。由Yandex.com[29，30]提供，WSCD 2012搜索引擎6由2009年左右从Yandex日志中提取的用户搜索会话组成。该数据集包含匿名查询，URL排名，点击和排名URL的相关性判断。此外，查询被分组到搜索 会 话 中 。WSCD 2013 数 据 集 是 从 2011 年 左 右 的Yandex日志中提取的，WSCD 2014数据集是在2012年左右收集的。搜狗Q由Sogou.com提供，SogouQ数据集包含匿名用户ID，查询，URL排名和点击。查询字符串和文档URL不会被模糊，而是在点击日志中逐字提供。这使得研究人员能够执行查询相似性分析，文档分析和其他应用程序，而这些应用程序是数字id无法实现的。这个数据集的缺点是它只提供了关于点击文档的信息，所以显示给用户的文档的确切集合只能是近似的。6.2. 工具2● ClickModels项目。 它提供了一个开放源代码的简单-5.3.用户偏好测试除了在相关性估计中的评估之外，有时我们还想知道由一个特定模型提供的排名列表是否比其他模型更受真实用户的青睐。因此，可以进行并排用户偏好测试来测试用户的真实偏好[12，28]。根据这种测试，用户被要求在不同点击模型的整个排名列表中标记他们的偏好，并通过投票方法产生最终的偏好。6. 有用的数据集和工具为了推断参数并评估点击模型的性能，研究人员使用点击日志，即，带有点击信息的用户搜索会话日志。这些日志由实时搜索系统生成，包含隐私和商业价值方面的高度敏感信息。因此，公开发布这些数据非常具有挑战性，需要做大量工作。因此，我们讨论公开可用的点击日志。我们还描述了软件包和库，我们发现有用的点击模型。6.1. 数据集美国在线。最早公开发布的数据集之一是2006年发布的AOL查询日志。这是一个全面的数据集，包含超过65万用户在3个月内的2000万次搜索会话。这些数据没有出于隐私考虑进行编辑，这导致该公司在发布后几天就撤回了数据集是一最先进的点击模型，即Dy，动态贝叶斯网络模型（DBN）[11]（简化版和完整版）和用户浏览模型（UBM）[10]。PyClick。它提供了最先进的点击模型的开源实现，即以任务为中心的点击模型（TCM）[31]，联合点击模型（FCM）[15]和垂直感知点击模型（VCM）[8]。星期四点击。它提供了最先进的点击模型的开源实现，即部分序列点击模型（PSCM）[12]，部分可观察的马尔可夫模型（POM）[32]，时间隐藏点击模型（THCM）[33]，时间点击模型（TCM）[34]。7. 结论本文介绍了如何建立一个有效的clcik模型。本文以VCM和PSCM两种点击模型为例，介绍了建立点击模型的一般过程。我们展示了如何从眼动跟踪研究中分析用户行为的示例。我们还介绍了不同的点击模型的比较常见的评估指标。本文还介绍了一些有用的数据集和工具，以帮助读者更好地理解和实现现有的点击模型。本次调查的目的是汇集该领域目前的努力，总结迄今为止进行的研究，并给出一个关于构建网络搜索点击模型的观点。2https://github.com/varepsilon/clickmodels。3https://github.com/markovi/PyClick。4https://github.com/THUIR/PSCMModel。●●●●●C. Wang等人/CAAI Transactions on Intelligence Technology 1（2016）313e 322321引用[1] S.罗伯逊，H.萨拉戈萨，概率相关性框架：BM 25及以后，NowPublishers Inc，2009年。[2] S.罗伯逊，H.萨拉戈萨湾Taylor，Simple bm25 extension to mul-tipleweightedfields ， in ： ProceedingsoftheThirteenthACMInternationalConference on Information and Knowledge Management，ACM，2004，pp. 42和49。[3] J.H. Paik，A novel tf-idf weighting scheme for effective ranking，in：Proceedingsofthe36thInternationalACMSIGIRConferenceonResearch and Development in Information Retrieval，ACM，2013，pp. 343和352。[4] G. Salton ， M.J. McGill ， Introduction to Modern InformationRetrieval，1986。[5] T. 约 阿 希 姆 湖 格 兰 卡 湾 潘 ， H. 亨 布 鲁 克 湾 Gay ，Accuratelyinterpreting clickthrough data as implicit feedback ， in ：Proceedings of the28th Annual International ACM SIGIR Conferenceon Research andDevelopment in Information Retrieval，ACM，2005，pp. 154和161。[6] N. Craswell，O. Zoeter，M.泰勒湾，澳-地Ramsey，点击位置偏置模型的实验性组合，在：2008年网络搜索和数据挖掘国际会议论文集，ACM，2008年，pp. 87和94。[7] Y. 约 河 ， 巴 西 - 地 Patel ， H. Roehrig ， Beyond position bias ：examiningresultattractionasasourceofpresentationbiasinclickthrough data ， in ： Proceedings of the 19th InternationalConference on World Wide Web，ACM，2010，pp. 1011和1018。[8] C. Wang ， Y. Liu ，M. Zhang ，S. 妈， M 。Zheng ， J. Qian， K.Zhang，将垂直结果转化为搜索点击模型，在：第36届国际ACMSIGIR信息检索研究与开发会议的会议纪要，ACM，2013，pp. 503和512。[9] F. Guo ， C. 刘 彦 明 Wang ， Efficient multiple-click models inwebsearch ， in ： Proceedings of the Second ACM InternationalConference onWeb Search and Data Mining，ACM，2009，pp. 124e131.[10] G.E. 杜 普 雷 湾 Piwowarski ， A user browsing model to predictsearchengine click data from past observations，in：Proceedings of the31stAnnualInternationalACMSIGIRConferenceonResearchandDevel-opment in Information Retrieval，ACM，2008，pp. 331和338。[11] O. 沙 佩 尔 岛 Zhang ， A dynamic baidu network click model forwebsearch ranking ， in ： Proceedings of the 18th InternationalConference onWorld Wide Web，ACM，2009，pp. 1e 10.[12] C. Wang，Y. Liu，M. Wang，K. Zhou，J. Nie，S. Ma，将非顺序行为转化为点击模型，在：第38届国际ACM SIGIR信息检索研究与开发会议论文集，ACM，2013，pp. 283和292页。[13] A.丘克林岛Markov，M. de Rijke，Click Models for Web Search，Morgan and Claypool，2015.[14] F. Guo，C.Liu，中国粘蝇A.Kannan，T.Minka，M. J. Taylor，Y. M.小王，C. Faloutsos ， Click chain model in web search ， in ： WWW'09 ，2009，pp. 11E20.[15] D.陈威Chen，H. Wang， Z.陈角，澳-地Yang，Beyond ten bluelinks ： enabling user click modeling in federated web search ， in ：Proceedings ofthe Fifth ACM International Conference on Web Searchand DataMining，ACM，2012，pp. 463和472。[16] A. Chuklin，P. Serdyukov，M. De Rijke，Using Intent InformationtoModel User Behavior in Diversified Search ， in ： EuropeanConference onInformation Retrieval，Springer，2013，pp. 1e 13。[17] Y. Zhang，H.戴角，澳-地Xu，J. Feng，T. Wang，J. Bian，B.王德铭 Y. Liu ， Sequential click prediction for sponsored search withrecurrent neuralnetworks，2014年第28届AAAI人工智能会议。[18] A.鲍里索夫岛Markov，M. de Rijke，P. Serdyukov，网络搜索的神经点击模型，第25届万维网国际会议，2016年。[19] 洛杉矶Granka，T.Joachims，G.Gay，wwwsearch中用户行为的眼动跟踪分析，SIGIR 04，ACM，2004年，pp. 478和479。[20] E. Cutrell，Z.关，你在找什么？一项眼动追踪研究Web搜索中的信息使用，在：CHI 07，ACM，2007年，pp. 407和416。[21] Y. Liu ， C. Wang ，K. Zhou ， J. Nie ， M. Zhang ， S. Ma ， Fromskimming toreading：a two-stage examination model for web search，in：CIKM '14，ACM，2014，pp. 849和858。[22] K. Rayner，阅读、场景感知和视觉搜索中的眼动和注意，Q。J.Exp. 神经病 62（8）（2009）1457e 1506。[23] J. Huang，R.W.怀特，S。Dumais，No clicks，no problem：usingcursormovements to understand and improve search，in：CHI's 11，ACM，2011，pp. 1225年和1234年。[24] G. Buscher，S.怀特，W。Ryen，J. Huang，搜索结果页面检查策略中个体和任务差异的大规模分析，在：WSDM'12，ACM，2012，pp. 373和382。[25] R. Navalpakkam，Vidhya，S. Ravi，A.艾哈迈德，A。Smola，在