422基于深度兴趣凸显网络的触发推荐点击率预测沈启杰1，洪文1，陶万杰1，张静2，吕富宇1，陈祖龙1，赵力31阿里巴巴集团、2悉尼大学、3浙江大学{qijie.sqj，qinggan.wh，wanjie.twj，zulong.czl，fuyu.lfy}@alibaba-inc.comsydney.edu.au，zhao_li@zju.edu.cn摘要在许多经典的电子商务平台中，个性化推荐已被证明具有巨大的商业价值，可以提高用户满意度，增加平台收入。 本文提出了一种新的推荐问题--触发诱导推荐（TIR），该问题可以通过一个触发项显式地诱导用户的即时兴趣，并相应地推荐后续相关的目标项。TIR在电子商务平台中变得无处不在和流行。本文指出，现有的推荐模型在传统推荐场景下，基于用户的海量历史行为挖掘用户兴趣是有效的，但在TIR场景下，由于两种场景之间的差异，现有的推荐模型在发现用户的即时兴趣方面存在困难，导致推荐性能较差。为了解决这个问题，我们提出了一种新的推荐方法命名为深度兴趣突出网络（DIHN）的点击率（CTR）预测TIR场景。 它有三个主要组成部分，包括1）用户意图网络（UIN），它响应生成一个精确的概率得分来预测用户对触发项的意图; 2）融合嵌入模块（FEM），它基于UIN的预测自适应地融合触发项和目标项嵌入;和（3）混合兴趣提取模块（HIEM），它可以有效地突出用户的即时兴趣，从他们的行为基于FEM的结果。在真实世界的电子商务平台上进行的广泛的离线和在线评估证明了DIHN优于最先进的方法。我们的代码可用1.CCS概念• 信息系统→信息检索。关键词推荐系统，点击率预测，触发式推荐，用户你好。Shen和H.温莎是第一作者之一。1https://github.com/EzailShen/WWW-22-DIHN允许免费制作本作品的全部或部分的数字或硬拷贝，以供个人或课堂使用，前提是制作或分发副本的目的不是为了盈利或商业利益，并且副本的第一页上版权的组成部分，这项工作所拥有的其他人比ACM必须尊重。允许使用学分进行摘要 以其他方式复制、重新发布、在服务器上发布或重新分发到列表，需要事先获得特定许可和/或付费。请求权限请发邮件至permissions@acm.org。WWW©2022计算机协会。ACM ISBN 978-1-4503-9096-5/22/04。. . 十五块https://doi.org/10.1145/3485447.3511970ACM参考格式：Qijie Shen，Hong Wen，Wanjie Tao，Jing Zhang，Fuyu Lv，ZulongChen，Zhao Li. 2022.深度兴趣突出网络用于触发诱导推荐中的点击率预测。 在ACMWeb Conference 2022（WWW '22）的会议记录中，2022年4月25日至29日，虚拟活动，法国里昂。ACM，New York，NY，USA，9页。https://doi.org/10.1145/3485447的网站。35119701引言在传统的推荐系统中，用户只能被动地接受信息，缺乏即时反馈机制与系统进行交互。然而，用户有时可能打算主动访问与刚才点击的项目更相关的项目。为了实现这一目标，本文提出了一个新的推荐问题，触发诱导推荐（TIR），其中用户的即时兴趣可以显式地诱导与触发项（即。e. 最后点击的项目），并相应地推荐后续相关例如，在我们的在线场景（世界上最大的电子商务平台之一）中，首先显示多张卡片，每三个推荐项目如图所示。1（a）. 然后，一旦一个项目被点击，一个新的页面，称为项目饲料流页面（IFFP），将被触发和显示，如图所1（b），其中刚才点击的项，称为触发项，始终位于第一个位置（由红色矩形突出显示），并相应地推荐其他项接下来，如果用户点击IFFP中的一个感兴趣的项目，相应的详细页面将显示如图所示1（c），用户可以直接购买或将其添加到购物车中。我们将IFFP中的这种推荐场景称为TIR场景，它在电子商务平台中已经变得无处不在和流行在我们的在线应用程序中，TIR已经成为标准推荐场景，为用户进入详细信息页面进行进一步购买提供了必要的方式。此外，TIR场景在我们应用程序的所有推荐场景中贡献了超过60%的项目页面浏览量（IPV），这表明了所提出的任务的重要价值和性能改进。类似的场景也可以在消息类APP中找到，例如。是的。，对微信看一看”中相关段落的解释建议[23]。本文主要研究电子商务场景下TIR的点击率（CTR）预测问题，以改善用户体验，增加平台收益。我们知道，CTR在巴西发挥着至关重要的作用tion [2，12，15，16，29，30]，其目的是预测用户点击项目的概率最近，受深度学习在各个研究领域的成功启发，e. 是的。、自然语言处理[5，11，27]和计算机视觉[6，9，20]，基于深度学习的方法也被提出用于CTR预测任务，例如PNN [14]、DeepFM [4]和DCN [21]。这些方法，从423WWW从特征交互的角度出发，首先将大规模稀疏特征映射成固定的低维嵌入向量，然后将其送入全连接层学习特征表示，忽略了从用户的历史行为中捕捉用户的兴趣。或者，已经提出了越来越多的新方法来从用户的历史行为中提取用户的兴趣。深度兴趣网络（DIN）[30]是CTR领域中第一个基于注意力的工作，它采用注意力机制来动态地重新权衡用户深度兴趣进化网络（DIEN）[29]被进一步提出来模拟电子商务系统中用户在基于搜索的兴趣模型（Search-based Interest Model，SIM）[13]中，提出了一种硬搜索模式来提取用户对目标项目的兴趣，该模式仅选择与目标项目类别相同的行为并将其尽管这些方法有效，但由于TIR和传统场景之间的差异，这些方法在商家诱导的推荐系统中并不是最优的。用户可能对他们的历史行为有多种兴趣，例如电子产品，服装和零食，从而导致在非TIR场景中相应地推荐不同的物品，例如。是的。，图中的场景1（a）. 然而，在TIR场景中，用户例如，给定触发项电子的类别，这意味着用户在该瞬时时刻仅对与电子类别因此，如果直接采用现有的方法，如DIN [30]或DIEN [29]，性能将严重下降，因为它们没有明确地对触发项引起的即时兴趣进行一种直觉是，如果我们能够利用触发项来发现用户的即时兴趣，我们就可以推荐更多可能被点击的相关目标项，即。e.提高CTR性能。然而，由于以下挑战，这并不是微不足道的挑战1：用户如何评估用户挑战2：用户总是从他们的历史行为中表现出多种兴趣然而，在TIR场景中，用户通常会对触发项表现出即时兴趣。因此，如何同时从用户对触发项和目标项的历史行为中提取为了解决这些挑战，我们提出了一种新的模型命名为深度兴趣突出网络（DIHN）的TIR场景中的CTR预测。具体来说，它由用户意图网络（UIN），融合嵌入模块（FEM）和混合兴趣提取模块（HIEM）组成。UIN响应以生成精确的概率分数来预测用户FEM基于 UIN的预测自适应地例如，有两种极端情况，一种是如果用户对触发项没有任何兴趣，只是随意点击它，FEM的结果将退化到目标项嵌入。另一种是如果用户对触发项具有强烈的兴趣，则FEM将退化为触发项嵌入。实际上，UIN预测的结果反映了用户即时兴趣的强度，FEM利用该强度将两种嵌入融合在一个主要饲料物料进料流页面（IFFP）单击主题A主题B显示用户点击并输入IFFP，提要中的第一个项目是您刚刚点击单击上海迪士尼灵隐寺Xi城墙主题C......添加到买立即购买¥757目Xi城墙门票5.03个评论(a)(b)（c）第（1）款图1：流行电子商务平台中的在线TIR场景的图示，其中用户的即时兴趣可以由触发项（点击项）显式地诱导，自适应的方式，更好地用户此外，HIEM通过利用两种建模范式，即软顺序建模（SSM）和硬顺序建模（HSM），可以有效地突出用户的兴趣。SSM通过考虑历史用户与FEM的相关性，自适应地提取用户兴趣的表示向量。而HSM则借鉴SIM [ 13 ]的硬搜索模式的思想，首先选择与触发项类别相同的行为，然后将这些行为聚合为一个子行为序列，再利用它来捕捉用户相应的兴趣。最后，将所有的表示特征与几个原始上下文特征连接起来，并输入到完全连接的层中，以生成最终的预测结果。本文的主要贡献如下：据我们所知，这是第一个研究电子商务中的重要推荐问题--商家诱导推荐的工作，它对现有的推荐系统提出了新的挑战。本文提出了一种新的TIR场景CTR模型DIHN，该模型能够学习更有表现力的用户兴趣表示，并基于三个精心设计的组件实现更精确的CTR预测。我们在真实世界的离线数据集上进行了广泛的实验，结果表明，所提出的DIHN比代表性的最先进的解决方案的有效性。值得注意的是，DIHN已经部署在我们的在线推荐系统中，并提供了显着的改进，进一步证实了其在工业应用中的价值。我们的论文的其余部分组织如下。第2节介绍了相关工作的简要回顾，然后在第3节中详细介绍了拟议的模型实验设置以及相应的结果和分析见第4节。最后，我们总结了本文，并在第五节讨论了未来的工作。·····基于深度兴趣凸显网络的触发推荐点击率预测WWW424[{}]∈∈2相关工作在本节中，我们将从特征交互、用户行为建模和触发诱导推荐三个方面简要回顾相关工作。特色互动：如今，学术界和产业界的交流，社区越来越重视捕捉特征交互，而不是穷尽特征工程工作。DCN[21]和Wide Deep [1]创造性地用神经网络代替人工特征变换，以获得更好的记忆和泛化能力。NCF [7]，DeepFM [4]和DMF[24]采用具有多个MLP的神经网络对用户和项目之间的特征交互进行 AutoInt [17]和CAN [28]进一步提出了用于全面特征交互的自注意机制。此外，GNN [3]从图的角度实现了特征交互，并取得了巨大的成功。在我们的DIHN中，我们还探索了所有特征嵌入以及原始上下文特征的高阶特征交互用户行为建模：最近，一系列的作品是亲，提出从用户丰富的历史行为数据中捕获用户例如，DIN [30]强调了用户DIEN [29]改进了GRU来模拟兴趣的演变，并提出了一种辅助损失来从用户的行为中捕获潜在的兴趣Pi等人[13]提出了一种名为MIMN的基于存储器的新架构，以从长序列行为数据中捕获用户的兴趣，这是第一个能够处理长度扩展到数千的长序列用户行为数据的工业解决方案。这些现有的推荐模型，尽管有效，但由于缺乏明确的触发项建模，在TIR场景中难以发现用户的兴趣。触发诱导推荐：最相关的工作我们的是R3S [23]，i. e. 在一定程度上可以看作是对TIR的一种研究。R3S在推荐中提出了一种新的扩展阅读推荐建议任务，旨在预测用户对扩展阅读的兴趣，并根据当前被点击的项目推荐合适的相关项目。根据我们的工作定义，用户刚刚点击的项目可以被视为触发器项目。具体而言，R3S从特征交互、语义相似度、点击条目（触发条目）与相关候选条目之间的信息增益等多个方面提取用户兴趣。然而，R3S无法从用户的历史行为中捕获用户的兴趣，给定点击项目（触发项目）和可编辑项目。另外，在我们的DIHN中，我们设计了一个FEM模块来无缝地融合触发项和目标项嵌入，进一步利用它来从用户的行为中提取用户3该方法在本文中，我们提出了一种新的推荐模型命名为DIHN的TIR场景中的CTR预测。DINH的整体架构如图2所示，它由四个主要组成部分组成，包括1）特征表示层（FRL），将各种高维稀疏独热向量转换为固定长度的低维稠密向量; 2）用户意图网络该方法包括：（1）基于用户行为的兴趣提取模块（UIN），用于生成一个精确的概率分数来预测用户最后，所有的表示特征与几个原始的上下文特征连接起来的CTR预测。在本节的剩余部分，我们将详细介绍它们3.1动机一般来说，用户可以从他们的历史行为中表现出多个兴趣，例如电子产品、服装和零食，从而在非TIR场景中相应地推荐不同的物品，例如。是的。，图中的场景1（a）. 提出了几种序列建模方法，从用户对不同目标项的历史行为中捕捉用户的动态兴趣。例如，深度兴趣网络（DIN）[30]作为优秀的代表性工作，旨在激活相关用户相对于相应目标的行为，并获得自适应的表示向量， 尽管有效，我们发现，这些现有的方法是不那么有效的，由于没有明确建模的即时兴趣引起的触发项在一个商家诱导的推荐。例如，给定点击的触发项电子的类别，这意味着用户在该瞬时时刻仅对与电子类别相关的项感兴趣。如果直接使用DIN而不显式地对用户的即时兴趣进行建模或者，我们可以利用触发项和目标项，适当地模拟用户的顺序行为，并探索他们的确切兴趣。然而，前一节中介绍的一些挑战应得到认真解决。在下文中，我们将介绍如何通过DIHN中精心设计的组件来应对这些挑战。3.2要素制图表达图层在DIHN中，我们主要使用四类特征来表示用户的兴趣，即用户描述、用户行为、触发器、目标项和上下文例如，用户配置文件包含年龄、性别、采购级别等。用户行为包含访问项目的用户的顺序列表触发器以及目标项包含ID、类别等。上下文包含时间、天气等。此外，每个字段中的特征通常通过编码转化为高维稀疏的one-hot特征。例如，来自用户配置文件类别的性别字段的特征值male被编码为[0，1]。假设来自UserProfile、User Behaviors、Trigger、Target Item和Context的不同字段的one-hot向量的拼接结果此外，在顺序CTR预测任务中，Xb通常包含用户行为列表，数学表示为当Xb=b1; b2;. ; bTRK×T，bt0， 1K，其中T、K和bt表示用户行为的长度WWWShen，etal.425混合兴趣提取模块融合嵌入模块软时序建模硬序贯建模预测得分用户意图网络MLP层加权和池化1-QK VK、V、Q........R........用户字段行为序列触发项字段目标项目字段行为序列用户字段 触发项字段 上下文字段Ayer分泌液e Repr拉乌基于属性的子序列....前馈注意力MLP层交叉熵损失预测得分交叉熵损失[客户端][] ∈.（）下一页联系我们..（）下一页连结层前馈注意力特征交互层Q....KV....多头自我注意图2：我们提出的DIHN模型的概述架构，包括特征表示层（FRL），用户意图网络（UIN），融合嵌入模块（FEM）和混合兴趣提取模块（HIEM）模块。候选项和第t个行为的独热向量。类似地，Eb表示为Eb = e1; e2;...其中D和et表示由嵌入层变换的密集特征的维数，并且第t个行为。x=VU;Eu;Et. 然后将其馈送到多个完全连接的层中，以进一步学习高阶特征交互。接下来，在激活函数之后，我们获得UIN的输出，表示为p x，它表示在TIR场景中触发项被点击的预测概率（例如，是的。，如图1（b）所示最后，我们定义该模块的目标函数如下：3.3用户意图网络在TIR场景中，用户可以通过触发项明确表达他们的即时然而，用户损失t1=−N（x，y）∈S（ylo <$p（x）+（1−y）lo <$（ 1−p（x），（2）由于用户行为中存在对错误项的意外点击，触发项具有固有的噪声因此，如何评估用户对触发项的真实意图仍然是一个挑战。在这里，我们提出了一个用户意图网络（UIN）来解决这个问题，它响应生成一个精确的概率分数，说明用户参考图2中的UIN模块，其中我们利用三类特征，即：e、用户配置文件、用户行为、触发以估计概率。 为了自适应地计算关于触发项的用户行为的用户顺序表示，我们参考DIN[30]的架构。它可以表述为：其中S表示总大小为N的训练集，y0，1是表示用户是否点击触发项的地面真值标签此外，在TIR场景中，每个样本具有来自触发项的若干附加信息，包括触发项的特征、触发项是否被点击的标签参考图1中描绘的IFFP1（b），如果用户点击触发项，则来自与触发项相同的IFFP的样本将具有相同的辅助标签（e. 是的。，正），可用于监督UIN的学习。此外，表示来自最后MLP层的表示向量因为VTx与Et和Ei具有相同的维数，VU=f（Eb;Et）=不i=1a（ei，Et）ei=不i=1（1）第一次见面。在以下模块中使用。3.4融合嵌入模块其中Vu表示相对于Et的用户表示特征，并且a. 是一个前馈网络，其输出是激活权重wi，如DIN [30]所示。现在，给定用户表示特征Vu，我们首先将其与其他密集表示向量Eu和Et，i连接。e. 、在非TIR场景中，现有的代表性方法，e。是的。，DIN [30]，总是采用注意力机制来动态地重新权衡用户相对于目标项的历史行为。然而，在TIR场景中，我们发现，如果直接使用DIN而不显式地建模用户基于深度兴趣凸显网络的触发推荐点击率预测WWW426∈∈.[] ∈、（十）exp（αi）不i=1rl，（8）+bl）我我我项，模型的性能将严重下降。或者，合适的用户αt=. exp（αt）、（五）提出了一种融合嵌入模块（FEM），它根据UIN的结果自适应地融合触发项和目标项嵌入例如，对于两种极端情况，一种是如果用户对触发项没有任何兴趣，只是随意地点击它，FEM模块的结果应该退化到目标项嵌入，这表明只有与目标项相关的行为才会被选择来提取用户另一种是如果用户对触发项有确切的兴趣，则FEM模块会降级其中pt∈Rdp是第t个位置嵌入，et∈Rde是第t个行为的特征向量，Wp ∈ Rdh ×dp，We ∈ Rdh ×de，bRdh和zRdh是可学习参数，αt是第t个行为的归一化权重。通过加权和池，将用户子行为的特征向量列表 .不uc=i=1实际上，UIN预测的结果反映了用户的即时兴趣强度，这是使用（e。是的。元素乘积），以自适应方式融合两种嵌入，以更好地提取用户的兴趣。其公式为：FEt=VTxEt+（1-VTx）Ei，（3）其中FEt、VTx、Et和Ei分别表示融合嵌入、来自UIN中最后一个MLP层的表示向量、触发项的嵌入和目标项的嵌入这里，1是与VTx、Et和Ei具有相同维度的向量。3.5混合兴趣提取模块在TIR场景中，用户通常会立即对以相同的方式，上述处理方法可以应用于其他属性（即，e. 、目的地、标签），分别得到基于目的地的向量u_d和基于标签的为了进一步捕捉这些表示向量和原始用户配置文件特征之间的高阶 交 互 ， 我 们 提 出 了 特 征 交 互 模 块 （ FeatureInteractionModule，简称EIM）。具体来说，我们首先将特征连接到一个表示向量中：r<$=[Eu，uc，ud，ut].（七）然后，将所有特征的组合作为训练器的输入，训练器利用全局注意力单元提取输入特征的不同部分之间的关系。 输出计算公式如下：触发项。如何从用户的历史记录中提取用户.nexp（tanh（rl·Wl+bl））l=1Ll=1 ·Wl Lexp（tanh（r通过一个触发项和有限元的融合结果，设计了一种新的混 合 兴 趣 提 取 模 块 HIEM （ Hybrid Interest ExtractionModule）能够有效地从用户的行为中突出用户的兴趣。具体而言，从两个不同的行为建模角度，我们提出了硬序列建模（HSM）和软序列建模（SSM），具体如下。3.5.1硬序列建模。 触发项可以反映用户的即时兴趣。例如，给定触发项电子的类别，这意味着用户在该瞬时时刻仅对与电子类别相关的项感兴趣。 在SIM [ 13 ]的硬搜索模式之后，我们提出了硬序列建模（HSM），表明只有具有相同属性的行为（例如，是的。、类别、目的地）作为触发项，并将其聚合为一个子行为序列，然后利用该子行为序列捕获用户相应的兴趣。以属性类别为例，在数学上，令Ebc=[e1c; e2c;. ∈RD×Tc表示Eb=e1; e2;... eTRD×T，Ebc中的每个元素与触发项具有相同的类别，并按其发生时间排序众所周知，用户用户行为的序列号是行为序列中的序列号它其中Wl和bl分别是权重和偏置矩阵，rl是每个单独特征的表示，L是总特征的数量，特征，并且Ehb是R的输出向量3.5.2软序贯建模。 与非TIR场景中用户兴趣提取直接计算目标项目与用户行为之间的相关权重不同，TIR场景中用户通常可以通过点击触发项目来表达自己的即时兴趣。另一种建模方案是同时提取用户对被点击的触发项和目标项的兴趣。因此，从另一个建模的角度来看，我们提出了软序列建模（SSM），自适应地计算用户的行为的表示向量相对于从有限元的融合结果。此外，由于注意机制，特别是多头自我注意（MHSA），它可以捕捉之间的依赖关系，尽管他们的距离在序列中，已成为一个关键成分的顺序建模，我们也采用MHSA有效地提取用户在数学上，它被定义为：MHSA（F1）=[头1，头2，...，头h]W O，（9）QKT头i=注意力（Q，K，V）=sof tmax（d/hV），其中，F1表示第1层输入，并且Q=F1WQ，K=F1WK，V=F1W可以用公式表示如下：VIIαt=zTtanh（Wppt+Weet+b），（4）FWi表示输入Fl的线性变换。投影矩阵W Q ∈ RD×D/h，W K ∈RD×D/h，W V ∈ RD×D/h，自适应地将触发项与目标项融合。具体地说，对于触发项嵌入，指示仅选择与触发项相关的行为用于用户αiei。（关于触发项和目标项的行为同时未被探索。在本节中，考虑到用户EHb=WWWShen，etal.42712n[客户端]x=[ES EH E E E]tiUb每一个头。d/h是归一化的比例因子。B12不WO∈RD×Dre，表示可学习参数的相关性在IFFP中触发器项是否被点击。参考-接下来，我们通过应用前馈网络赋予自注意块的非线性，即。e. 、在IFFP中，辅助标签被设置为1（即，e. ，正），否则0. 从具有相同触发项的相同IFFP中采集的样本F1 =[FFN（F1）T; FFN（F1）T;. ;FFN（FI）T]，（11）具有相同的辅助标签，可用于监督UIN的学习公共数据集。Alimama Dataset 2是一个公共数据集，FFN（x）=（Relu（xW1+b1））W2+b2，（12）其中W1，b1，W2，b2是可学习的参数。以这种方式，给定用户顺序行为Eb = e1; e2;. 其中T和ei分别表示用户行为的长度和第i个阿里妈妈是中国的一个在线广告平台它包含来自广告显示/点击日志的2600万条记录，8天内有100万用户和80万广告然而，由于缺乏触发项，它不是从TIR情景中收集的因此，我们手动定义触发器项如下。 对于每个样本（在时间t显示用户和目标广告），我们搜索最新的表示向量E′ =[e′; e′;. ;e′]由MHSA。其次，鉴于点击广告前4小时内的用户t.值得’和有限元法的融合结果，我们采用DIN [30]b′注意，由于用户的行为是稀疏的，因此不是每个样本都可以与触发器相关联。例如，一些用户可能没有用户表示向量，表示为ESb。然后，将所有密集表示向量连接起来，定义为“;”的原始上下文特征，然后被馈送到完全连接的层中，以便学习更高的顺序特征交互，后跟一个relu函数，以获得目标项被点击的预测概率类似地，该模块的目标函数是负对数似然数据集中的单击行为因此，我们只选择那些可以与触发项相关联的样本如果触发项与目标广告类别相同，则辅助标签设置为1，否则设置为0。表1：离线数据集的统计数据函数类似于Eq。（二）、我们把它记为损失i。最后，总损失我们提出的DIHN模型被公式化为：损失=α损失t+β损失i，（13）其中α和β是平衡这两个损失的超参数4实验为了评估我们提出的DIHN的有效性，在本节中，我们进行了大量的实验，将其与几种代表性的SOTA方法在离线数据集和在线部署上进行比较。我们首先介绍了基准数据集和实验设置的细节，包括离线数据集的准备，评估指标，并简要描述了代表性的SOTA方法。然后，给出了主要的结果和分析，随后的烧蚀研究。4.1数据集和实验装置据我们所知，没有针对新提出的问题量身定制的基于TIR场景的公共数据集为了填补这一空白，我们通过从现实世界的电子商务TIR场景中收集数据来建立一个离线数据集，称为工业数据集。此外，为了证明我们提出的模型的推广，我们还进行了实验上的公共数据集，即。e. ，Alimama数据集，在那里我们手动构建触发项以适应TIR问题。表1显示了所有数据集的统计数据我们将详细介绍它们。工业数据集。 我们首先从我们的线上电子商务平台（全球最大的第三方零售平台之一）收集用户的行为和反馈日志，建立线下数据集。每个示例都包含前一节中描述的用户配置文件/用户身份/触发器/目标项/上下文功能，以及反馈日志（即，e. ，用户是否单击目标数据集#用户#项目#印象产品所属工业22,269,532201,004四十三万六千二百四十二百五十公众26,557,962846,8121 366 056人实验设置。我们在TensorFlow中使用Adam优化器和指数衰减学习率计划实现了所有竞争性方法。初始学习率设置为0.001，衰减率设置为0.9。方程中的超参数α和β（13）分别设为1和0.8 我们采用AUC [30]作为评估模型性能的主要指标，该指标在CTR预测任务领域被广泛采用。我们运行每个方法10次，并报告平均结果。4.2竞争对手为了证明DIHN的有效性和优越性，我们将其与TIR场景中的几种代表性SOTA方法进行这些方法可以分为两类。第1组：没有明确建模用户即时兴趣的方法经典型号有WDL、DeepFM、DIN等，其不包括来自触发项的信息我们详细地展示WDL[1]：它联合训练了一个宽线性模型和一个深度神经模型，结合了记忆和泛化的优点，用于CTR预测。DeepFM[4]：它通过结合传统FM的功能，强调低阶和高阶特征相互作用模块和深度MLP模块。DIN[30]：它利用注意力机制激活相关用户对相应目标的行为，并学习用户兴趣的自适应表示向量。项或不项）。此外，触发器还提供了额外的信息，包括-触发项和辅助标签的特征指示2https://tianchi.aliyun.com/dataset/dataDetail? dataId=56E···环的IFFP描绘图。1（b），如果用户单击触发项基于深度兴趣凸显网络的触发推荐点击率预测WWW428表2：第1组方法比较结果模型WDL工业（平均值±标准值）0.7231 ±0.00019公共（平均值±标准差）0.6351 ±0.00034DeepFM0.7271 ±0.000310.6359 ±0.00039DIN0.7351 ±0.000210.6382 ±0.00024DIEN 0.7364± 0.000410.6388 ±0.00033米安0.7379± 0.000380.6391 ±0.00039DIHN 0.7506±0.00025 0.6421 ±0.00019表3：第2组方法比较结果模型工业（平均值±标准值）公共（平均值±标准差）DIN+2TA0.7401 ±0.000290.6394 ±0.00029DIEN+2TA0.7389 ±0.000420.6391 ±0.00036R3s0.7378 ±0.000310.6392 ±0.00017R3S+2TA0.7415 ±0.000270.6403 ±0.00024DIHN 0.7506±0.00025 0.6421 ±0.00019DIEN[29]：它采用兴趣提取器层从用户的历史行为捕获时间兴趣，并将GRU与注意力机制集成，以进一步捕获关于目标项的所MIAN[26]：它包含一个多交互层，用于从顺序行为。此外，它利用一个全局交互模块来学习高阶交互，并平衡多个特征的不同影响。第2组：明确地对用户的即时兴趣进行建模的方法如前所述，TIR中没有先前的作品，因此我们为一些SOTA CTR模型配备了利用触发项进行公平和可靠比较的能力。DIN+2TA：利用注意力机制提取用户DIEN+2TA：利用DIN+2TA中相似的注意力结构，从用户的历史行为中获取用户R3S[23]：它从多个方面提取用户包括点击项和目标项之间的特征交互、语义相似性和信息增益R3S+2TA：由于R3S模型不利用用户序列行为，在该模型中，我们将其作为输入，并同时捕获用户4.3主要离线比较结果4.3.1与第一组竞争对手的比较结果。我们首先报告组中所有竞争性方法的AUC1. 可以看出，DeepFM相对于工业和公共数据集的WDL实现了0.55%和0.13%的 AUC它展示了低阶和高阶特征交互的显著效果，这归因于传统FM和深度MLP模块的组合与WDL和DeepFM不同MIAN在两个数据集上的性能都更好，这得益于通过对用户的历史行为进行建模来捕捉用户的兴趣。例如，DIN在工业数据集上分别比DeepFM和WDL实现了1.10%和1.66%的AUC增益。对于MIAN，它可以有效地从历史行为，用户特定的和上下文的交互中学习多种细粒度的交互。而DIEN只关注用户行为中不断变化的兴趣。因此，MIAN在两个数据集上分别比DIEN提高了0.21%和0.05%相比之下，我们提出的DIHN显着优于上述国家的最先进的竞争对手，这主要得益于明确建模用户的即时兴趣诱导的触发项。具体而言，与MIAN一致两个数据集上AUC的改善分别为1.72%和0.47%。值得一提的是，离线数据集上的0.01增益始终意味着在线CTR任务的显著增量[22]。实验结果还表明，显式利用用户4.3.2与第二组竞争对手的比较结果 对于第二组的竞争方法，我们利用注意机制来激活相关用户的行为，不仅针对目标项目，而且针对触发项目。首先，DIN+2TA（或DIEN+2TA）只采用两种注意机制，分别针对目标项和目标项，而R3S+2TA则融合了这两种注意机制。具体而言，R3S+2TA考虑了触发项和目标项之间的语义相关性和信息增益，导致两个数据集上的AUC分别比DIN+2TA（或DIEN+2TA）增加0.19% （或0.35% ）和0.14% （或0.18%）。 虽然有效，但它没有详细的用户历史行为和融合结果之间的建模。在DIHN中，使用FEM模块来监督用户兴趣的提取，使用HIEM模块来突出用户的兴趣，在所有竞争者中取得了最好的性能。例如，在两个数据集上，R3S+2TA 的AUC 增益分别为1.23% 和 0.28% 值 得 注意 的是， Alimama数据集的 改 进不 如Industry数据集明显，因为Alimama数据集不是直接从在线TIR场景中收集的，而是以合成的方式建立的，我们根据自定义的规则手动挖掘触发项的信息。因此，它可能与实际的在线TIR场景不匹配此外，与第1组中没有明确建模用户即时兴趣的竞争对手相比，DIHN也取得了显着的收益，这进一步证明了我们方法的有效性。4.4消融研究为了研究我们模型中每个组件的有效性，在本小节中，我们在离线数据集上进行了消融研究4.4.1HSM模块的有效性 为了评估HSM模块对用户兴趣提取的影响，我们比较了DIHN和DIHN w/o HSM，表明DIHN没有HSM模块。 结果见表4.4。 由于HSM模块可以帮助过滤不相关的噪声，因此模型可以集中在用户兴趣提取的最相关行为上，特别是当用户······WWWShen，etal.429与海南用户B点击海南项目其他目的地意图评分= 0.25基于长期利益用户行为用户意图网络（）下一页（）下一页表4：离线数据集上的消融研究结果用户A海南盛产象牙单击DIHN 0.7506±0.00025 0.6421 ±0.00019海南项目用户意图网络意图评分= 0.93根据即时兴趣推荐海南项目用户行为海南卡丁车比赛对触发项有着浓厚的兴趣，这是一个简单而有效的提高性能的解决方案。4.4.2UIN模块的有效性。UIN模块用于预测用户对触发项的即时兴趣。我们现在研究这个模块是否可以加强用户的兴趣表示。具体地说，我们在没有模型的情况下，采用四种SSM方法 ， 是 的 。 、 DIHN w/oSSM+m 、 DIHN w/o SSM+target 、DIHN w/o SSM+trigger 和 DIHNw/o SSM+concat ， 分 别 表 示DIN，其中平均池化用于表示用户顺序行为，DIN，其中查询是目标项，DIN，其中查询是触发项，表4.4中的离线比较结果显示了UIN模块的有效性，以及从用户是否点击触发项中使用监督辅助标签的好处。通过UIN模块获取用户对触发项的兴趣，可以帮助提取用户对目标项的兴趣，进一步提高性能。4.4.3FEM模块的有效性 表4.4还显示了FEM模块中不同嵌入融合方法的结果，其中DIHN（标量）表示具有标量融合算子的模型，i。e. ，在等式3中用标量px替换向量Vtx，而DIHN使用逐元素嵌入融合算子。可以看出，DIHN在两个离线数据集上分别获 得 了 比 DIHN （ 标 量 ） 0.3% 和 0.19% 的 增 益 。 虽 然 DIHN（scalar）可以直接使用来自UIN的预测得分来控制两个嵌入的融合，但它仅使用标量p x，这忽略了不同维度的重要性。因此，我们建议在FEM模块中使用4.5在线A/B测试结果为了进一步验证我们提出的模型的有效性，我们还在我们的电子商务平台上进行了在线A/B测试然而，它不是一件容易的工作，部署在我们的在线推荐系统，因为它每天服务于数以千万计的用户的规模所提出的此外，从商业角度来看，交通是非常昂贵的。考虑到这一事实，我们只部署了最好的离线方法作为我们的基线方法，即。e. 、R3S+2TA模型。同时，为了使在线评估公平，可信和可比，A/B测试的每个部署方法都涉及相同数量的用户，即。e. ，数百万用户。 于2021-06至2021-07年度进行了仔细的A/B线上测试。 DIHN贡献了高达6.5%的CTR提升，这是一个显着的改进，并证明了我们提出的方法的有效性。现在，DIHN已经在线部署并服务于主要流量。图3：旅游场景中的两个DIHN案例，其中两个不同的用户点击了同一个触发项（海南度假项）。用户A（上）有丰富的海南相关行为，而用户B（下）有罕见的行为。4.6为例以旅行场景为例，我们展示了图3所示的两个真实案例，以说明DIHN的有效性。当用户A进入TIR场景时，UIN模块预测A对于触发项的意图得分，i。e. 来自海南省的项目为0.93，这表明用户对与海南省相关的项目具有强烈的兴趣。因此，会推荐更多与海南或类似景区相关的产品，满足用户的即时意图，如图3所示。 与用户A不同的是，用户B具有罕见的海南省相关行为，因此UIN模块预测的触发项上的意图得分非常低，即，e. ，0.25。这种情况表明用户B具有不同的兴趣，IFFP中的推荐系统应该推荐较少的与海南省相关的项目。从以上两个案例可以看出，DIHN可以根据用户对触发项的即时兴趣，无缝调整合适的推荐模式5结论在本文中，我们介绍了一个新的触发诱导推荐（TIR）问题，其中用户由于TIR场景和非TIR场景之间的差异，我们发现现有的推荐模型在发现TIR场景中的用户即时兴趣方面存在困难为了解决这个问题，我们提出了一种新的推荐方法DIHN，它显示了巨大的好处，建模用户的即时兴趣的CTR预测。使用用户意图网络，DIHN可以预测用户对触发项的意图的程度DIHN不仅在离线数据集上实现了对代表性最先进方法的改进，而且在在线电子商务平台上获得了6.5%的CTR提升，证实了其对TIR的优越性广州游泳海南酒店套餐泳池别墅出租（有与海南相似的水上运动属性模型工业（平均值±标准值）公共（平均值±标准差）DIHN，不带HSM0.7447 ±0.000090.6390 ±0.00020DIHN（标量）0.7484 ±0.000110.6409 ±0.00013DIHN，不含SSM+m0.7443 ±0.000310.6388 ±0.00034DIHN，不含SSM+目标0.7469 ±0.000130.6401 ±0.00022DIHN w/o SSM+触发器0.7475 ±0.000190.6403 ±0.00012DIHN，不含SSM+concat0.7459 ±0.000410.6399 ±0.00027基于深度兴趣凸显网络的触发推荐点击率预测WWW430引用[1] Heng-Tze Cheng，Levent Koc，Jeremiah Harmsen，Tal Shaked，TusharChandra，Hrishi Aradhye，Glen Anderson，Greg Cor
