建模现实世界行动序列中的依赖和周期性

8030建模相互依赖和周期性的现实世界行动序列0Takeshi Kurashima NTT Corp. &斯坦福大学kurashima.takeshi@lab.ntt.co.jp0Tim Althoff 斯坦福大学althoff@cs.stanford.edu0Jure Leskovec斯坦福大学jure@cs.stanford.edu0摘要0移动健康应用程序，包括跟踪运动、睡眠和饮食等活动的应用程序，正变得越来越广泛使用。准确预测现实世界中的人类行动对于改善我们的健康的有针对性的建议和应用程序个性化至关重要。然而，由于人类行为的复杂性，进行这样的预测非常困难，因为人类行为包括大量可能的行动，这些行动随时间变化，相互依赖，并且具有周期性。以往的工作没有共同建模这些动态，并且主要关注物品消费模式，而不是更广泛类型的行为，如进食、通勤或锻炼。在这项工作中，我们开发了一种新颖的统计模型，称为TIPAS，用于时间变化、相互依赖和周期性行动序列。我们的方法基于个性化的多变量时间点过程，通过高斯强度的混合模型来建模时间变化的行动倾向。我们的模型通过Hawkes过程的自激励来捕捉行动之间的短期和长期周期性相互依赖关系。我们在两个包含20000名用户在17个月内进行的1200万个现实世界行动（例如进食、睡眠和锻炼）的活动记录数据集上评估了我们的方法。我们证明了我们的方法可以成功预测未来用户行动及其时间。具体而言，TIPAS在多个数据集上相对于现有方法改进了最多156%的行动预测和最多37%的时间预测。对于相对罕见和周期性的行动，如步行和骑自行车，性能改进尤为显著，相对于基线提高了最多256%。这表明，在现实世界行为中明确建模依赖关系和周期性可以成功预测未来行动，对于建模人类行为、应用程序个性化和健康干预的定位具有重要意义。01 引言移动健康的活动跟踪应用程序已成为人们日常生活中的重要组成部分。2013年的一项美国全国性研究发现，69%的成年人会追踪健康指标，其中21%的人使用应用程序或设备进行追踪[24]。在诸如Fitbit、Under ArmourRecord和Argus等活动记录应用程序中，用户可能在任何时间点从大量和多样化的潜在行动中选择其中之一。用户持续跟踪他们生活中的许多行动，包括锻炼,0本文根据知识共享署名4.0国际（CC BY4.0）许可证发表。作者保留在个人和公司网站上传播作品的权利，并附上适当的归属。WWW 2018，2018年4月23日至27日，法国里昂，© 2018IW3C2（国际万维网会议委员会），根据知识共享CC BY 4.0许可证发布。ACM ISBN978-1-4503-5639-8/18/04。https://doi.org/10.1145/3178876.31861610通过改善自我认知和个人幸福感，研究饮食、睡眠和通勤行为 [6, 7,45,46]。用户建模对于使活动记录应用程序更有用至关重要，因为它可以为用户提供与其特定目标相匹配的个性化体验 [12, 19, 23, 27,54]。这有可能显著改善人们的健康状况，例如通过预防负面健康结果和促进健康行为的采纳和维持 [4, 25, 42,49]。然而，系统的成功个性化依赖于预测用户的下一步行动及其发生的时间 [17, 21,54]。预测行动的重要性在于这些预测有助于个性化用户界面和用户体验，以便为用户提供他们所需的，而无需明确要求[41]。例如，在活动记录应用程序中，我们可以预测用户何时吃晚餐以及他们未来的位置，以提供相关的建议[52]。准确和情境化的预测还可以帮助用户实现他们的个人目标，例如提醒他们测量体重或通知他们明天早上的锻炼计划[46]。除了预测行动本身，预测其时间也至关重要，以便可以在合适的时间提供建议和提醒。例如，饮食提醒理想情况下应在做出餐食选择之前发送 [26, 42,49]。更一般地说，预测用户行动还可以为数字个人助理提供支持，包括本地推荐、交通、天气、事件和新闻等相关信息[19]。然而，人类行为非常复杂，这使得准确预测非常具有挑战性。特别是，人类行为具有(1)时间变化、(2)相互依赖和(3)周期性。首先，现实世界的行动随时间变化，例如根据一天中的时间（例如晚上和朋友在一起）和一周中的日期（例如周末去远足）[14,35]。其次，行动在短期和长期内也是相互依赖的（例如睡觉前刷牙，或者锻炼后喝水）。第三，人类是习惯动物[17]，表现出周期性行为[5, 16, 18]，例如每天早晚刷牙。当前的用户建模技术（例如[8, 11,17, 27, 32, 35, 37, 50,55]）没有共同建模现实世界行动序列的所有这些关键方面（时间变化、相互依赖、周期性）。然而，不考虑其中任何一个方面都会导致预测性能下降。例如，考虑预测用户下一餐的时间的任务。如果不考虑周期性，就会忽略用户早午餐可能导致晚餐时间提前的事实。然而，如果用户依赖及时的饮食提醒，这可能是一个重大错误。虽然在狭窄的应用领域中对行为的特定方面进行建模取得了巨大进展，特别是在推荐系统[35]或信息检索[2,0Track: User Modeling, Interaction and Experience on the Web WWW 2018, April 23-27, 2018, Lyon, France80403，48]，这些工作主要关注特定视频，音乐或网站等项目的消费[8，11，32，35，50]。在所有这些情况下，用户重复执行相同的高级动作，例如一个接一个地观看视频。相比之下，我们考虑预测用户接下来将采取的许多高级动作中的哪一个；例如，他们是否会观看电影还是去跑步（而不是具体的电影或跑步）。此外，以前的工作通常关注预测短期动作，例如下一个unix命令[17]，网页请求[55]或观看的电视剧集[50]。相反，我们对预测长期动作感兴趣，例如晚上的通勤或第二天早上的跑步。0本研究。我们提出了一种用于预测未来用户动作及其时间的新模型。首先，我们通过实证研究表明，动作序列呈现出时间变化、相互依赖和周期性模式，并且对建模来说这是准确预测用户动作的关键。我们的模型扩展了先前关于多变量时间点过程的工作，并且是第一个考虑到这三个关键属性的模型。该模型通过高斯混合模型解决了（1）动作的时间变化倾向，通过Hawkes过程解决了（2）动作之间的短期依赖关系，通过时间相关的Weibull分布解决了（3）长期周期性。我们将该模型称为TIPAS，即时间变化的相互依赖周期动作序列。TIPAS通过学习用户特定的动作偏好来个性化每个用户。我们进一步开发了一种基于EM的算法，使用最大似然估计来拟合该模型。我们证明TIPAS可以扩展到Argus和UnderArmour活动记录应用程序的真实数据集，这些数据集捕捉了20,000名用户在17个月内进行的1200万个动作。我们在这两个活动记录数据集上评估了我们的模型，这些数据集涵盖了十种不同的真实世界动作，并且证明我们可以根据用户的先前动作及其时间来预测用户的下一个记录活动（例如，跑步、进食或睡觉）以及该活动的时间（连续的、非离散化的时间戳）。此外，我们还展示了TIPAS在真实数据中准确捕捉到了所有三种基本行为模式。在多个真实世界动作领域中，我们证明我们的模型在预测动作的任务上比现有方法提高了最多156%，在预测动作发生的时间上提高了最多37%。此外，我们还展示了对于罕见动作，相对于基线模型，性能改进尤为显著，提高了最多256%的预测准确性。我们发现，这些性能改进主要得益于对动作的时间变化倾向和它们之间的依赖关系进行建模，以及对动作的长期周期性进行建模。从实证上看，对动作的时间变化倾向进行建模可以获得53%和40%的准确性。对动作之间的短期依赖关系进行建模可以将这一准确性提高到59%和49%。同时对动作的长期周期性进行建模可以进一步将这一准确性提高到61%和51%。因此，捕捉这三个属性对于预测周期性和相互依赖的人类动作序列至关重要。02 相关工作0预测下一个动作。许多工作都集中在预测下一个动作，包括unix命令[17]，用户界面操作以实现界面适应[27]，网页请求等。0为了预取和减少延迟[55]，在网络搜索中点击[3]，用户行为异常[37]，产品项目偏好[35，44]，在线购买[34]，使用的移动应用程序[10]以及未来的基于位置的签到[9，13，38]。其中许多工作（例如[9，13，32，37]）将问题形式化为离散时间序列预测任务，并使用马尔可夫模型。然而，马尔可夫模型假设单位时间步长，并且由于考虑的时间步数增加，整体状态空间将呈指数增长，因此无法捕捉长期依赖性[19]。其他工作使用了LSTM模型[30]，这些模型也假设离散时间步长，并且在解释性方面有限。相比之下，我们还模拟和预测下一个动作何时发生，这对于在正确的时间提供推荐和提醒至关重要。此外，我们不考虑特定的网络查询或项目消费，而是考虑更广泛的一系列更高级的动作，例如观看电影，跑步或睡觉。0重复消费模式。另一方面的研究关注的是重复行为，特别是在物品消费领域，包括视频连续观看[50]、音乐收听[32]、网页重访模式[2]和重复的网络搜索查询[48]。最近的研究集中在对这些行为进行建模，并提出了基于无聊模式[11,32]和最近性[8]的模型。重要的是，与物品消费模式不同，这项工作中建模的真实世界人类行为基本上是不同的，因为它们具有更高层次的概念（例如，观看电影，而不是具体哪一部电影）。例如，无聊模式[11,32]表明，在短时间内重复行为的概率是不太可能的。相反，我们在某些情况下实际观察到相反的情况，例如单程通勤的用户极有可能在不久的将来再次通勤。更一般地说，真实世界的行为具有更复杂的动态特征，包括时变行为、相互依赖性和周期性。0时间点过程。最近的研究考虑了时间点过程[15]，包括泊松过程和霍克斯[28]过程模型，用于预测未来行为的时间。时间点过程已被用于预测持续变化的物品偏好[21]，以及在社交网络中建模用户影响力[31, 47,53]、信息和网络结构的共同演化[22]、产品竞争[51]、时空中的移动模式[19]、用户返回时间[33]和时间文档聚类[20,40]。也许与我们的工作最接近的是杜等人的工作[19,21]，他们也试图预测未来用户行为及其时间。我们通过明确建模时变的行为倾向，并开发一种新颖的指数和威布尔核函数的组合来建模短期和长期周期性行为之间的依赖关系，扩展了这一研究方向。此外，我们证明了在预测两个真实世界活动记录数据集中的真实世界用户行为及其时间时，这些方面是至关重要的。03 任务描述本文考虑的任务是，给定一个用户和她的历史记录，一个时间戳序列，预测用户未来的行为和这些行为的时间。形式上，设 U为一组用户。每个用户 u ∈ U 有一个行为序列，我们将其表示为用户历史 H u = {(a un , t un )} N u n = 1，其中共有 N u个事件。H u 中的每个元素都是一个事件，由行为和时间戳组成，表示用户 u 在时间 t un  ∈ R + (0 ≤ t un ≤ T ) 执行行为 aun 。T 表示我们观察期的结束时间。例如，a un可以对应于观看电影或慢跑（但不是具体的电影或慢跑）。我们假设事件按照时间戳排序，即 t un ≤ t un ′ 对于 n < n′。我们将时间 t 之前的事件集合表示为 H ut = {(a ′ , t ′ ) | (a ′ , t ′ ) ∈ H u 且 t ′  t（即，这些行为是所有可能的未来用户行为中最小的 t ′ k >t）。在这里，我们提出了一种新颖的多变量时间点过程模型来进行这个预测任务，并专注于 K = 1 的情况。0论文集：Web上的用户建模、交互和体验 WWW 2018，2018年4月23日至27日，法国里昂0.000.100.2002468101214161820220.0050.0500.5000123450.0050.0500.5000123458050事件比例0起床 饮食骑车0图1：每个时间段内事件的比例。注意行为倾向明显不均匀，有时呈多峰分布。0序列，我们将其表示为用户历史 H u = {(a un , t un )} N u n =1，其中共有 N u 个事件。H u中的每个元素都是一个事件，由行为和时间戳组成，表示用户 u在时间 t un  ∈ R + (0 ≤ t un ≤ T ) 执行行为 a un 。T表示我们观察期的结束时间。例如，a un可以对应于观看电影或慢跑（但不是具体的电影或慢跑）。我们假设事件按照时间戳排序，即 t un ≤ t un ′ 对于 n < n ′。我们将时间 t之前的事件集合表示为 H ut = {(a ′ , t ′ ) | (a ′ , t ′ ) ∈ H u 且 t ′ t（即，这些行为是所有可能的未来用户行为中最小的 t ′ k >t）。在这里，我们提出了一种新颖的多变量时间点过程模型来进行这个预测任务，并专注于 K = 1 的情况。04 实证观察接下来，我们对真实世界行为序列的重要特性进行一系列实证观察，这将为我们的统计模型TIPAS（第5节）提供基础。考虑到这些观察结果，将会得到更好的预测模型（第6节）。04.1 数据集描述0为了说明真实世界行为的关键特性，我们使用了一个移动活动记录应用程序Argus byAzumio的日志活动数据集，该应用程序在以前的活动记录研究中使用过[6, 7,45]。这款智能手机应用程序允许用户跟踪他们的各种日常活动，包括饮水、睡眠、心率、跑步、体重、进食、步行、骑车、锻炼和伸展等行为。例如，饮水行为被记录下来以跟踪用户的每日液体摄入量，锻炼行为用于记录各种室内运动，如举重或室内骑车。该数据集包括七个月内超过四千名活跃用户进行了120万次行为记录（平均每天每个用户至少记录了两个独特的行为）。由于该应用程序的流行，这组用户在年龄、性别、健康状况、原籍国和其他特征方面非常多样化[7]。我们注意到，真实世界行为的以下特性也适用于其他数据集，包括Under Armour活动记录应用程序的数据（第6.1节）。04.2 真实世界行为序列的特性接下来，我们描述真实世界行为序列的三个重要特性，并提供每个特性的实证证明。TIPAS将明确解决这三个特性（第5节）。0行为的时间变化倾向。人类真实世界的活动-0时间间隔（小时）0事件的比例0跑步后0饮水 体重心率0时间间隔（小时）0事件的比例0起床后0饮水 体重心率0图2：每个时间窗口的时间间隔比例（对数刻度）。图显示了跑步后（左）和起床后（右）进行饮水、体重和心率测量行为的时间间隔比例。请注意，饮水、体重和心率行为的可能性在跑步和起床后都迅速下降。然而，注意到心率行为在起床后的下降速度比跑步后更快。0时间上的变化会导致行为的变化，例如根据一天的时间（例如早晨、中午和晚上吃饭）和一周的时间（例如周末锻炼）。这种动态在人类活动的真实数据中是明显的，如图1所示。该图显示了一天中三种类型行为的时间分布：起床（从睡眠中醒来）、进食和骑车。首先，我们观察到所有三个分布在时间上都明显不均匀。例如，起床行为在大约07:00（上午7点）左右集中。其次，我们观察到不同行为的倾向性存在显著差异。虽然我们观察到睡眠的分布是集中在早晨的单峰分布，但我们观察到骑车的分布是双峰分布。早上和晚上的两个峰值可能对应于通勤活动，用户在上下班途中记录他们的骑行情况。我们还观察到进食在午餐和晚餐时间有两个明显的峰值。然而，早餐时间似乎在用户之间变化更广泛，更分散。总结起来，我们观察到非均匀的时间分布，具有不同数量的模式，这些模式在不同行为之间变化。0行为之间的短期依赖。某些行为会增加其他行为在短时间内发生的可能性。例如，人们可能在运动后立即喝水，或者在跑步前进行伸展。为了研究行为之间的短期相关性，我们从一组行为历史记录中提取了行为对之间的时间间隔（即两个行为之间的经过时间）。图2显示了在跑步行为（左）和睡眠行为（右）之后的几对用户行为的时间间隔分布。我们得出两个重要观察结果。首先，单调递减的曲线表明其他行为的可能性在一个行为发生后最大。此后，可能性以一个单调的方式迅速下降（注意Y轴的对数刻度）。这指向了人类行为的自激励动态。例如，用户在跑步或从睡眠中醒来后很可能会继续喝水、测量心率或体重。具体而言，在醒来后6小时内进行的体重测量中，约有50%的测量在前30分钟内进行。其次，我们发现行为依赖模式在不同行为之间有所不同。例如，饮水在跑步后比起床后更常见，心率测量在醒来后的下降速度比跑步后更快。总之，真实世界中的人类行为通常会在短时间内触发其他行为，但这些模式在不同行为之间是不同的。我们可以利用这些行为之间的相关性来0Track：用户建模，Web上的交互和体验WWW 2018年4月23日至27日，法国里昂0.00010.01001.000002468101214161820222426286:00!11:00!A + B + C!8060到达时间（小时）0事件的比例0第一次骑行行动的时间06-12小时 12-18小时0图3：描述下一个骑行行动何时发生（到达时间）的密度，假设前一个骑行行动发生在午夜后的6-12小时（实线）或12-18小时（红色虚线）之间（时间，而不是持续时间）。请注意，这两个分布的多个不同模式表明骑行行动周期性地重复出现，但周期的时间取决于一天中的时间。0预测未来事件时的行动。0长期周期性影响。人类表现出周期性行为，例如每天早上大约同一时间醒来或在工作8小时后回家上下班。因此，记录的现实世界行动可能遵循周期性重复模式，其中相同的行动往往在某些固定间隔的时间内重复发生。尽管其中一些周期性行为根植于内在的生物节律，例如睡眠[5]，但其他行为则受到外部因素（例如早上上班时间）或个人习惯的影响[17]（例如早餐前称体重）。我们使用现实世界数据中的骑行事件之间的到达时间来说明这些动态。图3显示了到达时间的分布，最长为30小时，其中两条曲线表示当两个骑行行动中的第一个行动发生在特定的一天中的某个时间（6-12小时为实线，12-18小时为虚线；请注意，这些时间与骑行行动的持续时间无关）。我们做出两个重要观察。以前，我们观察到行动之间的短期依赖关系呈单调衰减。在这里，我们观察到这种强烈的单调衰减仅在最初的几个小时内成立，并且在此初始阶段之后，我们观察到两个分布都有多个额外的峰值。其次，我们观察到这些峰值发生的时间取决于第一个行动发生的时间。在骑行行动持续6-12小时的情况下，我们观察到大约在9小时和24小时（到达时间）左右有峰值，并且在骑行行动持续12-18小时的情况下，大约在14小时和24小时左右有峰值。这种行为是可以预料的。当早上骑车（6-12小时）时，下一次骑车很可能是回家上下班，大约9小时后。然而，如果晚上骑车（12-18小时），下一次骑车不太可能在半夜进行，而是在14小时后或者早上8点左右。此外，两条曲线都表现出每天24小时的周期性。对这些周期性进行建模可以捕捉到用户特定的时间，例如晚上晚些时候的通勤信号着下一天早上的较晚开始。总之，两个重要的动态因素有助于预测未来的现实世界行动：行动显示周期性重复，重复发生的时间可能取决于一天中的时间。50在本节中，我们根据实证观察（第4节）将洞察力转化为基于时间的概率模型，用于预测未来事件。0食物！ 步行！0水！0时间！0高斯混合！0威布尔分布！0指数分布！ B. 短期相互依赖！0A. 时间变化的倾向！0C. 长期周期性影响！0强度！0图4：概念模型概述。用户u的“食物”强度函数由三种影响类型的总和建模；时间变化的背景强度（A；黑色），短期依赖关系（B；绿色）和长期周期性影响（C；红色）。（A）时间变化的背景强度模拟了食物的典型时间（例如，中午左右吃午饭）。（B）“步行”和“喝水”事件可能在短时间内触发“食物”行动。（C）由于早餐（6:00h），我们可能会预期午餐时间较早。0点过程，称为TIPAS。5.1时间点过程背景时间点过程是一个随机过程，其实现由在时间上定位的离散事件列表{tn}n∈N组成，其中tn∈R+。我们引入单变量时间点过程以便于阐述，尽管我们将使用多变量点过程来模拟多个不同行动的联合发生动力学（描述灵感来自[22]；更多背景在[1]）。设Ht为时间t之前的事件历史。时间点过程可以通过表示下一个事件的时间的随机模型的条件强度函数来表征。形式上，条件强度函数λ(t)是在小窗口[t，t+dt)给定历史Ht的条件下观察到事件的条件概率，即λ(t)dt=P{事件在[t，t+dt)|Ht}。没有事件发生的条件概率0tλ(τ)dτ）和在时间t'发生事件的条件密度是f(t')=λ(t')S(t')[1]。因此，在观察窗口[0，T)，其中T>tn，事件列表t1，t2，...，tn的对数似然可以表示为0L(t1，t2，...，tn)=0i=1 logλ(ti)-�T00λ(τ)dτ。 (1)0强度λ可以采用各种函数形式，如果λ(t)是常数，则导致均匀泊松过程，如果λ(t)是时间变化的但与事件历史Ht无关，则导致非均匀泊松过程，如果强度模型事件之间的相互激发，则导致Hawkes过程[1]。我们的TIPAS模型基于多变量Hawkes过程[28]。5.2模型定义我们将用户行为建模为具有时间变化强度的多变量时间点过程，基于我们的经验观察到的三个因素（第4节）。以下强度函数模拟了行动a在用户历史u中时间t发生的速率，λu(t,a)=αua+Timeu(t,a)+ShortTermu(t,a)+LongTermu(t,a)。(2)在这里，我们使用强度的加法分解，而不是建模更复杂的相互作用效应，因为这种方法简单而强大，并且在实践中已经被证明是成功的[22，31，47]。该模型在图4中概念化地显示。图中显示了整体强度函数λu(t,a)(蓝色；这里，a=food)是时间变化的倾向Timeu(t,a)(黑色)，行动之间的短期依赖关系ShortTermu(t,a)(绿色)和长期周期效应LongTermu(t,a)(红色)的总和（为简单起见，我们假设没有个性化，即αua=0）。请注意，我们的模型确实考虑了随机性，即并非所有行动都严格符合短期和长期模式，而是通过个性化和随时间变化的基线率。实际上，从真实数据中学习模型参数试图解释所有行动，并将分布参数调整到最佳解释所有发生的行动。接下来，我们逐个正式定义这四个因素。0跟踪：用户建模，Web上的交互和体验WWW 2018年4月23日至27日，法国里昂successful as well [22, 31, 47]. This model is conceptually visual-ized in Figure 4. The figure shows how the overall intensity func-tion λu (t,a) (blue; here, a = food) is the sum of the time-varyingpropensity Timeu (t,a) (black), short-term dependencies betweenactions ShortTermu (t,a) (green), and long-term periodic effectsLongTermu (t,a) (red) between actions (for simplicity, we assume nopersonalization, i.e. αua = 0). Note that our model does account forrandomness, in the sense that not all actions may strictly conformto short-term and long-term patterns, through the personalized andtime-varying baserates. In fact, learning model parameters fromreal data tries to account for all actions and will adapt distributionalparameters to best explain all occurring actions. Next, we formallydefine each of the four factors in turn.βaz2πσ2az�,(3)L(Ψ|H ) =�u U�n=1log λu (tun, aun) −�u U0�a Aλu (t, a)dt , (6)L(Ψ|H ) =�u∈UNu�n=1logαuaun +�z∈Zβaunz�2πσ 2aunzexp�−�ltun − µaunz�22σ 2aunz�+n−1�m=1θaumaun ωaumaun exp(−ωaumaun ∆tumtun )+n−1�l=1�I (aul = aun)ϕcul aunγcul aunκcul aun ∆κcul aun −1tul tun× exp(−γcul aun ∆κcul auntul tun)�−�u∈U� T0�a∈Aλu (t, a)dt ,(7)Track: User Modeling, Interaction and Experience on the WebWWW 2018, April 23-27, 2018, Lyon, France8070个性化行动偏好：αua。我们通过为每个行动和用户添加一个恒定的加法因子αua≥0来包括特定行动的个性化用户偏好。请注意，也可以将用户偏好建模为随时间变化的。然而，这将导致非常多的参数，我们在第6节中展示了这个简单模型在实践中的良好效果。0行动的时间变化倾向：Timeu(t,a)。事件可以在没有前面事件的影响下发生，根据背景强度函数Timeu(t,a)。我们观察到行动的倾向随着一天中的时间变化（第4.2节），我们通过高斯混合模型将行动a的背景强度建模为时间的函数。我们定义：0Time u ( t , a ) = �0z ∈0exp � 0� l t - µ az � 20其中 z ∈ Z表示高斯混合模型的潜在类别（混合数量可以通过交叉验证确定）。对于每个动作 a 和潜在混合类别 z，µ az > 0 和 σ az > 0分别表示高斯分布的均值和标准差。该混合对整体强度函数 Time u (t , a ) 的重要性由 β az ≥ 0 捕捉。l t 对应于时间戳 t的一天中的时间（即，距午夜经过的时间）。我们在第6.3节中展示，高斯混合模型很好地适应现实世界数据中的时间变化。0动作之间的短期依赖关系：ShortTerm u ( t , a)。为了建模动作之间的短期依赖关系，我们考虑动作 a 在时间 t发生的速率（方程2）如何受到在之前时间 t ′ < t 发生的动作 a ′的影响。我们将这些影响建模为Hawkes过程，展示了自激励效应，并使用指数衰减函数从之前动作的时间开始。如第4.2节所示，之前动作的短期影响迅速且单调减弱，使指数分布成为衰减函数的自然选择。我们定义：ShortTerm u ( t , a ) = �0( t ′ , a ′ ) ∈ H ut θ a ′ a ω a ′ a exp ( - ω a′ a ∆ t ′ t ) , (4)0其中 H ut = { ( t ′ , a ′ ) | ( t ′ , a ′ ) ∈ H u 且 t ′ < t } 是历史 u中时间 t 之前的事件集合，∆ t ′ t = t - t ′ 是时间 t ′ 和时间 t之间的时间差。此外，ω a ′ a ≥ 0 确定动作 a ′ 触发动作 a的速度（指数分布的形状），θ a ′ a ≥ 0 确定动作 a ′ 触发动作 a的可能性（分布的缩放）。我们为每对动作 ( a ′ , a )估计这些参数。因此，模型的这个组成部分捕捉了0不同动作之间的相互依赖关系（例如，跑步后喝水），以及动作的自激励效应（例如，连续跑步后再次跑步）。我们在第6.3节中展示，具有指数衰减函数的Hawkes过程很好地适应现实世界数据中的短期动作依赖关系。0长期周期效应：LongTerm u ( t , a)。我们使用Weibull分布来建模相同动作之间的长期周期效应（例如，连续跑步之间的周期性）。Weibull分布是一个具有正支持（即 ∆ t′ t >0）的连续分布，非常适合模拟不同时间点上的长期效应模式，并具有不同的方差。我们将动作 a 在时间 t 发生的速率受到之前时间 t ′的动作 a 的影响建模如下：0LongTerm u (= �0( t ′ , a ′ ) ∈ H a ut ϕ c t ′ a γ c t ′ a κ c t ′ a ∆ κ ct ′a - 1 t ′ t exp ( - γ c t ′ a ∆ κ ct ′ a t ′ t ) (5)0其中 H a ut = { ( t ′ , a ′ ) | ( t ′ , a ′ ) ∈ H u 且 t ′ < t 且 a ′ = a }是历史 u 中时间 t 之前动作 a 的事件集合，∆ t ′ t = t - t ′ 是时间 t ′和时间 t 之间的时间差。如第4.2节所示，长期效应根据动作 a ′的时间段而异。这通过参数 c t ′ ∈ C来捕捉，该参数表示离散化的一天中的时间窗口（例如，使用四个类别，如0-6小时，6-12小时，12-18小时和18-24小时）。这使我们能够学习建模不同周期性的时间窗口相关分布。由时间窗口类别 c t ′和动作 a 参数化的 γ c t ′ a ≥ 0，ϕ c t ′ a ≥ 0 确定了动作 a′（发生在时间窗口 c t ′ 中）触发其后续动作 a的速度和可能性（影响）。κ c t ′ a ≥ 0确定了Weibull分布的形状。在第6.3节中，我们证明Weibull分布与现实世界数据中的周期动态非常吻合。05.3 模型推断我们使用最大似然估计来推断我们提出的模型的参数（方程2）。未知参数为  α  = {{ α ua } u  ∈ U  } a ∈ A ,  β  =  {{ β az } a ∈ A } z ∈ Z  ,  µ  =  {{ µ az } a ∈ A } z  ∈ Z  ,  σ  = {{ σ az } a ∈ A } z  ∈Z  ,  Θ  =  {{ θ a ′ a } a ∈ A } a ′ ∈ A ,  Ω  =  {{ ω a ′ a } a ∈ A } a′ ∈ A ,  Φ  = {{ ϕ ca } c  ∈ C  } a ∈ A ,  Γ  =  {{ γ ca } c  ∈ C  } a∈ A , and  K  =  {{ κ ca } c  ∈ C  } a ∈ A . 所有参数的集合用  Ψ=  { α ,  β ,  µ , σ ,  Θ ,  Ω ,  Φ ,  Γ , K }表示。对数似然函数（方程1），给定一组用户历史记录  H  =  { H u} u  ∈ U  ，可以表示为：0其中最后一项，期望函数，表示在时间段从0到T内的事件的期望数量。结合方程（2）-（6），对数似然函数可以写成如下形式：E-step. Conceptually, we introduce latent variables p,q,r to cap-ture why each event was triggered either through user preference,time-varying background intensity, short-term action interdepen-dencies, or long-term periodic effects. Let p0,un be the probabilitythat the n-th event of useru was triggered by user preference, pz,unbe the probability that the n-th event of user u was triggered bythe time-varying background intensity function of latent class z,qum,un be the probability that then-th event of useru was triggeredby the short-term effect of the m-th event of user u, and rul,un bethe probability that the n-th event of user u was triggered by thelong-term effect of the l-th event of user u.In E-step, k-th estimate of pk0,un, pkz,un, qkum,un, and rkul,un arecalculated by:pk0,un =α kuaunRun,(8)pkz,un =1Runβkaunz�2π (σ kaunz )2exp�−�ltun − µkaunz�22(σ kaunz )2�,(9)qkum,un =1Runθ kaumaun ωkaumaun exp(−ωkaumaun ∆tumtun ) ,(10)r kul,un =1ϕkcaunγ kcaunκkcaunwhere Ψk = {αk,mate of parametersuntion factor in order to satisfy pk0,un +�z ∈Z pkz,un +�n−1m=1 qkum,un +n−1=1 rk,= 1.8080其中  c ul  ∈  C  表示用户的第 l 个事件的一天中的时间类别，  I  ( ∙)是指示函数。方程7中的积分可以通过解析计算。受到之前的工作的启发[22，53]，我们开发了一种高效的推断算法，基于EM算法来最大化对数似然函数。通过迭代E步和M步直到收敛，我们得到了参数Ψ  的局部最优解。0×  ∆ κ k cul aun  − 1 t ul  t un exp ( − γ k c ul  a un∆ κ k cul aun t ul  t un ) ����� , 的数据0M步。我们使用Jensen不等式为对数似然函数（方程7）提供一个下界；这个下界通常被称为Q函数。我们通过对Q函数对每个参数求导并将其设为零来获得参数的下一个估计值：的数据0的数据0α k + 1 ua = 的数据0β k + 1 az = 2 T | U  | T × 的数据0T , 的数0的数据0erf  ( µ k az √ 的数据0θ k + 1 a ′ a = 的数据0的数据0ϕ k + 1 ca= 的数据0的数据0的数据0T是观测期的天数表示，erf表示高斯误差函数  erf  ( x )  = 1 √ π的数据。因为0数据集统计Argus Under Armour0观测期7个月10个月Jan-July ’15 Jan-Oct ’16 #唯一操作10 8#总用户4,708 15,221 #总操作2,140,757 9,733,645平均每个用户的操作数454.7 639.5 平均每个用户的唯一操作数6.36.8 平均每个用户每天的唯一操作数2.7 4.4 的数据0表1：基本数据集