订阅服务价值评估：客户获取和保留的重要性

132超越客户生命周期评估：测量订阅服务的获取和保留价值摘要HamidrezaBadriNetflix Inc.美国洛杉矶hbadri@netflix.com艾伦·T·兰Netflix Inc.美国洛杉矶allent@netflix.com因为这些投资的成本很容易衡量，了解获取或保留用户的价值对于基于订阅的企业至关重要。虽然客户终身价值（LTV）通常用于这样做，我们证明，LTV可能夸大了收购或保留的真正价值。我们建立了一种方法来估计收购或保留用户的货币价值的基础上估计服务和关闭LTV。 为了克服缺乏数据的关闭服务的家庭，我们使用的方法，基于马尔可夫链，恢复关闭服务的LTV从最小的数据非用户转换。此外，我们还演示了如何使用该方法来（i）预测总用户数量，同时考虑总市场约束和帐户级动态，（ii）估计价格变化对收入和订阅增长的影响，以及（iii）提供最佳政策，如价格折扣，最大限度地提高预期的终身收入。CCS概念• 计算方法学→马尔可夫决策过程;• 应用计算→经济学;·一般和参考→测量。关键词顾客终身价值，观察因果推断，马尔可夫决策过程ACM参考格式：Hamidreza Badri和Allen Tran。2022年超越客户生命周期评估：测量订阅服务的获取和保留价值在ACM Web Conference 2022（WWW '22）的会议记录中，2022年4月25日至29日，虚拟活动，法国里昂。ACM，NewYork，NY，USA，9页。http：//doi.org/10.1145/3485447.35120581介绍了解订阅者的增量价值对订阅服务至关重要。营销或产品投资通常旨在增加新用户的获取或现有用户的保留对这些核心投资的评估是困难的两位作者都对本研究做出了同等的贡献。允许免费制作本作品的全部或部分的数字或硬拷贝，以供个人或课堂使用，前提是制作或分发副本的目的不是为了盈利或商业利益，并且副本的第一页上必须尊重作者以外的其他人拥有的本作品组件的版权。允许使用学分进行摘要 以其他方式复制、重新发布、在服务器上发布或重新分发到列表，需要事先获得特定许可和/或付费。请求权限请发邮件至permissions@acm.org。WWW©2022版权归所有者/作者所有。授权给ACM的出版权。ACM ISBN 978-1-4503-9096-5/22/04。. . 十五块https://doi.org/10.1145/3485447.3512058金钱利益并不明显。如果没有评估投资的能力，企业就无法优化未来有利可图的投资，从而导致次优的业务成果。 本文开发了一种方法来准确地量化收购或保留用户的货币价值。根据定义，基于订阅的服务通过获取和保留订阅者来增长 为此，他们可能会推出新的内容或功能[2]，开展营销活动[20]，或提供更适合用户需求的定价套餐[6]。测量这些干预对获取或保留（以订户为单位）的因果影响可能很困难，但存在基于随机对照试验[22]或观察性研究[16]的方法然而，目前尚不清楚向被收购或保留的订户分配什么货币价值。虽然这是常见的做法，但我们证明，使用LTV（或保留情况下的剩余LTV）往往会夸大订阅业务的收购或保留价值相反，我们证明了服务和非服务LTV之间的差异，增量LTV，是更合适的数量的兴趣和发展基于马尔可夫链的估计方法。从概念上讲，获取新订户或保留现有订户将客户从关闭服务状态转换（或从业务的角度来看保存）到服务状态。自然，这种收购或保留对企业的价值是处于在职状态的个人和处于离职状态的同一个人的预期累积收入之差。重要的是，如果一个人在停止服务时成为订户的概率为正，则后者为正。 通过使用LTV来评估获取或保留，人们隐含地假设非服务状态的价值为零。然而，如果存在非订户加入或重新加入的正概率，则LTV可能向上偏置，因为它未能减去与关闭服务状态相关联的基线值举个例子，假设价格上涨，我们有一些方法来确定因此流失的订阅者对于这些前订户中的每一个，计算如果他们保持服务的预期寿命价值与在他们的流失状态下预期的的差提供了对每个前订户的流失价值的估计，其总和是价格增加的价格上涨的总成本是评估价格上涨成功与否的一个关键数量。由于它是以美元单位计算的，价格上涨的收入收益与总成本之间的差额本身也是以美元单位计算的，从而为价格上涨干预提供了美元估值。133.·WWW本文介绍了一个模型，估计增量客户终身价值的订阅服务，在收购或保留的事件。我们提出的方法模型的客户生命周期通过有限的马尔可夫链，允许多个订阅和状态之间的转换，如服务/关闭服务，任期，订阅计划，或更普遍的是，任何其他属性的影响收购和流失概率。通过将从状态到后续状态的许多概率转换链接在一起，我们的方法可以对任何给定初始状态的预期寿命和累积收入进行我们可以简单地为各种事件（如获得新订户或保留当前订户）找到适当的反事实，并使用从状态开始的预期收入与其反事实之间的差异更具体地说，该方法可以回答与订阅服务有关的几个重要问题，例如预测总用户数或估计价格变化对用户增长和收入的影响。本文的贡献是：（1）提出了一个可扩展的框架，估计增量终身价值的收购或保留的用户，这是更准确的比LTV和扩展到多个订阅，（2），扩展所提出的方法来预测用户的方式满足自然约束条件，如剩余的市场规模和（3），演示了如何使用的方法可以用来设置政策，如定价，最佳地最大化终身收入。本文的结构如下。第2节展示了我们如何使用有限马尔可夫链来估计用户在获取或保留事件中的增量生命周期价值。第3节将我们的框架扩展到订阅服务常见的三个应用程序：（i）预测总订户数量，（ii）估计由于价格干预而增加的收入或订阅影响，以及（iii）优化价格序列以最大化终身收入。最后，第四节结束。1.1相关文献大多数关于客户生命周期评估的先前研究都集中在预测LTV上，因为定义被认为是给定的：来自客户的预期收入的贴现总和[3，10]。 在机器学习和经济学中存在大量关于理解客户终身价值的文献。Gupta等人[8]回顾客户生命周期评估文献中的建模进展，并提供从各种模型中获得的经验性见解大多数提出的模型专注于使用消费者级别特征的机器学习技术[1，4，21]，例如新近度，频率SIR模型中的感染和恢复状态），具有控制种群动态的过渡概率[14]。通过对封闭系统中的人群进行建模，可以在疾病的各种假设下直接预测疾病的我们采取了类似的封闭系统方法，通过显式地对从未或以前的订阅者进行建模，这是估计获得或保留的订阅者的增量价值的关键。已经采取了各种方法来预测订阅服务的需求[7，18]。这些研究中的大多数使用传统的时间序列方法，旨在最大限度地减少短期预测误差[12]。然而，在订阅服务的情况下，当需要更长的预测期时，这些模型的表现会很差，因为它们换句话说，他们没有意识到在更长的时间范围内约束的结构性限制。通过在一个封闭的系统中对订阅动态进行建模，该系统自然包含市场规模约束，我们的预测方法提供了更准确的长期预测。在以订阅为基础的行业中，提高盈利能力的关键杠杆之一是价格。文献中提出了许多数学模型来寻找最优定价策略。 在[11]中，作者提出了一种方法来设置最优定价的杂志出版公司面临的随机需求在多个时期。他们将客户订阅和保留/流失的动态建模为生产数量、订阅价格和报摊价格的函数他们提出了一个动态规划公式来找到最优策略。在本文中，我们采用了类似的方法，并表明，如果马尔可夫链转移概率相对于价格的弹性的估计是可用的，我们的框架可以用来找到最佳的政策，最大限度地提高长期收入的客户分布在各州。2方法我们为此，我们首先概述了能够从观测数据中进行因果估计的假设接下来，我们建立了一个有限的马尔可夫链模型的客户在订阅服务的生命最后，我们说明了如何使用建议的马尔可夫链来估计增量LTV的收购或保留用户。首先，将V表示为状态s中一个家庭的剩余累积贴现收入。 更具体地说，为了便于标记，去掉了s：V=∞βkmkck（2.1）k=0和货币特征来预测个人的LTV结果。与我们最相似的方法是建立一个其中，如果住户是成员k，则mk是等于1的指标离散选择模型导致品牌之间的马尔可夫概率切换[19]。 在本文中，我们汇总了用户群的LTV，其中细粒度功能的影响将在聚合中被洗掉。此外，我们的重点是增量LTV的估计的兴趣是LTV在不同的状态之间的差异。流行病学中使用的房室模型侧重于对人群在房室之间的转换进行建模（例如易感人群，在未来的时期，ck的价格也是如此。给出这个符号，我们试图回答的问题是：V的一小部分是由于将家庭转变为成员国的干预2.1因果解释借用潜在结果框架[13]，定义两个从初始状态s：m开始的潜在LTV结果，如果134¬¬−.（）下一页（）下一页（）下一页（一）|）的方式（）×（）超越客户生命周期评估：测量订阅服务的获取和保留价值WWW'22，2022年4月25日至29日家庭是下一个州的成员，如果他们不是下一个州的成员，则为m相应地，如果家庭是成员，则Vm是潜在的LTV，如果家庭不是成员，则Vm是潜在的LTV已实现的观察值V是这些潜在结果之一，取决于家庭是否成为客户，m=1。m=0。V=m·Vm+（1−m）·V<$m（2.2）我们感兴趣的对象是增量LTV，即额外的LTV我们期望从处于订户与非订户状态的家庭接收，或者更具体地，潜在LTV结果的差异。为了估计这一点，我们对家庭进行平均，并寻求对平均治疗效果的估计，其中治疗是一种将家庭转变为成员国的干预措施1E[2005年] |s] Vm |s [Vm |s] − E V<$m |s [V<$m |s]（2.3）不幸的是，对于每个家庭，我们只观察到一个潜在的结果。为了能够从数据中估计增量LTV，我们需要确保因果推断的标准假设成立：重叠和不混淆[13]。假设重叠成立（即，确保我们观察到从每个初始状态到订户和非订户状态的转变），无混淆是保证进一步讨论的假设。 它要求潜在的LTV结果独立于已实现的成员指标m，以状态s为条件。（Vm，V<$m）m |s（2.4）另一种说法是，我们需要状态中有足够的变量来确保条件独立性成立。例如，如果来自特定地理区域的家庭具有更高的潜力，非签约国。即使是基于网络的企业，非订户的数据充其量也是有限的，通常无法获得。3为了克服这个问题，我们建立了一个马尔可夫链，我们能够从非订户收购的有限数据中估计非订户LTV。通过以概率的方式将转换链接在一起，我们隐式地恢复了状态空间中可能路径上的分布，从而从非订户状态恢复了预期的LTV首先，考虑具有两个不同计划（A和B）的订阅服务，每个计划具有不同的价格。订阅者以预定的节奏（例如，每周或每月）支付费用，以在计费周期内访问公司在每个计费周期结束时，订阅者可以选择续订、升级、降级或取消订阅。我们还假设，该公司可以识别rejoiners，谁拥有先前的订阅，取消和重新订阅的订户根据订阅状态（服务开启或关闭）、计费周期和计划类型，订阅者处于以下状态之一S={0，A1，B1，. . . ，AN，BN，A−1，B−1，. . . ，A-M，B-M}其中Ai表示在i个连续计费周期内与该公司合作并且当前登记在计划A中的订户，Aj表示在j个连续计费周期内停止服务的前订户，该前订户最近在她关于该服务的最后计费周期期间登记在计划A最后，如果一个客户过去没有成为该公司的订户（never-subscriber），则她处于状态0在S中定义的状态不重叠，并且每个用户都处于其中一个状态。4我们还假设N和M是两个整数，它们足够大，使得用户在获取和保留方面的行为保持不变，例如：p（Ai+1 |Ai）P.Aj+1 |Aj≥ M，Ai，j≥M.LTV作为成员，Vm，并且更有可能作为非成员加入，则不混淆性不成立，除非地理区域是状态空间的一部分。假设重叠和不混淆成立，我们可以从观测数据中估计增量LTV，其中可以对方程（2.3）中的非订户潜在结果的预期进行类似的推导。2EVm|s[Vm|s]=EV|s，m=1[V|s，m=1]（2.5）结合等式（2.3）和（2.5）示出了从状态s的增量LTV可以被估计为在随后的订户状态中观察到的LTV与在随后的非订户状态中观察到的LTV的差E[2005年] |s]= E [V |s，m = 1] − E [V |s，m = 0]（2.6）2.2马尔可夫链模型估算公式（2.6）的主要困难在于，差值的第二部分代表一个家庭的LTV，1我们明确量化了获取/保留成员对LTV的因果效应，这与某些干预对获取/保留的因果效应不同。在前者中，干预是获取/保留事件，而在后者中，干预是旨在获取或保留成员的某种投资[2]重要的是，注意到V被观测到了，而Vm和Vm则没有。图1描述了订阅服务的马尔可夫链马尔可夫链的特征在于2N+ 2M+ 1 2N+ 2M+ 1转移概率矩阵，其中ps′s表示用户在下一个计费周期中移动到状态s ′的转移概率，假设她当前处于状态s。给定这些转移概率，我们就可以推导出有限和无限视界LTV，以及它们的增量等价物。将Vs定义为状态s的价值函数，即从状态s开始，在无限范围内，客户产生的预期贴现收入。然后，值函数由以下递归方程描述V（s）=c（s）+β× p（s′|s）×V（s′）（2.7）S′其中cs是状态s的认购价格，β是折扣因子。求解V s很简单，因为可以用向量表示法将公式2.7改写为：（I −βP）V=c（2.8）3明显的例外是广告或跟踪公司，他们在网络上跟踪用户上花费了大量的工程[4]为了便于说明，我们只考虑极少数的状态。在实践中，状态空间应该包括满足马尔可夫性质的所有状态，并消除影响转移概率的未观察到的异质性。135（）（）（）下一页.–βp（s |s; t）c（s）。（2.11）n0（s ′）p（s |s ′; T）。（2.12）t=0S′WWW图1：马尔可夫链对订阅服务中的客户其中c和V是cs和Vs的堆叠向量等价物，P是填充有转移概率的方阵。 由于P是具有转移概率和β <1的转移矩阵，对于上面的马尔可夫链，有3种类型的渠道，我们必须考虑：新的收购，收购前订户和保留现有用户。5在高层次上，我们将以类似的方式评估这些渠道。首先，我们计算他们在营销活动时的前瞻性LTV 这是我们预计从用户那里获得的收入，考虑到流失风险和重新加入的可能性。然而，至关重要的是，我们还计算了如果订阅者没有加入/重新加入或流失，我们预计将获得的收入。两者之间的差异是我们预期获得的额外收入，即增加LTV，这是由于营销活动将用户从关闭服务状态因果地转移到服务状态。图2描述了这三个通道。更具体地，获取新订户的价值是：<$Vacq（i）<$V（i1）−V（0）i∈ {A，B}其中i表示用户在获取时选择的计划。类似地，重新获取先前在计划j上停止服务k个时段的订户，矩阵（I−βP）的特征值由1−β限定，这保证了（I−βP）是可逆的，因此存在唯一的<$Vreacq（i，j，k）<$V（i1）− V。jmin{−M，−k−1}和V的非退化解。或者，如果对有限时域值函数感兴趣因此，人们可以简单地模拟从每个初始状态开始的马尔可夫链，并积累收入（或用户），直到终端时期。在时间0，假设对T个周期上的LTV感兴趣将k步前转移概率递归地表示为p（s′′|s;k）=s′p（s′|s;k−1）p（s′′|s′;1）δk> 1（2.9）i，j∈ {A，B}，1≤k≤M其中，i示出了订户注册到什么类型的计划中，j示出了订户在她的最后一个计费周期中登记的最新计划，并且k示出了订户已经停止服务的计费周期的数量最后，保留一个选择计划i的用户，并且在计划j上选择了任期k：<$Vret（i，j，k）<$V（imax{N，k+ 1}）−V（j−1）和′ ′i∈ {A，B}，1 ≤ j ≤ M.p（s |s; 1）= p（s |s）（2.10）给定这些k步转移概率，有限视界LTV只是直觉上，如果加入或重新加入的基线水平较高，则这些通道中的每一个都较低换句话说，如果这些新用户的营销活动没有价值，.TT。′′如果没有明天的加入，类似地，给定跨州的订户的初始分布，n0（. ），s的numberber。在T时状态s的订阅者是nT（s）=S′注意力，从而高估旨在增加获取和保留的投资。这一点的一个直接应用是T处的订户数量仅用于估计获取和保留这些干预措施只对ST=S其中，服务s上的1是指示符变量，表示状态s是一种服务状态。2.3取得或保留认购人的价值在上一节中，我们展示了如何用有限马尔可夫链对LTV用价值函数对LTV建模的好处是，我们可以在估计获得或保留用户的增量价值假设订阅服务运行旨在获取（或重新获取）和保留订阅者的营销活动，并且我们可以因果地将获取或保留的订阅者归因于该活动，营销活动的货币收益是什么时间，因此是增量LTV的良好候选者，而从根本上改变服务的新产品功能则不是。2.4限制一种可能性是，潜在的随机过程可能是非马尔可夫的：要么相关的历史不能被还原到前一个状态和/或我们在状态空间中丢失了状态。这阻止了对增量LTV的因果解释，并可能使对获取或保留价值的估计产生偏差。5在实践中，还有许多其他的行为反应，如参与度的变化，帐户共享等。如果状态空间中包含适当的状态，则这些都是可能的值VT（s）=营销活动。因此，单独使用LTV，而不减去适当的基线，往往会高估收购价值，并重新评估一个重要的警告是，由于这些对LTV增长的估计是基于静态转移概率，因此它们可以nT（s）1on−serv ice（s）.（2.13）转移概率例如，新内容或营销活动的推出136超越客户生命周期评估：测量订阅服务的获取和保留价值WWW'22，2022年4月25日至29日（一）（b）第（1）款（c）第（1）款图2：（a）获取从未订阅者作为A类订阅者的增量值可以估计为V（A1）-V（0）（b）重新获取处于状态A-1的订阅者作为B类订阅者的增量值可以估计为V（B1）-V（A-2）（c）保留处于状态A1的订阅者的增量值可以估计为V（A2）-V（A-1）例如，如果收入较高的家庭以较高的概率保留，并且我们没有观察到收入，则在给定状态下的保留值偏高，因为成员的LTV估计值隐含地对较富裕的家庭进行子样本。理想情况下，状态空间类似于[10]对二元保留决策进行建模，可以在原始状态空间上构建转换矩阵，同时以一组协变量为条件，并以考虑未观察到的异质性的方式。对于任何一个州，都存在一个由协变量表征的家庭样本。人们可以将该状态下家庭决策的结果建模为狄利克雷分布，其中狄利克雷分布的集中参数6如果状态空间的维度为d，则估计d个单独的狄利克雷模型，每个狄利克雷模型对到整个状态空间的子空间内的状态的转变进行建模。请注意，由于每个模型都包括状态作为输入的一部分以及协变量，因此我们避免为每个状态估计单独的模型，这在计算上是作为一个例子，假设两个状态是成员或非成员，计划类型是A或B。通过拟合两个Dirichlet模型，一个用于决策，另一个用于计划选择，可以在以协变量为条件的原始状态空间上构造转移矩阵，假设每个状态的选择是独立的。此外，通过从Dirichlet模型中对一组给定的协变量进行采样，可以恢复“个性化”过渡矩阵的完整分布，该矩阵明确说明了调节后保留的未观察到的因此，这种方法以两种方式处理隐藏状态的存在：第一，去除隐藏状态，第二，表征转移矩阵的分布，而不是基于转移矩阵的单点估计，其考虑了任何剩余的未观察到的异质性。另一个方向是将潜在的高维协变量集折叠成标量倾向评分（以协变量为条件转变为成员状态的概率），并将倾向评分作为一个状态包括在内。如果协变量足以确保不混淆性成立，则足以条件[17]《易经》云：“君子之道，焉可诬也？有始有卒者，其惟圣人乎。7这一点，proach用倾向评分总结了协变量，但其他基于潜在变量的方法也是可能的[15]。例如，为了计算在状态s的获取值，首先使用转换为以协变量为条件的成员资格的概率模型来计算倾向得分。然后计算每个状态下的获取值和分组的倾向分数，这需要为原始状态空间构建转移矩阵，并添加倾向分数状态。最后，通过对倾向得分状态的估计值进行加权平均，将倾向得分积分，以获得s时的收购价值。与前面的方法一样，可以使用丰富的协变量集来计算倾向分数，同时限制状态空间的扩展。3应用在本节中，为了说明该方法的广泛适用性，我们使用我们提出的方法来回答订阅服务面临的一些常见但具有挑战性的问题。特别是，我们演示了如何使用该方法将包括尽可能多的协变量，137这些隐藏的状态，但维数的灾难限制了一个天真的方法。我们提出的两种解决方案，使条件的高维协变量集，而不显着增加状态空间。[6]请注意，所提出的基线方法已经做到了这一点，其中常数是唯一的协变量，因此该状态下的每个家庭都得到相同的转移概率。[7]对于连续值状态，应该使用[9]中描述的广义倾向分数。138WWW预测未来的订户、估计价格变化对业务度量的影响，以及最后，设置最优价格，该最优价格在现在增加的收入与将来通过订户增长增加的收入之间进行权衡。状态之间的转移概率是该方法的核心。它们控制着用户在各州的路径和分布，从而控制着收入和用户总量（见式（2.11）、式（2.12）、式（2.13））。 因此，我们预测和估计反事实结果的方法依赖于预测和估计反事实转移概率。将问题缩小到转换概率的优点在于，每个状态到状态转换选择一小群订户，从而最小化可能掩盖干预效果的未观察到的例如，典型的基于时间序列或事件的聚合订阅者模型嵌入了一系列动态，这些动态使干预的效果变得模糊。3.1预测转换概率最简单的转移概率模型是假设干预（或其宣布）或预测日期之前的若干时期的恒定趋势。然而，如果影响范围很大，对反事实或预测的估计就会变得嘈杂。例如，未来大量的已知内容发布可能会提高获取的可能性，从而改变真实的潜在反事实或预测转换概率。 图3显示了两种情况：（a）常数模型足够;（b）需要更复杂的模型。我们可以对常数模型进行改进，并通过引入协变量的时间序列预测方法来处理这些问题。大多数预测方法被调整为最小化k步预测误差，因此针对人们感兴趣的影响范围进 行 优 化[12]。例如，假设使用具有协变量的向量自回归模型，pt（·|s; t）=fs′|S. xt，pt−1（·|s）、. . . ，pt−q（·|s）（3.14）（一）（b）第（1）款图3：（a）估计静态转换的反事实概率（b）估计非静态转换的反事实概率，该非静态转换取决于诸如订阅服务内容提供的外部费率随着用户使用期的增加而下降。如果任期不属于这组状态，模型其中q是滞后长度，xt是价格干预外生协变量的向量用方程式把这些概率（2.9）和（2.10）给出了k步前转移概率y，p∈k（s′ ） 的 估 计|s）。3.2用户预测该方法的一个明显而有效的应用是预测市场渗透率。订阅者聚集根据定义是不聚集的获取和流失决策的结果，这正是我们的马尔可夫链所测量的。预测市场总量的挑战之一是，经典的时间序列预测方法往往缺乏结构，无法解释自然约束，如由于市场饱和而导致的增长放缓。我们明确占这些自然的约束条件，在一个封闭的系统内的客户动态建模的吝啬的方式。随着市场的增长，随着非订阅用户的减少，增长自然会放缓。准确预测的关键之一是选择足够大的状态集，以充分表征预测范围内的转移概率。例如，假设churn由于预测是基于历史转移概率，而历史转移概率来自于相对较低的保有权用户，而用户流失率相对较高，因此在增长市场中存在向下偏差。建立转移概率模型的优势在于，即使在不断增长的市场中，现有用户的横截面通常也有足够的变化，因此，超出当前市场规模的预测是准确的。然而，更多状态的好处往往被数据中增加的稀疏性所概括地说，我们提出了两个解决方案。首先，我们可以使用降维技术，将具有相似转移概率并且在逻辑上相邻的状态分组在一起（例如，将基于时间的数据合并）。还存在特定于马尔可夫链的技术，该技术将具有相似性的状态聚类。过渡路径的经验分布[23]。另一种方法是显式地考虑转换矩阵中的不确定性[8]例如，我们可能只观察到一个特定初始状态的少量跃迁，而我们对此并不确信。我们可以不用点估计，[8]这类似于[10]估计Beta分布的参数，其中结果是LTV模型背景下的流失概率分布139（）下一页超越客户生命周期评估：测量订阅服务的获取和保留价值WWW'22，2022年4月25日至29日图4：流媒体服务随时间推移的模拟转移概率和订户数量（按市场规模归一化）来模拟这些跃迁概率的分布。例如，初始状态的转移概率都需要总和为1，因此我们可以将转移概率的分布建模为狄利克雷分布Dα。 浓度参数α决定了观察到的分数周围的分布有多尖锐，因此我们可以将它们中的每一个设置为观察到的跃迁数。通过对所有状态重复这一过程，我们得到了一个转移矩阵的分布，我们可以从中进行采样给定一个状态空间和历史转移矩阵，我们可以使用3.1节中描述的技术来预测转移概率。在此基础上，在预测范围内进行预测汇总T是公式（2.13）的直接应用。3.2.1示例：模拟数据。 为了证明我们的马尔可夫链封闭系统方法的优势，我们将其与时间序列聚合估计的基线模型进行比较。考虑具有六个状态的示例：从未订阅者、先前订阅者、当前订阅者，其中每个订阅者状态可以是低收入或高收入。我们基于这些州的随机转移矩阵模拟数据，以生成时间序列数据，如图4所示，其中低收入家庭过渡到成员国的概率低于高收入家庭。请注意时间序列中的随机性，这来自马尔可夫链的随机性，以及随着市场份额的增长，随着时间的推移，收购概率会变慢。我们建立了三个模型，每个模型预测在某个终端日期T的未来用户数量。一个基线ARIMA模型直接在市场渗透率上训练，第二，一组ARIMA模型预测所有状态的转移概率，然后使用公式（2.13）根据这些预测的转移概率预测顶线市场渗透率，最后，一组ARIMA模型预测转移概率，将收入视为未知状态。这最后一个模型模拟的情况下，隐藏的未观察到的状态是随机的一部分，图5：基线和基于全状态和隐藏状态马尔可夫链的模型随时间的绝对百分比误差。过程对于每组模型，我们选择超参数，如AR和MA分量的滞后长度，以最小化样本外误差。图5显示了每个模型随时间变化的绝对误差百分比，其中t时的预测仅使用t之前的数据。基于马尔可夫链的方法与相关的状态空间的知识，具有相对较低的误差在一个较长的地平线上，即使市场渗透率从0增长到70%左右。 另一方面，当市场渗透率在早期迅速变化时，基准模型的预测误差特别高，这正是因为它无法预测非订户减少带来的收购放缓。这一结果与预测文献的结果一致，后者表明，对于隐含依赖于平稳数据的模型，在非平稳环境中进行预测是困难的[5]。随着增长放缓，动态更接近平稳分布，基线模型最终具有比全状态马尔可夫方法更低的误差正如预期的那样，基于马尔可夫的方法然而，图5还显示了隐藏状态的存在增加了基于马尔可夫的方法的预测误差在不了解相关状态空间的情况下，预测误差一致地高于基于马尔可夫的方法，该方法结合了完整的状态集。此外，在此期间，基于马尔可夫模型优于朴素ARIMA模型的时间更短。换句话说，基于马尔可夫的方法理解长期动态的好处可以被未观察到的隐藏状态引起的错误所抵消，如第2.4节所建议的。尽管未示出，但是由隐藏状态引起的误差的大小取决于所关心的状态（在这种情况下为成员资格状态）的转移概率取决于隐藏状态的程度。3.3定价应用在基于订阅的服务中，可用于增加收入的两个广泛杠杆是价格上涨和/或用户增长。专注于定价，价格必须设置为最佳，以平衡短期的一阶收入变化对收入的长期影响，通过用户动态。价格弹性140（）下一页了c0c≥0∀()布拉奇+∈（）下一页pSn=maxnc+βc≥0V （n）p（n |n; c）（3.1KWWW在订阅者的任期内演进例如，较长的任期或较高的参与订户可以例如具有较低的价格弹性。因此，价格变化的影响取决于用户在各州的分布，这反过来又决定了价格弹性的分布。因此，最优定价需要准确估计价格弹性。一般来说，很难通过订阅业务的实验来估计价格弹性，因为有限的计划数量和订阅的重复性意味着价格非常明显，由于违反SUTVA，很难进行因果推断。或者，我们使用观察数据和2.2节中的马尔可夫链来估计价格变化对总收入和用户增长的增量影响，以及更多的细分用户群。假设一个人对k期后价格干预的影响感兴趣由于我们已经实现了收入和订户的数字，所有我们需要估计的影响是一个估计的收入和订户的反事实下，价格没有变化。第3.1节描述了我们如何构建反事实的转换概率，使用价格干预前的数据训练模型，并使用干预外生的协变量在干预后有了这些，在k个周期内由状态s∈k描述的队列的反事实贴现收入为：可用）。 作为一个近似，假设n ′足够大，过渡到下一个周期的分布n′是确定的。在这种情况下，我们可以将值函数写为V（n）=maxn′c+βV（P（c）n）（3.16）其中Pc是作为价格c的函数的转移矩阵，其中i，j元素是从j转移到i的概率。在一些假设下，Blackwell特别是，需要注意的是，价格不能无限期地提高，因此贴现收入是无限的。例如，如果存在最大价格，则函数空间上有界c′这样， c>=c<$，P c是这样的，所有成员都流失到非会员国和所有非成员仍然是非成员。价格的正限制保证了一个下界给定公式3.16的不动点，n处的最优价格就是策略函数c（n）=arg maxn′c+βV（P（c）n）（3.17）≥4结论虽然现有的文献对客户终身价值（LTV）是丰富的，我们证明，增量LTV是正确的数量估计价值收购或保留的用户，而LTV.n0（s）Vk（s）=..n0（s）βt.pt（s′|s）c（s′）.倾向于高估获得或保留的订户。本文建立了一种方法来估计增量s∈Nt=0s∈s′LTV，因此，收购或保留资产的货币价值同样，反事实的用户估计也是类似的订阅者。我们利用一个有限状态马尔可夫链来建模，- 是 的.ˆ′ 1S′以及封闭系统中用户的非服务行为不像Sk（）=s∈Nn0（s）pk（s|s）on−service（s′）.LTV模型，用户不会在流失中消失，有积极的前瞻性LTV，因为他们可能会在未来重新加入3.4最优策略上一节中隐含了一种方法，用于获得价格干预的转移概率 这些“价格弹性”显示了对价格变化的反应的复杂性，例如，包括增加的流失，减少收购，计划变化等。有足够的观察到的价格弹性，它是可能的模型转换概率作为价格的函数。9在其他的文章中，从价格弹性的估计出发，|s），因此，我们可以比较前瞻性的LTV时，用户或有或无，若有或无，则无。订阅者或搅动。这一差异代表了企业可以预期从处于订阅状态的客户与非订阅状态的客户中获得的额外收入。这允许对订阅业务中常见的大量投资进行货币估值，但通常以订阅者为单位进行衡量。最后，我们展示了该模型的其他应用我们使用马尔可夫链方法来回答三个常见的问题。以及基线转移概率的观测值，p·|s，到a然而，订阅服务面临的挑战性问题，（i）前-作为价格函数的转移概率模型（（·|）;c）.预测未来的用户数量，（ii）估计影响设n R|S|表 示各州家庭的分布情况（即n′1=n <$，其中n<$是家庭总数）。拥有一个转移概率的模型是强大的，一个是写价值函数，最优的贴现收入给定一个初始分布n在国家，通过以下递归函数：订阅价格增加的收入和订阅增长，以及（iii）优化政策，如价格折扣，最大化预期的终身收入。引用[1]约瑟夫·鲍尔和迪特马尔·詹纳赫。2021. 提高客户终身价值“是的。”∗ ′′n′使用序列到序列学习和基于模型的预测。请注意，价格被写为状态或有价格，但实际上价格的维度要小得多（例如，计划的数量9这样做超出了本文的范围，但关键是通过结合领域专业知识的合理假设来克服稀疏性。例如，价格超出数据的支持，导致转移概率的合理变化。（2018），2609-2627.[3] Paul D Berger和Nada I Nasr。1998年 客户终身价值：营销模型和应用。Journal of Interactive Marketing12，1（1998），17[4] Benjamin Paul Chamberlain ，Angelo Cardoso ，CH Bryan Liu ，RobertoPagliari，and Marc Peter Deisenroth.2017.运用嵌入法预测顾客终身价值。 第23届ACM SIGKDD知识发现和数据挖掘国际会议论文集。1753-1762年。VACM Transactions on Knowledge Discovery from Data（TKDD）15，5（2021），1[2] Tarek Ben Rhouma和Georges Zaccour。2018. 获取和保留服务用户的最佳营141超越客户生命周期评估：测量订阅服务的获取和保留价值WWW'22，2022年4月25日至29日[5] 郑庆学，陈幼祥，吴雅玲。2009.基于趋势加权模糊时间序列模型的产品创新扩散预测。专家系统与应用36，2（2009），1826-1832。[6] 彼得·丹纳赫。2002年。新订阅服务的最优定价：市场实验分析。MarketingScience21，2（2002），119[7] Ömer Fahrettin Demirel ， Selim Zaim ， Ahmet Zalalikan ， and PinarÖzuyar.2012年。使用神经网络和多变量时间序列方法预测伊斯坦布尔的天 然 气 消 费 量 。 Turkish Journal of Electrical Engineering ComputerSciences20，5（2012），695[8] Sunil Gupta ， Dominique Hanssens ， Bruce Hardie ， Wiliam Kahn ， VKumar，Nathaniel Lin，Nalini Ravishanker，and S Sriram. 2006.客户终身价值模型。Journal of Service Research9，2（2006），139[9] 圭佑平野和GuidoW. 因本斯 2004年。 倾向评分持续治疗。约翰威利父子公司，章7,73比84arXiv：https://onlinelibrary.wiley.com/doi/pdf/10.1002/0470090456.ch7https://doi.org/10.1002/0470090456.ch7[10] David Hubbard，Benoit Rostykus，Yves Raimond，and Tony Jebara.2021年贝塔生存模型AAAI春季生存预测研讨会论文集- 算法，挑战和应用2021（机器学习研究论文集），Russell Greiner，NeerajKumar，Thomas Alexander Gerds和Mihaela van der Schaar（编辑），第146卷PMLR，22-39. https://proceedings.mlr.press/v146/www.example.com[11] Woonghee Tim Huh、Soulaymane Kachani和Ali Sadighian。2010.基于订购的产品的最优定价和生产计划。 生产和运营管理19，1（2010），19-39。[12] 罗宾·约翰·海德曼和乔治·阿萨纳索普洛斯。2018. 预测：原理与实践（第二版）。OTexts，Australia.[13] Guido W. Imbens和Donald B.鲁宾2015. 统计、社会和生物医学科学的因果推理：导论。北京：清华大学出版社.https://doi.org/10.1017/CBO9781139025751[14] 威廉·奥格威·克马克和安德森·G·麦肯德里克。一九二七年 对流行病数学理论 的 贡 献 。 伦 敦 皇 家 学 会 会 刊 。 SeriesA ， Containing Papers of aMathematical and Physical Character 115，772（1927），700-721.[15] 克里斯·路易佐斯、乌里·沙利特、乔里斯·穆伊杰、大卫·桑塔格、理查德·泽梅尔和马克斯·威林。2017.使用深潜变量模型的因果效应推断。在第31届神经信息处理系统国际会议（NIPS '17）上Curran Associates Inc.，Red Hook，NY，USA，6449[16] Sungjoon Nam，Puneet Manchanda和Prad