没有合适的资源?快使用搜索试试~ 我知道了~
电子商务客户流失模型中的多时间切片方法研究
数据科学与管理5(2022)149病例报告电子商务中客户流失模型的时间切片方法研究Kyriakos Georgioua,b,*,Alexandros Chasapisaa数据科学部,Finloup S.A.,2 Evristheos,118 54,雅典,希腊b雅典经济与商业大学统计与随机建模及应用实验室系,6 Patission Str,104 34,Athens,GreeceA R T I C L E I N F O保留字:电子商务叛逃季节性机器学习A B S T R A C T在这项研究中,我们研究了在非契约环境下预测客户流失的问题受最近使用多时间切片的机器学习工作的启发,我们开发了一种新的训练和测试框架,滑动多时间切片(SMTS)方法。我们将这种方法应用于来自希腊最大市场的数据,即Skroutz,考虑到客户活动的重要特征和旨在捕获公司建立的业务相关目标的自定义性能指标该数据集包括自2018年4月以来相对较短时间内的客户,其数量在近几个月也出现了显著增长尽管存在这些困难和客户流失的固有季节性,我们的结果表明,使用SMTS,开发优于以往方法和优化决策的模型是可能的。我们验证了商业部门的基准数据集的方法,并讨论了所提出的方法的实际考虑和要求。1. 介绍了解客户行为在现代电子商务中至关重要公司可以根据客户的历史交易 和忠 诚度 对他 们进 行分 类。 因 此, 可以 开发 适当 的客 户关 系 管理(CRM)方法,目的是留住客户或增加他们的活动。Kumar和Reinartz(2006,2016)详细阐述了有关CRM的更多信息。数据驱动的解决方案对于通过大型市场进行销售的商家尤为重要,因为大数据的力量可以用于预测未来的客户行为。Becauseof the situation and al. (2017)和Ha-Thuc et al. (二零二一年)阐释该等数据来源的重要性。在这项研究中,我们考虑来自Skroutz市场的客户,这是希腊最大的电子商务平台。 Skroutz成立于2005年,是一个价格比较引擎,其市场服务于2016年推出。 我们的目标是识别那些不太可能重返市场的客户,即叛逃(在文献中通常也称为“流失”),以便企业可以考虑采取适当的行动来扩大和增加客户活动。 由于客户没有合同义务,因此可以随时离开,因此不适用于严格的流失预测。我们认为叛逃事件通过购买频率的显著降低来衡量,这更适合于非合同设置,并且经常用于类似问题,尽管叛逃者的确切定义可能会因业务需求而异(例如,也可考虑大幅减少季节性效应在电子商务建模任务中尤为重要,并可在随后的决策过程中发挥重要作用大多数模型都专注于足够的训练数据,并可能将时间作为一个特征,以考虑季节性和单一测试期。然而,在存在季节性的情况下,这些有限的测试结果可能无法代表较长时期内的模型性能。因此,我们的目标不是考虑替代功能,而是开发方法,在模型发布用于生产预测之前,提供随时间推移的模型性能的整体视图。为此,Gatter-mann-Itschert和Thonemann(2021)最近进行了工作,他们使用多个时期的客户数据来增加训练点的数量,并将数据的时间性质纳入训练中。受此方法的启发,我们提出了一个扩展,使用多个周期进行测试和训练。 其结果是滑动多时间切片(SMTS)方法,该方法可以优化超参数和训练数据集同行评议由Xi交通大学负责* 通讯作者。电子邮件地址:kyriakos. georgiou@finloup.com(K. Georgiou)。https://doi.org/10.1016/j.dsm.2022.07.001接收日期:2022年3月2日;接收日期:2022年7月5日;接受日期:2022年7月5日2022年7月30日在线提供2666-7649/© 2022 Xi'an Jiaotong University.出版社:Elsevier B.V.代表科爱通信有限公司公司这是一篇基于CC BY-NC-ND许可证的开放获取文章(http://creativecommons.org/licenses/by-nc-nd/4.0/)。可在ScienceDirect上获得目录列表数据科学与管理杂志主页:www.keaipublishing.com/en/journals/data-science-and-managementK. Georgiou,A. 查萨皮斯数据科学与管理5(2022)149150关于模型的区分能力和对于与CRM相关的业务决策重要的任何性能度量。当然,在应用这些方法时必须考虑许多技术细节。这些参数包括时间片长度、产品类别和客户忠诚度。本文中的案例研究侧重于整体市场环境,因为篮子包括许多不同的产品类别,企业有兴趣在给定的时间框架内识别可能的叛逃者,以规划跨客户的有效策略这些考虑因素将在后续章节中进一步讨论。此外,在实践中,在开发此类模型时必须考虑到诸如错误分类成本和客户关系管理成本(包括促销和/或营销活动)等如果资源被分配给针对错误分类的客户,则对此类成本的量化、处理和监控可能会导致不必要的业务努力。Lemmens and Gupta(2020)已解决该等问题,并开发了一个以利润为基础的流失预测损失函数关于流失或背叛的适当定义及其对商业战略的影响,也进行了有趣的工作,例如Glady等人(2009)。为了纳入这些业务相关决策的重要性,我们采用SMTS方法,并根据Skroutz专家的意见,采用适当的模型性能指标本文的其余部分组织如下。在第2节中,我们提出了一个广泛的现有文献有关的流失/叛逃建模的概述,并强调如何提出的方法可以有助于和补充这些方法。在第3节中,我们概述了在整个工作中考虑的性能指标在第4节中,我们描述了已建立的流失模型的训练和测试方法,这些方法构成了我们提出的方法的基础在第5节中,我们概述了SMTS方法的发展,并讨论了其优点和可解释性。最后,在第6节中,我们应用上述方法,并使用Skroutz数据集,使用适当的统计检验将结果与相应的多时间片模型进行比较。在第7节中,对商业部门的第二个数据集进行了类似的比较。在第8节中,SMTS方法用于为Skroutz客户开发最终模型在第9节中,我们讨论了与SMTS方法相关的各种技术考虑以及未来工作的方向。2. 相关工作和贡献几十年来,流失/叛逃事件的预测一直是一个令人感兴趣的话题,最初严重依赖于分配假设,并产生了开创性的工作,如Borle等人阐述的“买到死”(BTYD)模型。(2008)和Fader et al. (2005年)。近年来,流失/流失预测的数据科学方法发生了重大转变,特别是机器学习(ML)和人工智能(AI),例如De Caigny等人提出的工作。(2018)和Neslin etal. (2006年)。 Pugliese等人(2021)和Xu et al. (2021)提出了对更广泛的数据科学和ML领域的演变及其广泛应用的深入分析。 Glady等人(2009)和Vanderveld et al. (2016)考虑了ML模型来估计流失概率和客户终身价值(LTV)。相反,De Bock和Poel(2012)采用广义加性模型来考虑模型性能与客户流失/流失的可解释性。此外,Chou等人研究了BTYD和ML模型的组合。(2021)和Xie(2019)。Per i'an~ezetal也介绍了相关工作。(2016),他使用生存分析预测了类似的“软流失“事件,Mitrovic等人(2017),他也考虑了交互变量。最后,最近的研究考虑了使用提升模型进行客户流失预测的实际好处(Devriendt等人, 2021年)。无论采用何种建模方法,电子商务中的客户流失/流失已被证明是一个相当困难的分类问题。 正如Malthouse和Blattberg(2005)所总结的那样,“一些客户只想以最少的麻烦及时交换产品或服务。”此外,在大多数文献中,广泛的历史数据可用于模型训练。 Ballings和Poel(2012)研究了考虑1至16年客户历史的好处,表明当使用长达5年的历史数据时,预测能力显着增加。由于许多购买的季节性和相应的流失模式,多年客户数据的重要性不幸的是,在许多情况下,客户历史可以追溯到5年目前不可用.可以说,更早地开发数据驱动的客户保留技术对企业的增长和可持续性同样重要我们的目标是通过考虑总共只有3年的时间来解决这个问题,时间窗口较短且恒定(即,时间片,如以下部分中正式定义的),在该时间片上计算客户特征。我们使用一种方法在多个时间段进行训练,以考虑固有的季节性影响。具体而言,该方法由Gattermann-Itschert和Thonemann(2021)开发和研究,他们构建了一种用于模型训练的多时间片方法。在该方法中,在多个时间片期间考虑相同客户的快照,从而增加训练数据集。 当缺乏客户和/或购买历史时,这种方法的好处是显而易见的。我们在以下各节中概述了这一方法,因为它是拟议方法的一个组成部分。我们的贡献是将这一概念扩展到测试过程,因为理解模型性能如何在不同时间段内变化同样重要,特别是在存在季节性的如下所述,这两种方法的组合以两种重要且基本的方式有助于建模过程(1) 该模型可以跨多个时间段进行测试,从而获得跨时间和人群的模型性能的整体视图(2) 训练和测试时间片的组合可用于优化超参数选择和模型训练过程。我们在下面的实验中对这两种说法进行了量化。此外,我们观察到,尽管使用了更多的数据进行测试,这些数据可以用于训练,但SMTS模型在检查的情况下表现出相应的多时间片模型。这表明我们的方法可以识别在整个检查期间产生最有效模型的超参数和训练时间片。在使用ML模型的时间序列分析领域中已经进行了新的工作。具体而言,Zhao et al.(2017)提出,考虑卷积神经网络(CNN)对时间序列进行分类,通过考虑每个客户的完整历史并训练CNN分类器,可以用来解决客户流失问题。然而,这种方法需要每个客户的足够长的时间序列,以及每个客户类型的足够数据(即,具有长期、平均和短期历史的客户此方法不适用于本研究所考虑的数据集,如前所述,该数据集的客户人数在过去两年内大幅增加。因此,有足够的历史数据来训练K. Georgiou,A. 查萨皮斯数据科学与管理5(2022)149151::¼¼¼基于神经网络的模型对于大多数客户是不可用的。一般来说,神经网络需要非常大的数据集进行训练,这在许多情况下可能是不可用的。类似地,Wang和Li(2018)考虑了CNN,但选择了用于稳态操作优化的时间序列窗口虽然这种方法几乎肯定适用于其他领域的时间序列分析,但可解释性的问题自然会出现。 特别是在商业中,管理需要专业知识和CRM行动的详细了解。 这种跨多个领域的要求,特别是在医学领域,已经引起了可解释的AI和ML领域(Gunning et al., 2019; Roscher等人,2020年)。我们的方法与上述重要工作不同,在上述重要工作中,我们提出了一种依赖于在固定时间段内评估客户的方法,这些时间段是根据经验季节性选择的,从而确保业务保持考虑所需的易处理性和自由度根据需要选择不同的窗口和功能此外,如随后各节所述,拟议的框架很容易在检查的时间段内,每个群体对应的GMV。当然,我们感兴趣的是由真实和虚假预测的叛逃者产生的GMV;针对真实叛逃者(可能)会增加收入,而针对虚假叛逃者没有好处,并为业务带来额外成本。因此,从成本效益的角度捕捉这种权衡是很重要的。 为此,我们使用混淆矩阵X和相应的GMV混淆矩阵X(如表1所示),其中包含检查时间段内每个亚群对应的GMV百分比。根据与Skroutz专家的讨论,我们得出结论,使用一个简单的指标来捕捉目标真实和虚假叛逃者之间的权衡,我们称之为目标效率(T.E)。这可以应用于给定时间段内的客户数量及其相应的因此,我们获得了以下用于模型评估的附加指标T:E:¼TD适用于相对较小的数据集。尽管迄今为止关于流失/叛逃的开创性工作,据我们所知,类似的技术结合使用多个时间段,FDT ETD GMV%FD GMV%(二)培训和测试的规则尚未形成文件。大多数研究都集中在可以提高模型性能的新功能上,而不是实际的训练或测试过程。本研究仅关注这些训练和测试方法,并证明SMTS方法可以产生优于现有方法的模型,并对结果的实际意义提供有价值的见解3. 模型性能在考虑训练和测试方法之前,我们概述了整个研究中使用的模型性能和评估指标。 由于客户流失是一个重要的业务相关问题,因此仅考虑标准的统计绩效指标是不够的。因此,我们专注于Skroutz已经同意的面向业务的指标3.1. 基线绩效指标在整个模型 开发和测试过程中 ,使用受试者工作曲 线下面积(AUC),其定义如下:TPRTPTP-FNT.E指标更能代表模型对现实预测和后续CRM的真正适用性在下面的部分中,我们将演示SMTS的确切使用,以优化模型的T.E性能请注意,我们并不关注预测建模中经常使用的准确性度量这是由于问题的业务相关框架,其中的主要目标是针对叛逃者,而不会创建不必要的行动标签,从而为业务带来成本这是优先于识别尽可能多的叛逃者,因此,T.E(GMV T.E)是更合适的性能指标。如前所述,也使用AUC,这是流失/亏损建模中的常见做法4. 客户流失模型的培训和测试在本节中,我们将讨论适用于叛逃分类的现有培训和测试技术。在整个研究中,我们使用时间片一词来指代在固定长度的特定时间段内可用的数据时间片包括一个评估客户行为的时间段(称为特征窗口)和一个识别背叛的后续时间段(称为标签窗口)。不管背叛的定义如何,分类任务可以是使用已被广泛用于此类问题的有据可查的算法进行处理。具体而言,我们认为标准FPRFPTPTPZ1(一)逻辑回归,随机森林,朴素贝叶斯,XGBoost和AdaBoost分类器,每个都有适当的超参数优化程序。长官Breiman(2001),Chen and Guestrin(2016),Hastie et al.(2009年),AUC¼TPR dFPR0Rish(2001)也详细描述了这些模型当然,模型和特征的选择取决于其中TP、FN、TN和FP是真阳性、假阴性、真阴性,和假阳性。特别地,AUC是模型对于给定决策阈值的区分能力的指示 这可以解释为正实例获得比负实例更高分数的概率。为了清楚起见,在下文中,我们将类别称为所有性能报告和混淆矩阵都有相应的标签。3.2. 面向业务的性能指标为了量化锁定可能的叛逃客户的真实影响我们将使用混淆矩阵来捕获总商品背叛和交易的性质(例如,合同或非合同)。表1用于缺陷预测的计数/GMV%混淆矩阵计数/GMV %预测无缺陷预测缺陷实际无缺陷TND/TND GMV %FD/FD GMV %实际缺陷FND/FND GMV %TD/TD GMV %K. Georgiou,A. 查萨皮斯数据科学与管理5(2022)1491522Fig. 1. 在单个时间片上进行训练和测试。4.1. 单个训练集和测试集标准模型开发包括创建单个数据集并执行训练-测试分割,根据该分割,模型在数据点的子集上进行训练,并在不用于训练的数据上进行测试对看不见的样品进行测试通常被称为样品外(OOS)。这一过程如图所示。1.一、OOS测试方法存在一个明显的问题,即忽视了分类问题的时间性质和可能引起的结构变化。 这是不利的,原因如下:(1) 培训过程不包括季节性和潜在的影响,这可能会影响随着时间的推移,叛逃率和客户特征的演变。(2) 测试并不模拟现实生活中的预测。已经考虑了时间切片方法来解决这些问题。我们在下面描述两种这样的方法4.2. 向前走时间片Stein(2002)开发并实现了一种使用时间片的众所周知的方法,称为向前走时间片。该过程需要将用于培训和测试的时间片扩展到两个单独的人群:图中提供了切片。二、请注意,Stein(2002)通过在每个时间片扩展特征窗口,在整个周期结束时开发了一个单一模型作者认为,这种时间切片验证了建模方法本身. 这种方法在信用风险建模等问题中特别有用,在这些问题中,考虑较长时期的特征不会产生可比性问题。然而,由于与客户行为相关的标准特征取决于所检查的时间范围(例如,货物的总价值和购买频率),可能更适当的做法是将时间段移动一个固定的时期,以确保所需的可比性。这也有利于那些希望在固定时间内执行建模任务的从业者。我们将在下面详细描述该方法,并在下面的部分中考虑扩展4.3. 多时间片Gattermann-Itschert和Thonemann(2021)提出并实现了一种不同的向前走时间切片方法。在多时间切片方法中,切片移动固定的周期,因此创建重叠的标签窗口(如图3所示)。以这种方式,在每个时间点获得客户的快照,其被认为是新的训练实例。这种方法隐含地处理了分类问题中经常出现的基本问题,例如数据稀缺和高级不平衡。此外,当我们在不同的时间片上评估相同的客户时,我们将其视为新的训练点,因此我们可以在固定的时间片长度内捕获不同的行为,这有助于模型的预测能力。例如,可能存在仅在单个时间段内购买的客户,在该时间段内,他们将被评估。但是,我们也可以捕获在多个时间段内活跃的客户,因此将考虑他们在每个时间段内的行为,以创建多个数据点进行培训。通过创建包含来自不同时间片的客户数据的堆叠特征和标签集,可以在这个完整的数据集上训练模型具体来说,对于每一个时间片i2{1,此外,设Yi2Rni为相应的应答标签 载体。完整的特征 矩阵 XX Rn×f 和标签向 量Y2Rn ,其中n¼Pini,以块的形式获得如下:(1) 超时(OOT),包括用于培训但在后续时间点检查X½X1X2...XN]TY½Y1Y2YN]T(三)(2) 样本时间外(OOST),由不属于所检查的训练集的客户组成。OOT和OOST测试的重要性在于它们能够模拟现实生活中的预测过程。这一时期的代表这种方法在客户(或叛逃者)很少的情况下特别有用,因为它在不同时期检查每个客户时都利用了他们的历史。另一个优点是,通过创建特征矩阵来隐式处理数据的时间分量,从而允许我们仅开发单个模型,并在下一个时间片中与客户进行测试,再次模拟真实的预测。图二. Walk-forward建模方法图3. 多时间片建模方法。K. Georgiou,A. 查萨皮斯数据科学与管理5(2022)149153见图4。使 用 SM T S 方 法 的 两个训练和测试案例,s ¼ 1,m ¼ 3。5. SMTs我们使用将时间片移动固定长度的想法来开发SMTS方法,并提出了一种训练和测试过程,该过程结合了多时间片的优点,同时提供了对多个测试期间模型性能的整体理解。考虑将数据集切片为N个时间片,并按恒定时间长度移位。为了方便起见,我们假设一个单位时间(在本例中为一个月)的恒定偏移随后,我们使用m个连续切片来创建多时间切片训练块并训练模型。这同时创建了可用于测试特定模型的时间片。因此,我们执行OOT测试,因为测试是在不同的时间片上执行的接下来的步骤涉及将该训练窗口滑动恒定的时间长度s并执行相同的训练和测试步骤。值得注意的是,测试切片标签窗口总是被要求不与训练多时间切片中的任何标签窗口重叠此要求也适用于测试切片标签窗口,并确保在任何点都不会测试先前看到的数据因此,SMTS允许我们将模型视为在多个时间段的实例上进行训练和测试,可能是在一个完整的周期内。请注意,根据用于训练的多时间片,这可能会导致在过去的时间片上测试模型虽然这对于生产测试来说并不实用,但它对于评估模型在许多时间段的性能非常有用,可以尝试捕捉季节性影响,例如客户和叛逃率的变化。 Skroutz数据集显示了这些特征,如第6节所述。为了演示SMTS方法,我们在图中显示了两个非连续迭代。4以包括其中在过去已经创建了测试切片的情况。请注意,所有图形表示中的日期都用于Skroutz案例研究(详情见第6.1节)。5.1. 双重网格搜索我们考虑了多个时间段的测试如何使建模过程受益。具体来说,我们开发了一种算法,通过该算法可以选择模型来优化所有测试时间片的性能。我们首先执行网格搜索,以获得每个多时间片中用于训练的最佳超参数。关于AUC评分的优化是该步骤的标准随后,每个集合都可以用于任何多时间片上的模型训练,并且可以使用任何性能度量在相应的测试时间片上测试每个结果模型。最后,可以通过考虑所有测试时间片上的预测来计算模型的总得分这个过程使我们能够比较多个时间段的结果,并确定性能最佳的超参数集和模型。总之,获得最佳模型的过程需要双重网格搜索算法,该算法用于识别超参数集和训练多时间片,该训练多时间片生成跨所有测试片的完整的过程在算法1中正式描述 我们注意到,该算法允许优化多个性能指标。特别地,通过选择产生最佳AUC分数的超参数集,我们首先增加模型的区分能力,然后选择训练多时间切片,该时间切片在所有测试切片中就任何度量S而言都达到最佳分数。在我们的应用程序中,我们使用T.E指标,但这可以很容易地被业务认为合适的任何指标所取代;或者,可以使用模型性能的标准指标,例如准确性。算法1.双重网格搜索对于i2{1,2,关于AUC的网格搜索以计算Hi。端对于i2{1,2,对于j2{1,2,在多时间片Mj上用超参数集Hi训练模型。对于j2{1,2,对多个时间片Mj对应的所有测试片进行OOT测试。端计算对应于多个时间片Mj的所有测试片上的聚合SOOT。端计算超参数集Hi的聚合SOOT在所有模型。端有趣的是,这种方法还允许我们比较每个时间片中从网格搜索获得的超参数集;直观地说,这种比较可以提供洞察力,作为量化建模方法本身验证的一种手段,这是时间切片的一个好处,如Stein(2002)所述。当然,选择将用于训练的超参数集和多时间片需要量化这需要使用适当的度量来对双重网格搜索的结果进行评分。 关于可以在许多应用中使用的这种度量的进一步细节在第5.3节中提供。最后,使用超参数和产生最高分数的训练多个时间片的组合来训练SMTS模型。K. Georgiou,A. 查萨皮斯数据科学与管理5(2022)149154k¼1÷j j¼ 2Jj ¼- þk¼1我我L,,Nm1联系我们¼-联系我们ij¼LL我LLBB5.2. 测试切片通过双重网格搜索,每个模型都在多个时间片上进行测试因此,考虑在滑动多时间片的窗口时可用的测试片的数量以确保模型是可比较的是重要的。为此,我们首先介绍几个符号和理论结果。在这项研究中,我们设置s1,从而创建N-m×1个训练集。我们用符号Mi表示i1/ 4,2,Mi¼[mti,其中ti是第i个时间片。最后,我们用M表示代入i1,我们得到E11 1/4(N-m)mod1。因此,我们认为,N-m但由于N-m[1]modl[1/2] N-m[1-i[1]modl我们的结论是N-m1/2N-m1-imodli-1modl]modl创建的所有训练多时间片的集合;因此,MNm1.当在每个多切片Mi上训练模型时,创建多个测试切片。我们用Ti来表示对应于训练实例Mi的测试切片的集合。回想一下,我们强加了非重叠标签窗口的条件被移位了标签长度l。为了确保在应用算法1时的一致性和可比性每个训练多时间片需要对应于相等数量的测试时间片;即,对于某些c Z,Ti c,并且所有i。在下面的结果中,我们得到了这个成立的充分必要条件注意,在下文中,我们使用AB(modl)来表示模一致性,而Amod1用于模运算。命题:SMTS方法中的测试片的数量是恒定的;即,jT ij ^c,其中对于所有多时间片训练实例i ^l;.; j M j,当且仅当j M j = 0 mod l ^。证明:首先,记住jMj <$N-m<$1。 考虑第i个训练实例Mi¼[m蒂岛 未来由时间片tim,.,t N组成。回想一下,测试需要不重叠的标签窗口。因此,我们选择以l为步长的时间片来获得1/4½N-m1-ii-1]modl其中,第一个等式从已知等式成立AmodB因此,我们必须获得对于所有的i1/4 1,...,N-m 1/4,...,N-m1/4通过选择l,我们得到N-m因此,我们认为,N-m直接得出结果根据上述结果,可计算试验切片总数如下:F,N-L,N-m-Nh-1,LjTN-m-N-mmodl1/4N-m1-l(七)其中,TF表示将来的测试切片集,而TF表示底层函数。同样,通过将TP定义为过去的测试切片,我们得到jTPj 1/4,i-1,i -1,i-1,时间片和多片的数量的选择很大程度上取决于问题的性质 在下面的部分中,我们分析检查的数据集并选择适当的N和m值。值得注意的是,采用这种方法可能需要进行初步分析,以确定要考虑的时间片、标签窗口和多片,以使命题成立。这使得每个模型都可以在平等的基础上进行评估。测试切片的数量,以确保可比性。请注意,尽管这些以上可以使用关系A,1/4A-AmodB重写,以获得优点,命题的满足不是一个要求,当这方法适用。F Pj T i j <$j Ti 我的天N-m-1/2N-m-1/2N- 1/对于固定数量的训练切片,Ei:1/4N-mi1-iiimodlni-1nmodl(4)必须独立于i。我们证明了这一点成立,当且仅当N-m10(modl)。我们分别证明每个要求如果:令N-m 1 0(mod l);因此,N-m 1 1/4 kl。我们也写i<$kildi,其中i<$1,2,然后,5.3. 模型评分和选择为了完成SMTS建模方法,必须确定用于从双重网格搜索中选择超参数集和随后的训练多时间片的适当计算。需要考虑许多因素,这也取决于分类问题的性质。直觉上,我们希望“奖励”一致的可使用的简单计算是可靠性得分(R),其基于标准变异系数度量,定义如下:μπ ιS π ιN-mRj¼JσSj(八)modl(5)由此我们确定对于所有i,Eil di1l1。的最后一步是使用Eq。AB-CB-CmodB;对于B>C:仅当:随后,令jTij <$$>c,对于所有i,它等价于Ei<$c。其中Sj表示由超参数集(或训练多时间片)Hj(或Mj)实现的分数。然而,该分数可能无法正确解释这些分数的大小。例如,一组稳定较低的分数可以实现比其中大多数值高的一组更高的R值,具有稍大的可变性。然而,这在许多情况下可能不是优选的。可替代地,某些时间片/超参数可以被分配更大的权重,或者在大的情况下,¼¼K. Georgiou,A. 查萨皮斯数据科学与管理5(2022)149155¼¼图五、分析了客户的变化。在客户增加的情况下,可以考虑在最近的时间段上表现最好的模型,因为当前客户构成人口的最大百分比年龄。然而,在这种情况下,必须考虑其他因素。例如,在后一种情况下,一个大的销售可能会推动许多客户进入市场,但它不会代表一般人群。最后,根据具体情况和业务特定标准,应考虑和测试各种计算。SMTS方法为从业者提供了一个框架,以考虑许多不同的性能指标和组合,以满足他们的要求。Skroutz的分析中包含了许多这样的考虑。事实上,可靠性评分受到上述问题的影响。总之,对于下面的案例研究,简单的平均分数是通过超参数集或训练多个时间片来实现的。6. Skroutz案例研究如前所述,这项工作的重点是预测Skroutz客户的流失情况,衡量标准是采购活动的大幅减少当标签窗口期间的平均购买间隔天数与功能窗口期间的平均天数相比显著增加时,客户被视为叛逃具体而言,客户在以下情况下被视为叛逃:以前,叛逃也可以被定义为购买频率和/或收入的大幅下降在下面的分析中,我们使用Eq。(9),指出所制定的方法也适用于其他定义。下面是对客户、叛逃率和特点的详细分析6.1. 客户数据集该数据集由来自Skroutz市场的客户组成,这些客户在2018年1月4日至2021年1月4日之间购买,并包含整个时间段内超过80万名独立客户的超过500万笔交易如前所述,在整个审查期间,客户增长率很高图5显示了每个季度新客户的增加和由此产生的收入。此外,数据集中约有20%的客户是一次性买家。因此,这些客户被排除在分析之外。在流失分析中,我们主要关注挽留重要客户,而大部分收益通常来自该等客户。这些重要客户可以通过客户细分或聚类来识别。然而,在这项工作中,我们关注的不是一个重要的亚群,而是所有有重要历史记录的客户。在整个案例研究中,我们d标号 ≥d特征双2σd特征中文(简体)考虑15个月的培训和测试时间段。最后,我们计算季度叛逃率,如图所示。其中d特征D标签平均天数是两个月-图第六章 由于流失率随时间大幅变动,并有明显的季节性影响,因此采用所提出的时间分段方法,分别用于特征窗口和标签窗口,σ(d特征)为功能窗口期间购买间隔天数的标准差请注意,我们必须考虑特殊情况其中d标签0和σ(d标签)0,其中客户在标签窗口期间没有被追求,因此已经背叛。如所提及见图6。叛逃率的季节性(日期表示所审查的15个月时间段的开始)。有正当理由请注意,如果有更大范围的历史数据可用,则可以在可用年份中比较相同的时间段,以确定重复的季节性影响。 在这种情况下,为每个时期开发单独的模型(例如,季节也可以考虑。6.2. 特征原始数据集在个人消费者层面上进行聚合,以获得每个用户的完整配置文件,其中包括他们的购买,相应的日期和这些购买的总价值15个月的时间段包括一个年度功能窗口,在此期间测量客户行为,以及一个季度标签窗口,在此期间识别流失事件。当然,可以考虑不同长度的特征和标签窗口,Ballings和Poel(2012)进行了深入的分析。我们在标签窗口期间测量客户行为,以确定是否发生了叛逃事件通过对全年客户行为的检查,可以考虑重要时段,如假期,同时还可以确保提供所需的历史记录,以获得准确的功能。具体来说,在下面的实验中,我们使用了类似问题中使用的标准变量来捕捉客户的整体购买模式。特征,包括购买之间的平均天数、购买之间的天数的标准差、购买的产品的总价值和购买的产品的总数量,用于模型开发。K. Georgiou,A. 查萨皮斯数据科学与管理5(2022)149156¼¼¼¼此外,数据结构允许我们创建RFM变量:(1) 最近的定义是自客户上次从市场购买以来的天数(2) 频率定义为客户自注册以来每月购买(3) 货币被定义为购买产品的平均价值。RFM方法在学术研究中得到了广泛的研究,被许多从业者采用,并被认为是Wei等人(2010)提到的行业标准这些变量通常被包括在客户忠诚度,背叛和生命周期价值(LTV)预测模型的功能上述变量与叛逃率进行了分析,以确定是否存在有意义的关系 为了完整起见,我们包括代表性的比较条形图,如图所示。S2的补充数据。 如上文所述,当两次购买之间的平均日数显著增加时,客户被视为已叛逃。 有了这个定义,阶级不平衡就不是问题了。然而,在许多叛逃问题中,叛逃者只占人口的很小比例。在这种情况下,应该训练算法,以确保在叛逃者和非叛逃者之间存在显著的类不平衡的时间片中对少数类进行适当的加权(如Burez和Poel(2009)所述,对处理叛逃预测中的类不平衡进行广泛的分析)。第一步是使用标准的随机训练-测试分割来测试基准模型,以获得模型性能和特征选择的基准最好的模型用于后续的时间切片方法,这需要大量的时间进行训练和测试。 我们考虑逻辑回归,随机森林,AdaBoost和XGBoost分类器。根据补充数据表S1中列出的结果,并在检查单个分类报告后,我们使用随机森林分类器进行了以下实验。 所有数据准备、特征工程、模型开发、测试和比较都是使用标准开源包scikit-learn、Python数据分析(pandas)、Numpy和SciPy在Python中执行的。6.3. 结果和比较我们现在测试和比较由多时间片和SMTS方法产生的模型。 我们首先采用两种方法,开发期为2018年6月至2020年10月,并考虑两个未来时间段仅用于测试,从而模拟生产预测。 我们将这些切片称为预测切片,以避免与开发期间的测试切片混淆。请注意,我们的数据集中的前两个时间片没有使用,因此测试片的数量在SMTS方法中保持不变,符合命题。这些片具有最少的数据量,因此是删除的明显选择。使用以下步骤在两个预测切片上执行模型比较:(1) 我们首先在开发期间训练和测试每个模型,并在预测切片上呈现所获得的结果。 我们为多时间片方法开发了两个模型以确保可比性:首先,我们使用AUC的网格搜索,第二,我们使用T.E度量的网格搜索。表2多时间片模型在预测集上的性能预测期AUC(%)T.EGMV T.E2019年10月至2021年1月78.091.441.212020年1月至2021年4月77.872.241.79表3预测集10/2019至01/2021的混淆矩阵。计数/GMV %预测无缺陷预测缺陷实际无缺陷4,680/64.692,702/11.45实际缺陷1,027/10.003,899/13.86表4预测集01/2020至04/2021的混淆矩阵。计数/GMV %预测无缺陷预测缺陷实际无缺陷8,964/58.614,892/9.67实际缺陷3,226/14.3510,945/17.37(2) 我们使用假设检验来比较模型在两个预测切片上的性能。6.3.1. 多时间片模型性能回想一下,在多时间片方法中,我们将时间片移动了一个月,以创建多时间片训练集,并在后续时间片上执行测试(移动了完整的标签窗口长度)。将特征和标签窗口堆叠以创建单个训练集,包括时间段06/2018至07/ 2020的客户,测试切片为07/2019至10/2020。相对于AUC分数调整超参数在测试集上,该模型的T.E和GMV T.E分别为2.20和1.73,AUC得分为77.48%我们将训练后的模型应用于预测切片,其结果如表2所示。为了更详细地了解模型性能和业务相关影响,我们还提供了相应的混淆矩阵(见表3和表4)。请注意,模型可以识别在两种情况下,在时间段内占GMV一半以上的客户对应于叛逃者。然而,T.E值表明,该模型在避免瞄准非叛逃者方面可能效率不高,特别是在第一个预测切片中。如前所述,这为企业带来了额外的成本和折扣收入。6.3.2. SMTS模型性能我们考虑在2018年6月至2020年10月的时间段内使用N14,m3,l3和s1的滑动多时间片方法使用相同的预测切片来测试模型。我们使用算法1来选择模型超参数和训练时间片,并针对GMV T.E得分进行 图图7显示了双重网格搜索的结果。 使用超参数集9(H9,对应于多时间片03/2019至08/2020,如补充数据的表S2中所示)和多时间片9(M9,对应于相同的时间段)来实现最高的平均分数,我们选择其用于训练。 应该注意的是,最佳超参数和训练集对应于相同的周期。 正如我们在其他实验中观察到的那样,这并不一定成立。为了完整性,我们在补充数据的表S5中包括使用每个训练切片(使用H9训练)获得的总T.E和AUC评分随后将所选模型应用于测试切片,结果列于表5中。相应的混淆矩阵也见表6和表7。在两个预测切片中获得了更好的T.E和GMV T.E值。具体而言,预测切片1(预测切片2)中的T.E分数增加了25%(26%),预测切片1(预测切片2)中的GMV T.E增加了34%(38%)。用于训练的双重网格搜索似乎提供了相对于期望的性能指标优化训练过程的能力K. Georgiou,A. 查萨皮斯数据科学与管理5(2022)149157图第七章(a)使用每个超参数集来聚合每个训练多时间切片的GMV T.E分数;(b)使用每个训练切片来聚合每个测试切片的GMV T.E分数。表5预测集上的SMTS模型性能预测期AUC(%)T.EGMV T.E2019年10月至2021年1月78.311.801.622020年1月至2021年4月78.072.822.47表6预测集10/2019至01/2021的混淆矩阵。计数/GMV %预测无缺陷预测缺陷实际无缺陷5,598/70.20 1,784/5.95实际缺陷1,711/14.23 3,215/9.63表11预测集10/2019至01/2021的混淆矩阵。计数/GMV %预测无缺陷预测缺陷实际无缺陷4,788/65.552,594/10.59实际缺陷1,091/10.563,835/13.29表12预测集01/2020至04/2021的混淆矩阵。计数/GMV %预测无缺陷预测缺陷实际无缺陷9,222/59.61 4,634/8.67实际缺陷3,524/15.46 10,647/16.26表7预测集01/2020至04/2021的混淆矩阵。表8SMTS
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功