互联网干预的分类准确性和治疗失败的影响：一项认知障碍随机对照试验

互联网干预29（2022）100554在一项互联网提供的认知障碍随机对照试验，临床足够的分类准确性和治疗失败的行为疗法ErikForsella， *，SusannaJernelo？va，b，KerstinBloma，ViktorKaldoa，ca瑞典斯德哥尔摩郡议会斯德哥尔摩卫生保健服务部卡罗林斯卡医学院临床神经科学系精神病学研究中心b瑞典斯德哥尔摩卡罗林斯卡医学院临床神经科学系心理学系c瑞典瓦乔林奈大学健康与生命科学学院心理学系A R T I C L E I N F O保留字：失眠个体化用药适应性治疗策略预测网络认知行为治疗A B S T R A C T背景：在适应性治疗策略中，每个患者的结果在治疗早期就被预测，并且治疗适合于那些有失败风险的患者目前还不清楚分类器在临床上有用所需的最低精度本研究的目的是建立一个经验支持的基准准确性的适应性治疗策略，并探讨输入预测的相对价值方法：对200例接受互联网认知行为治疗的RCT患者进行预测分析。采用相关分析和Logistic回归分析方法，探讨各预测因素及不同模型的预测能力。结果：该分类器具有67%的平衡准确率。21个预测因子中有11个与失败显著相关。使用所有预测因子的模型解释了56%的结果方差，而更简单的模型解释了16%至47%。重要的预测因素是患者评定的压力，治疗的可信度，抑郁症的变化，失眠症状在第3周，以及临床医生评定的态度，家庭作业和睡眠药物。结论：本研究中发现的准确性（67%）为预测准确性在临床上有用时设定了最低基准关键预测因素主要与失眠、抑郁或治疗参与有关。更简单的预测模型显示出一些希望，应该进一步开发，可能使用机器学习方法。1. 介绍1认知行为疗法（CBT）对于广泛的障碍是有效的，并且可以面对面或通过互联网成功地递送（Carlbring等人， 2018; Cuijpers等人，2019; Seyffert等人，2016; van Straten等人， 2018年）。然而，25满意的治疗结果，无论交付格式和疾病类型Andersson等人，2019;Lambert，2015; Rozental等人， 2019; Slade等人，2008），这也适用于失眠的CBT（Forsell et al.，2019 b; Jernelov等人，2012年;Charles M. Morin等人， 2009; Ritterband等人， 2017年）。阶梯式护理，患者从低强度/高可用性治疗开始，然后依次进行更高强度的治疗如果需要的话，治疗可以减少等待时间，成本和对合格治疗师的需求（Bower和Gilbody，2005），并为最初治疗反应不满意的患者提供明确的行动方案。有证据表明，与立即开始更强烈的治疗相比，阶梯式护理服务结束时的治疗效果可能不劣于治疗效果（Mohr等人，2019年）。这意味着，尽管许多患者在阶梯式护理中接受的强化治疗较少（即，停止在较低的步骤）的总体效果类似于如果每个人都接受最密集的治疗会发生什么。分级护理的缺点可能是，那些需要更密集治疗的人在达到足够强度的治疗之前必须经历一次或多次治疗，并且失败，这延长了他们的痛苦。例如，Mohr et al. （2019）发现患者* 通讯作者：精神病学研究中心，临床神经科学系，卡罗林斯卡医学院，斯德哥尔摩卫生保健服务，斯德哥尔摩地区，M58，Huddinge医院，SE-141 86斯德哥尔摩，瑞典。电子邮件地址：erik. ki.se（E. Forsell）。1 缩略语：Akaike信息标准=AIC，平衡准确度=BACC，睡眠限制疗法=SRT，失眠严重程度指数=ISIhttps://doi.org/10.1016/j.invent.2022.100554接收日期：2022年5月9日;接收日期：2022年6月22日;接受日期：2022年2022年6月25日在线提供2214-7829/© 2022作者。由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表互联网干预期刊主页：www.elsevier.com/locate/inventE. Forsell等人互联网干预29（2022）1005542==+与那些立即接受更深入治疗 避免这一缺点的理想方法是通过精确护 理 ， 其 中 患 者 基 于 治 疗 前 预 测 因 子 立 即 匹 配 最 佳 干 预（Goldberger和Bu X ton，2013; Hallgren等人，2017年）。然而，在CBT和ICBT（互联网提供的CBT）中，尚未确定具有足够强度的 预 测 因 子 ， 以 直 接 为 个 体 患 者 提 供 临 床 决 策（GerhardAndersson，2018）。同时，有充分的证据表明，在治疗早期监测症状和其他因素可以提高我们预测患者在治疗结束时将如何发展的能力（Forsell etal.，2019 a，2019 b; Hannan等人，2005; Lambert，2015; Lutz等人，2017; Schibbye等人，2014; Schueller等人，2015年）。因此，阶梯式护理的替代或补充可能是早期识别无法从正在进行的治疗中获益的患者，并立即加强或者调整他们的治疗，而不是放弃它去接受另一种治疗。该概念被称为“适应性治疗策略”（Forsell等人，2019年b）。使用适应性治疗策略时的一个关键问题是，在采取行动之前，预测需要有多准确。到目前为止，关于医疗保健，Eisenberg和Hershey（1983）发现，一旦预测的正确率达到65%，医生就愿意采取行动然而，这是一个非常初步和相当过时的发现，是基于临床医生决定治疗，进一步测试或等待在广泛的情况下，与精神病学或精神病学（例如癌症治疗，采取活检等）非常不同。因此，存在一个重要的知识差距，我们没有明确的基准来确定分类器需要有多准确才能在我们的领域中临床有用。在先前的研究中，提出了在治疗师指导的因特网递送的认知行为疗法（ICBT-i）中的适应性治疗策略的概念验证（Forsell等人，2019年b）。在治疗的第四周，患者被分类为有或没有治疗失败的风险。分类后，高危患者被随机分配到适应性治疗或继续治疗。结果表明，治疗失败是可以预测的，如果治疗师进行干预，结构化的适应计划，一个有意义的预测失败的比例可以避免。的比值比无风险患者与未接受适应性治疗的有风险患者相比，失败率为0.17（p 0.001），而<无风险患者和接受适当治疗的风险患者之间的失败率为0.51（ns）。可以认为，概念验证试验中的分类算法被证明在临床上有用，因此对于该应用足够准确，因为试验的结果是积极的（Forsell等人，2019年b）。然而，尚未进行分类准确性测试和分类算法及其组成预测因素的深入分析。这样做可以建立一个经验支持的最低水平的准确性（足够好，基准），用于适应性治疗策略。对分类器分别使用的每个预测因子进行分析，可以帮助确定未来研究的潜在改进或简化。对个体预测因素的分析也可以更具体地告知我们对失眠症CBT治疗过程的理解。2. 旨在在这项研究中，我们希望提出一个最小的经验支持的准确性水平的分类器必须是临床上有用的自适应治疗策略。此外，我们希望探索和比较不同复杂性和实现潜力的预测模型。为此，我们有三个具体目标：1) 为了确定在先前的概念验证研究中用于预测治疗失败的RCT分类器的准确性（Forsell等人，2019b），从而为经验支持的适应性治疗策略未来发展的最小准确性2) 检查分类器的每个预测器的相对值，以及3) 以检查不同逻辑预测器集合的附加值。3. 方法本研究的数据来自已发表的随机对照试验（Forsell等人，2019b），其中接受ICBT-i的患者在治疗第4周（共9周）被分类为红色（治疗失败的风险）或绿色（无风险）。为了简洁和清晰起见，我们将使用术语绿色表示通过算法预测具有良好结局（治疗成功）的患者，使用术语红色表示通过算法预测具有不良结局（治疗失败）的患者关于成功和失败的定义，请参见第3.3节。在第4周进行分类的原因是两个因素的组合。1)这是患者按照预定的速度工作的时候，他们将经历所有的心理教育和理论基础，并开始睡眠限制（即，在这里我们可以清楚地看到谁落后，谁拒绝理论基础，谁在计算睡眠窗口等方面有问题）。2）我们仍然希望尽可能多的时间留在治疗中，以适应治疗，并帮助那些我们认为不会从他们目前的轨迹中受益的人。一半的红色患者被随机分配接受适应性治疗。在本研究中，我们仅检查了所有绿色患者（n149）和未接受适应性治疗的红色患者（n51）的数据，以评估分类器的准确性，而治疗适应性不作为混杂因素。本研究纳入的200例患者（149例绿色，51例红色）在相同治疗中接受了相同水平的护理该研究获得了瑞典斯德哥尔摩地区伦理委员会的批准，并在clinicaltrials.gov（NCT 01663844.）上进行了3.1. RCT的受试者和治疗程序摄入、评估、治疗和研究程序的详细描述已经发表（Forsell等人，2019b），但试验方法简要描述如下。这项研究是在互联网精神病学诊所，一个精神病专家护理诊所在瑞典的公共卫生保健。患者通过填写互联网精神病学诊所官方网站上的筛选问卷来包括MINI精神病学访谈的面对面精神病学评估（Sheehan例如， 1998年，在入选前。入选标准为：18岁或以上，根据DSM-5（Amer-1999）诊断为精神分裂症。ican精神病学协会，2013年）和>10分的inspiration严重指数（ISI）（C。M. Morin等人，2011年），过去2个月内抗抑郁剂使用无变化/未使用，无夜班工作，精通瑞典语，无抑郁症（患有抑郁症的患者被纳入另一项平行试验），无需要其他立即关注的疾病、障碍或药物滥用（例如自杀倾向）或被认为是本试验治疗的禁忌症（例如，睡眠呼吸暂停）。治疗是9周的ICBT-i治疗，主要关注睡眠限制和刺激控制，但也包括其他标准CBT-i干预，如认知收获和放松练习。分类时，即在治疗第4周期间，遵守治疗计划的患者应开始限制睡眠。治疗概述见附录X。3.2. 分类算法3.2.1. 分类算法的创建在启动RCT之前，通过以下方式构建分类算法：E. Forsell等人互联网干预29（2022）1005543作者VK，KB和SJ。所有输入预测值及其权重都可以在已发布的EX cel电子表格（Forsell 例如，2019年b）。该算法的患者评分预测因子是根据先前试验中具有最强关联的项目算法，以及它们的测量时间点和量表参考见表1。3.2.2. 分类算法和步骤回归和ROC曲线中与结局（成功/失败）的关联分类算法本身包含在一个EX cel中，使用来自三个较早发表的试验的数据进行分析（Blom等人， 2015;Jernelov等人，2012; Kaldo等人，2015 a），以及没有经验截止值可用或无法计算的理论和临床假设（例如，如果患者报告在初始治疗阶段没有了解到有关其病情的任何新信息，即使迄今为止没有研究对此进行检查，至少在理论上应该是一个坏兆头）。为了患者的利益，自评预测因子被保持在最低限度。对于临床医师评定部分，根据作者的经验和CBT-i领域的概述选择预测因子，以告知每个因子与结局的相关性（例如，早期开始患者评定的指标包括在表1RCT分类算法中包含的患者评定指标电子表格，并有四个步骤，临床医生经过，停止时，可以作出最终决定。第1步是对治疗脱落进行分类，并处理不一致或明显的分类病例。在第四周之前结束治疗或想要离开研究的患者没有被分类，而是被排除在外。在某些情况下，临床医生可能会指出可用数据已损坏或不可信（基于与患者的通信），因此认为使用算法无效。然后，临床医生和主管将立即给出红色或绿色的分类，而无需进一步使用算法。这是罕见的（n=5），而且是最后的手段，但仍然算作这些患者的事实分类，因为我们想应用approach.第2步完全基于患者评分数据，因此不受治疗师主观性的影响。由治疗师将来自患者自评测量的数据输入到算法中（详见表1测量（abv.）测量时间点分类步骤参考然后，该算法将这些数据与截止值进行比较（参见Forsell等人的附录）。（2019b）详细信息），并为每位患者提供第3基线至第3周的Montgomery-Alsberg抑郁评定基线+每周基线+每周2Bastien et al.（2001年）2范蒂诺和Moore（2009），Montgomeryand Asberg（1979）每个变量为绿色、黄色（即，不确定）或红旗。仅绿色或仅红色标记的患者分别归类为绿色（考虑到第3周ISI测量的Increased症状低于16）和红色，不进入第3步。同时具有红色和绿色标记或仅具有黄色标记的患者被分类为黄色并继续进行第3步。在第3步中，还包括了其他几个自我评定的指标（请参见详情见表1已经包括的措施的截止值常规评价系统中的临床结局-10减去自杀倾向-项目（CORE-9）关于睡眠的功能失调信念（DBAS）项目4，11，17，20，24，25，28，29“To what extent have到目前为止，你所读到的和在治疗中所做的事情影响了你对睡眠的认识和思考方式，失眠？”（5分）likert量表（从完全没有到非常多）三个评级一 般 自 我 效 能 量 表（GSE）睡 眠 相 关 行 为 问 卷（SRBQ）第7、9、25、28睡眠问题接受问卷（SPAQ）第1、2、3、4项和附加项目有很多活动，睡得不好感知压力量表4项（PSS-4）工作联盟清单（缩写，WAI）表示治疗可信度基线2Barkham et al.（2013年）基线2Espie et al.（2000年）每周2第33集9.3 The Dogof the Dog（1995）基线3Ree和Harvey（2012）基线3Bothelius et al.（2015年）基线3Herrero和Meneses（2006），Warttig等人。（2013年）第3周3Falkenstr？m等人（2015年）第3周3Devilly和在步骤2中，在步骤3中进行了更改，限制较少，因此给出了较少的黄旗。此外，增加了临床医生评定问卷，临床医生将在9个不同领域将患者评定为暗红色、红色、黄色、绿色或深绿色，简要总结见表2。评级的结构化使得临床医生可以从列表中读取应导致不同评级的事物或情况的示例（参见Ap- pendiX中活动域的完整示例）。这些评分的权重不同，这取决于该领域被认为是多么重要（见表2）。然后将治疗师评分与患者评分的自动标记相结合，并计算最终评分如果分数低于某一临界值，则患者将被分类为绿色，反之亦然，则为红色分类。然而，在步骤3之后也有黄色区域如果患者属于该区域，临床医生将与失眠治疗专家（SJ和KB）一起决定最终分类，然后将其标记为步骤4。3.3. 临床结局和预测目标RCT中分类器的主要结局是基于炎症严重程度指数（ISI）的治疗失败预测ISI是一个7项量表，范围从0到28分，这是可靠的和对变化敏感的（Bastien等人，2001），并建立了缓解（<8后）和反应（前-后变化> 7）的截止值（C。M. Morin等人， 2011年）。我们将失败定义为既不是应答者也不是缓解者（即患者没有实质性在治疗期间，并且在治疗后仍然是临床病例，这表明我们可能已经能够为患者做更多的重症监护）。注：使用“失败”一词并不意味着患者失败，而是治疗未能帮助患者。3.3.1. 分类精度测量平衡准确度定义为BACC=（真阳性/所有预处理）02 The Dog of theWoman（2000）口述的阳性+真阴性/全部预测阴性）/2E. Forsell等人互联网干预29（2022）1005544+=+表2临床医生对RCT分类算法的评级，并附有简短示例。域深红色深绿色重量（+/-）3.4.2.检验每个预测因子的相对值和不同逻辑预测因子第二个目的是检查分类器的每个预测因子的相对值。为了探索分类算法的内容，我们将失效与所有单个治疗中的活性（活性）远远落后于进度表40预测因子包括在其中，使用点双对数相关。我们还计算了预测因子之间的互相关。第三个目的是比较大量的预测模型治疗中的接触（接触）睡眠限制和刺激控制（SRT）对睡眠的态度和CBT-i的基本原理（CBT-i）对家庭作业的一般态度（家庭作业）对睡眠药物的很少和/或大部分 不 相 关 的 接触尚未启动SRT，启动非常不正确，非常消极有一个坚定的信念，对作业持怀疑态度，或对作业持坚信睡眠大量的接触是30高度相关的已经开始SRT，60高度理解和初步成功有一个完整的30符合基本原理非常积极的30作业并正确完成是非常积极的20走向稳定，他们能解释多少结果的差异。我们进行了一系列逻辑回归，包括预测因素组，以检查其组合预测能力。仅包括RCT分类器使用的预测因子，以便于模型之间的比较首先，建立一个包含所有患者评级的模型，类似于RCT分类算法中的步骤2（12个预测因子）。第二，仅具有临床医生评级的模型（9个预测因子）。第三，构建完整模型，其中将来自RCT分类器的所有输入预测因子添加到单个模型（患者临床医师评级21个预测因子）。随后，仅使用与结局失败具有显著相关性的那些预测因子进行逻辑回归。这应该使模型更加简约，需要更少的数据收集，使其成为大型模型的良好比较器。最后，非常简单的模型只使用ISI测量，（安眠药）a间歇性药物治疗逐渐减少和/或停止服用睡眠药物，这是一种特殊的激励因素，为了比较，增加了直到第三周的筛选这将是在另一种环境中实施的最简单的模型，因为每周症状水平的测量是标准的，并且可能已经是常规收集。可能干扰治疗依从性的因素（受影响的依从性）可能影响睡眠的因素（受影响的睡眠）阻碍因素，高度复杂的生活环境外界环境对睡眠的高度干扰没有实际问题40和非常合适的生活环境来进行治疗EX优质睡眠30条件逻辑回归的Veall和Zimmermann伪R2将用于比较模型，因为它已 被 证 明 是 普 通 最 小 二 乘 r2 的 接 近 和 稳 健 估 计 （ Smith 和McKenna，2013;Walker and Smith，2016），并且在各种基本利率之间相对稳定。使用Akaike信息标准（AIC）（Burnham和Anderson，2004）对模型进行了比较。AIC是使用公式Δi=AICi- AIC min进行比较<患者自己公开表达的动机明确动机明确动机20与你们最好的一个模型相比，2到10之间的Δ是可以接受的（动机）a在这个领域，完全不服用睡眠药物被评为绿色。（Brodersen等人， 2010年）。在本试验中，BACC对应于（TrueRed/All Red True Green/All Green）/2。它的范围从0到1，其中0.50是随机的，1是完美的。使用BACC是因为它a）补偿不均匀的类分布，b）是单个值，c）可表示为百分比，c）易于理解。术语“红色”与“阳性”类似，因为我们的目标是识别故障。因此，一个真正的积极分类类似于“真正的被归类为红色，的确是一种失败）。辅助准确度测量，如灵敏度和特异性，计算样本已减少，以调整不均匀的类，这影响这些措施，在附录中。3.4. 统计分析3.4.1. RCT分类器的准确性第一个目的是确定概念验证研究中使用的RCT分类器的准确性为了有用，作为最低限度，分类器必须优于机会（即95%置信区间的下限高于0.50）。同样重要的是，所有单独的步骤具有比偶然性更好的平衡的准确性，因为如果一些步骤不具有平衡的准确性，则这些步骤对分类器的贡献作为整体可能会受到怀疑。发表的RCT的结果已经表明这种分类器对于临床使用来说足够好，但没有报告实际分类准确性的度量，这对于未来的研究和比较至关重要混淆矩阵采用R.3.4.3. 缺失数据本研究纳入的患者中有4例患者未对在线治疗后问卷做出答复。其中三个可以根据（Hedman等人，2013年）。由于200例受试者中仅有1例未完成任何治疗后评估（即观察到的数据为99.5%），因此未对缺失数据进行插补或替换。预测变量的数据基本完整。21个预测因子中有10个有缺失数据。除两个外，所有这些都完成了98%或更多。缺失较多的两个变量是MADRS-S平均变量，14名个体（7%）由于任何缺失的每周评估而缺失，15名个体（7.5%）由于相同原因而缺失的知识项目。临床医生评定的预测变量均无任何缺失数据。由于缺失的预测值非常罕见，因此在相关和回归模型中使用列表删除进行处理。4. 结果4.1. 目的1：建立临床上有用的RCT分类器的准确性目的1：RCT分类器算法的整体准确度以及每个分类步骤见表3。来自概念验证研究的最终分类被证明具有临床价值，其平衡准确度为67%，其下限置信区间远高于50%（机会）。从表3中可以看出，大多数患者必须进入步骤3，其中包括治疗师评级，以进行分类。步骤2和步骤3的准确性显著高于步骤3。E. Forsell等人表5互联网干预29（2022）1005545=使用完整样本（n=199）预测失败的分类器的平衡准确度RCT分类器N=True Red伪红真正的绿色假绿平衡精确度95% CI分类步骤1 5 3 1 1 0 0.75 0.37第2步分类按步骤3分类最终分级a199 32 18 115 34 0.67注：ISI损伤严重度指数。aForsell等人中使用的RCT分类器的准确性，2019年b。比偶然性更好，因此可能两者都对整体分类有贡献，并且基于重叠的置信区间，没有步骤比任何其他步骤明显更好然而，步骤1的置信区间非常宽，其下限低于50%。在这一步中只有5名患者被分类，因此即使其中4名被正确分类，非常小的样本也使准确性不确定。其他几个准确度指标见附录DX A。4.2. 目标2：各预测因子的相对值和预测模型的比较4.2.1. 失效点-双对数相关图1显示了失败与RCT分类器中包含的所有预测因子之间的相关性，以及它们的互相关。从基线时，仅CORE-9与失败显著相关，而治疗期（第1-3周）的所有（TCS）。在9个临床医生评级中，治疗中的活动（活动）、睡眠限制和刺激控制（SRT）的启动和坚持理解和接受的理由（CBT对家庭作业（Homework）都有显著相关。4.2.2. 目标3：比较不同的预测模型表4总结了使用被放入分类器的各种预测因子的逻辑回归模型以及仅具有症状评级的默认模型的结果。仅使用与失效显著相关的变量的模型具有最低的AIC（即，是AICmin且Δ =0）。与此相比，完整模型将使用所有数据Fig. 1. 预测因子与失效之间的相关性。注：所有显示的系数在p 0.05时均具有<颜色饱和度表示强度关系（红色=与失效正相关，绿色=与失效负相关）失败）。Pre=治疗开始时的数据，W3=治疗第3周的数据，CORE 9=常规评价系统中的临床结局-10删除自杀倾向项目的项目量表，PSS.4=感知压力量表-4项版本，GSE=一般自我效能量表，DBAS=关于睡眠的功能障碍信念和态度，SRBQ=睡眠相关行为问卷，SPAQ=睡眠问题接受问 卷 ， MADRS=Montgomery-Montgomery 抑郁 评 定 量 表 自 我 报 告 ， WAI= 工 作 联 盟 量表，TCS=可信度调查问卷，ISI=失眠严重程度指数，知识=到目前为止，这影响了你对睡眠和失眠的认识和思考方式？"，临床医生=临床医生评定的数据从治疗第三周开始，见表2。E. Forsell等人互联网干预29（2022）1005546=表4使用RCT分类器可用的数据进行逻辑回归模型预测器带sig的预测器与失败的相关性（p0.05）<模型中的显著预测因子AIC（Δ）Veall Zimmermanr2患者评分仅12 7压力*可信度**抑郁变化*210.32（2.5）0.47临床医生评分仅9 4家庭作业**253.71（45.89）0.16完整（患者+临床医生评分）a21 11压力*可信度 *抑郁变化**家庭作业**安眠药*208.42（0.6）0.56只有预测者有信号。与故障的相关性11 11 ISI*可信度**抑郁改变*家庭作业*207.82(AICmin）0.47仅使用主要症状指标（从筛选至第3周的ISI）5 2 NA 213.58（5.8）0.38注：ISI=第3周时的失眠严重程度指数总和，可信度=治疗可信度量表（第3周），家庭作业=CBT中患者对家庭作业态度的临床医生评分（第3周），压力=感知压力量表4项版本（基线），抑郁变化=从术前到第3周的Montgomery-Bossberg抑郁评定量表-自我报告变化，睡眠药物=关于睡眠药物使用和逐渐减少或戒烟意愿的临床医生评分（第3周），AIC= Akaike信息标准（Δ2表示强烈支持，Δ2aForsell等人使用的RCT分类器中的所有输入，2019年b。* 第<05页。** 第<01页。*** p0.001。<在Forsell et al. （2019a）表现良好。使用所有患者评级的模型和仅使用症状评级的模型表现可接受，而单独使用临床医生评级的模型实际上更差，并且根据AIC Δ没有支持。完整模型具有最高的r2，解释了失败几率的56%方差。模型所有患者评分和只有显著预测因子的模型解释了相同数量的方差（47%），而后者具有较低的AIC。临床医生评级仅解释了16%的变异。然而，在完整模型中添加这些数据实现了56%的方差解释，而仅患者评级的方差解释为47%，这表明添加了一些独特的信息。5. 讨论在这项研究中，我们希望提出一个经验支持的最低准确度水平，即预测个体患者治疗失败的分类器需要达到该水平，以便具有潜在的临床用途，并探索和比较不同复杂性和实施潜力的预测模型。我们分析了以前在成功的（即临床上有用的）自适应治疗策略中使用的分类算法，发现平衡准确度为67%，置信区间较窄，远高于概率水平。67%的平衡准确度可以用作初步基准，以决定未来的治疗结果分类器是否足够好，可以在治疗早期使用，以决定是否应该调整治疗但是，还需要考虑一些其他因素。例如，与调整或不调整治疗相关的风险可能因患者群体和治疗类型而异。然而，可以认为，要求未经调整的治疗和强度或资源的基本水平应足以处理风险和普通患者的需求是合理的。当病人需要更多的资源时，指示仍然是有帮助的，然后建议的基准是有用的。在适应性治疗策略中需要考虑的另一个因素是，是否实际上可以调整治疗以避免预测的失败。因此，我们案例的成功不仅取决于预测结果的能力，还取决于调整产生了影响这一事实病人的风险失败。我们研究了互联网提供的治疗，其中最初的治疗师接触很少，但可以很容易地增加，并且可以快速引入标准化的调整，如Forsell等人所述。其他治疗或环境可能不允许这种灵活性，或者调整可能不会导致更好的结果，然后足够好的预测能力不一定足以成功应用适应性治疗策略。第三个影响预测准确性的因素是与假阳性和假阴性相关的成本。假阳性（即确定每个人都有风险）可能会导致更好的整体结果（更密集的治疗），但由于成本和资源有限而无法实现。相反，假阴性的代价可能是患者最终需要更多的资源和更长的治疗时间。这里评估的算法没有考虑我们可以“负担”多少患者被分类为红色，也没有考虑我们可以负担多少错误分类，但是更先进的算法肯定可以。这是适应性治疗策略未来发展的一个重要领域。考虑到上述方面，之前在心理治疗和精神病学的临床决策中缺乏预测准确性的金标准，使得本文提出的结果与旧的替代方案相比， 向临床 验证和 背景适当 的准确性 基准迈 进了重要 一步（Eisenberg和Hershey，1983）。为了进一步理解当前的分类器并探索替代方案，进行了一些深入的分析。分类器中的所有步骤对总体预测的贡献均高于偶然性，尽管步骤1中分类的患者的统计功效较低，无法得出确切的结论。第一步，四五分之一的分类是正确的，这表明有可能在早期就对“明显的病例“进行分类对于绝大多数患者来说，分类器需要治疗师的输入这消耗了额外的治疗师时间，最终可能限制可扩展性，并且仅使用患者评级的解决方案具有吸引力。除了评估RCT分类器的输入，其中选择预测因子，有时将其二分并组合，我们还旨在通过使用回归分析和回归分析来探索特定预测因子和组合不同预测因子的模型的预测潜力。E. Forsell等人互联网干预29（2022）1005547比较每个模型的解释方差水平，而不是实际分类器的准确性。对于21个建议的预测因子，我们发现，与治疗失败有显著相关性当在逻辑回归中组合只有六个预测因子在“完整“模型中保持显著性然而，这种模式确实需要大量的数据收集。它也不是吝啬的，可能倾向于过度拟合，并且可能不如一些更简单的模型稳健，因为它包含每个预测器少于五个观察到的事件（实际故障），这是一个阈值，已发现可产生可接受的稳定性（Vittinghoff和McCulloch，2006）。另一方面，“Full“模式的AIC相对 较低。该模型只包括11个最初重要的预测因子（仅显著）实现了较少的解释方差（47%），与仅具有所有患者评级的模型相等。如较低的AIC所示，“仅显著”模型包含较少的噪声，但需要临床医生的四个领域评级，而患者评级模型中没有。只有临床医生评级的模型表现得更差，仅解释了16%的结果方差。然而，临床医生评级旨在补充患者评级，而不是独立模型，这得到了完整模型解释最大方差的事实的支持。在解释方差方面，使用所有患者评级但不使用分类算法中使用的二分法的回归模型似乎比仅使用ISI的模型表现更好（47 vs 38%），尽管AIC值表明模型在信息损失方面非常相似因此，总体印象是，建立在每周自我评定症状上的非常基本的模型，与在（Forsell et al.， 2019a），可以表现得相当好，但额外的自我评级确实增加了预测能力。为了总结模型比较，患者和临床医生的所有评级的完整模型这表明临床医生评级确实增加了独特的信息，尽管它们作为独立模型相当弱。可能是最容易实现的模型，仅使用每周患者症状严重程度评 级，表 现相当好， 并且与其 他条件的类 似模型一致（Forsell等人，2019 a），但仍然比其他可以完全自动化的模型解释了10%;包括所有患者评级数据的模型。因此，与（Lambert，2015）推广的非常基本的每周测量模型相比，增加更多的患者评分和临床医生评分似乎提供了额外的预测能力，尽管这需要与治疗师和患者花费更多的时间和精力来提供预测数据进行权衡从临床的角度来看，进一步研究不同预测因子的贡献是很有趣一般的观察结果是，在治疗早期而不是治疗前测量的预测指标与结果的相关性要强第三周的抑郁严重程度与失败自然相关，并且毫不奇怪，抑郁、压力和心理困扰的水平通常与更差的结果相关这符合患者的一般严重性和复杂性与较低成功率相关的假设，但这些预测因素都不是非常强，其他研究也发现复杂性与失眠治疗结果之间没有明确的联系（Morin et al.， 2006年）。我们认为其他重要因素是依从性和意愿的组合，可以在概念上总结为治疗参与;活动、治疗可信度、工作关联性、家庭作业（愿意和理解您必须做出实际改变）、睡眠限制治疗（按照规定/愿意）、知识和理解的变化、逐渐减少睡眠药物（或不使用）的意愿以及接受治疗理由。这表明，经过几周的治疗，积极怀疑，拒绝或根本不按规定进行治疗的患者不太可能受益，这与先前关于Incidence自助治疗的研究非常一致，其中治疗参与与更好结果相关的关键治疗成分（Kaldo等，2015年b）。最初的随机试验（Forsell等人，2019 b）表明，这些患者远非失去的原因，但如果治疗师加强努力并花更多时间指导患者进行剩余的治疗，则可以取得良好的结果值得注意的是，尽管这些关联的表面有效性很高，但建立预测因子和结果之间的因果关系超出了当前研究的范围完全有可能的是，表现出高度治疗参与的患者这样做是因为他们从治疗中受益，而不是相反。当前研究的主要目的不是检查变化的机制，这需要不同的研究设计。最后，我们没有发现信念，接受度和与睡眠相关的无益行为之间的相关性，但这些仅在基线时测量，这些因素的变化可能是更好的预测因素。也有可能这些预测因素的预测价值被治疗期间的失眠症状所掩盖。5.1. 限制本研究的最大局限性是样本量的选择是为了检测RCT中临床相关的组间差异，而不是而不是评估分类性能。但是，第一个目标即创建一个足够好的预测算法的基准-仍然遇到了一个相当窄的置信区间周围的点估计。还有一个问题是样本中两个事件成功或失败（在这种情况下为失败次数）中较罕见的事件在逻辑回归中称为“基本比率”。低基准利率使得逻辑回归不太稳健，并且增加了在较大样本中重复的需要。另一个限制是我们没有检查所有可用的数据，而只是分类算法实际使用的数据。调查的范围是检查RCT分类器及其部件，限制预测因子的数量以减少不稳定性是合理的，但算法中可能遗漏了有用的信息。 未来的研究应该集中于调查所有可用的数据，例如使用可以处理这些数据的机器学习模型（Boman等人， 2019年）。另一个限制我们研究结果普遍性的因素是，研究中的患者都是自我推荐的，然后根据临床表现进行选择。因此，我们的结论需要在医疗机构内自我推荐的互联网干预的背景下加以考虑。这是ICBT领域的规范，但不一定是睡眠研究和其他睡眠相关的卫生保健背景。5.2. 结论我们发现，使用相对简单的分类算法，可以预测互联网提供的认知行为治疗中的治疗失败，在为期9周的治疗中，4周的平衡准确率为67%。这可以作为预测准确性何时在临床上有用的初步（无论多么需要）最低基准，因为该分类算法之前已被证明足够强大，可以推动成功的自适应治疗策略。关键的预测因素是失眠和抑郁的症状以及一系列与治疗相关的因素，鼓励未来在结果预测方面的努力进一步探索这些类型的因素竞争利益提交人声明，他们没有已知的竞争性经济利益或个人关系，可能会影响E. Forsell等人互联网干预29（2022）1005548本文报道的工作。致谢由S？derstr？mK？nigska基金会、斯德哥尔摩县议会（通过瑞典医学培训和研究协议提供ALF资金）、Erling-Erlsson家庭基金会和瑞典研究委员会支持。作者感谢斯德哥尔摩互联网精神病学诊所的临床和行政人员，以及所有帮助进行这项试验的硕士生，特别是研究护士莫妮卡·最重要的是，作者感谢所有参与的患者。附录A. 补充数据本 文 的 补 充 数 据 可 在 https ： //doi 网 站 上 找 到 。org/10.1016/j.invent.2022.100554。引用美国精神病学协会，2013年。精神疾病诊断和统计手册，第5版。华盛顿特区。安德森，G.，2018年互联网干预：过去、现在和未来。互联网访谈12，181-188。https://doi.org/10.1016/j.invent.2018.03.008网站。安德森，G.，卡尔布林，P.，Rozental，A.，2019.基于互联网的认知行为治疗的反应率和缓解率：个体患者数据荟萃分析。前面精神病学10，13.https://doi.org/10.3389/fpsyt.2019.00749网站。Barkham，M.，Bewick，B.，Mullin，T.，Gilbody，S.，Connell，J.，Cahill，J.，埃文斯角，2013年。CORE-10：心理治疗中常规使用的心理困扰的简短测量。律师们心理医生Res. 13（1），3-13. https://doi.org/10.1080/14733145.2012.729069.Bastien，C.H.， Vall i`eres，A.，Morin，C.M.，2001年 失眠严重程度指数作为失眠研 究 结 果 测 量 的 有 效 性 。 Sleep Med. 2 （ 4 ） ， 297-307. https ：//doi.org/10.1016/S1389-9457（00）00065-4.Blom，K.， Jerneloüv，S.，Kraepelien ，M.，伯格达尔作案手法Jungmarker，K.，Ankartjaürn，L.，卡尔多，五，2015年。互联网治疗解决失眠或抑郁症，两种诊断的患者：一项随机试验 Sleep 38（2），267-277. 网址：//doi.org/10.5665/sleep.4412。Boman，M.， BenAbdesslem，F.，Forsell，E.，Gillblad ，D.