在线临床试验中比较Amazon Mechanical Turk与无偿互联网资源的招募和参与特征

国际贸易研究中心第12期（2018）68在在线临床试验中比较Amazon Mechanical Turk与无偿互联网资源放大图片作者：Eduardo Bunge.放大图片创作者：Melissa Bond.放大图片创作者：Alinne Z.放大图片作者：J.穆尼奥斯美国帕洛阿尔托大学i4HealthA R T I C L E I N F O保留字：因特网干预Amazon Mechanical Turk临床试验抑郁A B S T R A C T互联网干预措施在招聘方面面临重大挑战，流失率通常很高，而且问题很多。因此，寻找创新但科学有效的途径来吸引和留住参与者是相当重要本研究的主要目的是比较两个类似的情绪管理干预随机对照试验的招募过程和参与者的特征。其中一项试验（Bunge等人，2016）的参与者是从亚马逊的土耳其机器人（AMT）招募的，另一项试验是通过未付费互联网资源（UIR）招募的。方法：AMT样品（Bunge等人，2016）由765名成年人组成，UIR样本（专门为本研究招募）由329名美国成年居民组成。评估了参与者的抑郁、焦虑、自信、动机和对干预有用性的感知水平。AMT样本得到了财务补偿，而UIR则没有。结果：AMT每月的招募率更高（p。05）。基线时，AMT样本报告的抑郁和焦虑评分显著低于UIR样本（分别为p <0.001和p <0.005），情绪、动机和自信心显著高于UIR样本（均为p 0.001<）。AMT参与者在网站上花费的时间明显减少（p<。05），更有可能完成随访比UIR样本（p。05）。 两个样本都报告说，从干预前到干预后，他们的信心和动机水平都有显著提高。AMT参与者显示干预的感知有用性显著增加（p 0.0001<），而UIR样本则没有（p= 0.1642）。结论：通过使用AMT，研究人员可以非常迅速地招募并获得更高的保留率;然而， 这些参与者可能不代表对临床干预感兴趣的一般在线人群。考虑到AMT和UIR参与者在大多数基线变量上存在差异，应谨慎解释AMT样本的临床研究数据。1. 介绍互 联 网 干 预 在 卫 生 领 域 越 来 越 受 欢 迎 和 使 用 （ Andersson 和Cuijpers，2009年a; Baumeister等人， 2014; Richards等人，2015年）。它们已被证明比通常的疗法更具成本效益，并且对于需要心理健康护理的个体而言更少污名化;它们在快节奏的社会中更方便，是“非消耗品”，并且具有减少全球健康差异的潜力（Leykin等人，2014; Muñoz，2010;Ritterband and Tate，2009）。然而，互联网干预面临两个重大挑战：招募和自然减员。招 募 是 临 床 研 究 中 最 困 难 的 组 成 部 分 之 一 （ Ashery andMcauliEye，1992;Patel，2003）。在互联网上招募参与者和进行研究，与基于实验室的研究相比具有优势（Hoerger，2010）。基于互联网的研究的好处包括能够招募更大和更多样化的样本，数据输入的自动化以及减少统计时间和财务成本（Gosling和Mason，2015年; Gosling等人，2004; Hoerger，2010; Nosek等人， 2002年）。在线招聘方法包括：互联网广告（例如Google AdWords），有机在线培训（例如，其他网站或搜索结果中显示的链接），以及付费参与者平台（例如亚马逊的Mechanical Turk [AMT]）。互联网广告提供了一个昂贵的，但相对无害的选择，以达到大量的人（米勒和Sønderlund，2010年），并可以专门针对目标人群（见格雷厄姆等人，2012; Gross等人，2014年）。例如，Google AdWords广告系列根据相关单词搜索向用户展示广告;如果广告被点击，则个人将被带到通讯作者：国际互联网健康干预研究所（i4Health），帕洛阿尔托大学，1791阿拉斯特拉德罗路，Palo Alto，CA 94304，美国电子邮件地址：ebunge@paloaltou.edu（E. Bunge）。https://doi.org/10.1016/j.invent.2018.04.001接收日期：2017年12月12日;接收日期：2018年3月28日;接受日期：2018年4月11日2018年4月1日至5日期间的价值2214-7829/©2018Authors.由ElsevierB.V. 这是一个不可操作的CC，它与CCBY-NC-NDLicense（http：/creativecommons.org/licenses/BY-NC-ND/4。0/）。可在ScienceDirect上获得目录列表互联网干预杂志首页：www.elsevier.com/locate/invent国际贸易研究中心第12期（2018）68E. Bunge等人69研究的网站。互联网广告同样可以通过社会媒体（例如，Facebook），这可能是有效的，在实现难以达到（惠特克等人，2017）和成功保留率的 多 样 化 样 本 。 Facebook 是 世 界 上 使 用 最 广 泛 的 社 交 网 络 之 一（Kayrouz等人，2016），越来越多地被用作研究招聘工具。AMT是一种在线服务，将研究人员和开发人员与执行人类智能任务的 个 人 （ 例 如 ， 完 成 调 查 ， 进 行 基于 网 络 的 实 验 等 ） 用 于 补 偿（Buhrmester等人，2011; Mason和Suri，2012; Paolacci等人，2010年）。与更传统的招募方法相比，AMT提供了一种快速、廉价的方法来招募大量和不同的样本（Mason和Suri，2012; Paolacci等人，2010年）。鉴于每个完成的任务的报酬很小，AMT工人不太可能将网站作为主要收入来源;因此，经济动机不太可能影响研究结果（Buhrmester等人，2011; Paolacci等人，2010年）。对通过AMT收集的数据的质量和多样性进行了检查的研究得出的结论是，低补偿率不会影响数据质量（Buhrmester等人，2011年），使其成为招募研究参与者的可行选择。几 项研 究已 经检 查了 用于 临床 研究 的AMT 生 成的 数据 的有 效性（Cunningham等人，2017; Shapiro等人，2013年）。Cunningham等人（2017）观察到快速招募率，Shapiro等人（2017）观察到快速招募率。（2013年）发现，（关于精神健康障碍的）数据收集速度快，数据质量高;但强调应在招募期间采取预防措施。然而，这些研究都没有直接比较通过AMT招募的样本和通过其他互联网招募方法重新筛选的样本。互联网干预研究的参与率通常很高，而且存在问题（Andersson和Cuijpers，2009 b;Eysenbach，2005）。许多参与互联网干预研究的人只访问一次网站（Clarke等人，2002; Leykin等人，2014），多达60%的参 与 者 从 未 完 成 随 访 （ Andersson 和 Cuijpers ， 2009 a ， 2009 b;Eysenbach，2005）Attia评估了原始样本的代表性和研究结果的普遍性（Hoerger，2010）。Hoerger（2010）指出，参与者倾向于在阅读同意书后或研究开始时退出基于互联网的研究，这可能不是由于疲劳或可能害怕伤害。在线参与者可能比那些花时间去现场进行面对面研究的人更不愿意接受治疗（Eysenbach，2005）。Bunge et al.（2016）提出，简短的互联网干预（BII）可以帮助减少流失问题。由于BII可以比全面治疗方案更快地进行测试，因此可以更快地纳入干预改进，从而改善参与者体验和更好的结局，从而增加保留参与者进行干预和随访的可能性。事实上，使用AMT参与者的不同简短情绪管理策略的随机对照试验产生了60.65%的一周随访完成率（Bunge等人，2016年）。一项无支持（无人类接触）互联网干预研究的随访完成率相当高;然而，考虑到这是一项付费研究，尚不清楚是否可以用非付费互联网样本获得类似的留存率。因此，本研究的主要目标是比较Bungeet al.（2016）先前完成的一项研究与通过非付费互联网资源（UIR）招募参与者的相同研究之间的招募过程、参与者的基线特征、在网站上花费的时间、随访完成率和测试后即刻结局差异。2. 方法2.1. 参与者总样本由1187名参与者组成：765名来自AMT，329AMT样品描述于Bunge等（2016）。Bunge et al.（2016）和当前研究的资格标准相同，包括参与者至少18岁并提供知情同意书。帕洛阿尔托大学的机构审查委员会（IRB）批准了这项研究。该试验在clinicaltrials.gov上注册，参考文献。编号：NCT02748954。2.2. 措施2.2.1. 人口统计问卷参与者注明了他们的性别、年龄、居住国和邮政编码。2.2.2. 患者健康问卷-9（PHQ-9;Kroenke和Spitzer，2002）是广泛使用和有效的抑郁症状的10项措施2.2.3. 广泛性焦虑症问卷（GAD-7; Spitzer等人，（2006年）是一个常用的广泛性焦虑症症状的7项测量加上一个与全球功能相关的项目2.2.4. 古代问题参与者被要求回答四个Likert类型的问题：“你如何描述你在过去两周的情绪？””- “How“，回答范围从0 =完全没有到10 =非常多。- “How con回答范围从0=完全没有到10=非常多。- “在你看到我们将与你分享的想法之前，你认为它们有用的可能性有多大？” 回答范围从0 =完全没有到10=非常多。在测试后和随访中，参与者被问到的不是这个问题：“这种干预有多有用？"，回答范围从0=完全没有到10=非常多。2.2.5. 注意问题只有AMT样本的参与者被要求完成两个注意力问题。第一项-注意-要求参与者回答一个问题：“请选择'非常'以验证您在本次调查中的位置”，其中有三个答案选择：1. 一点也不，2. 有点，3。非常第二个问题-你将获得报酬不考虑你的答案小心，2。小心，3。以及我回答大多数调查，4.快，5。我已经尽快了。2.3. 程序2.3.1. 征聘程序AMT参与者的招募描述于Bunge et al. （2016年）。UIR的参与者主要是通过自由新闻发布、列表服务、招募参与者进行研究的免费网站和社交媒体招募的。更具体地说，参与者是从汉诺威（在线干预的在线数据库- 28.2%的参与者是以这种方式招募的），Craigslist（17.8%），抑郁症和双相支持联盟listserv（16.6%），国家拉丁/o心理协会listserv（13%），Reddit（10%）和其他渠道（3%）招募的。两个样本的研究描述相似，唯一的区别是激励措施的描述-AMT研究描述称参与者将获得补偿，而UIR描述称研究未获得补偿。AMT参与者完成基线、干预和即刻后测试的补偿为0.10美元，完成一周随访的补偿为0.10美元国际贸易研究中心第12期（2018）68E. Bunge等人70完成随访（n=99; 30%）完成随访（n=464; 61%）AMT样品(FromBunge等人（2016年）完成基线（n=765）Fig. 1.从亚马逊土耳其机器人（AMT）和免费互联网资源（UIR）招募的参与者的进展。该Consort图表示来自Bunge等人的AMT样本。（2016）和UIR样本。UIR研究广告的例子是：“自己改善情绪。加入免费的帕洛阿尔托大学。在线学习改善你的情绪+[链接到网站]";“准备好改善你的情绪了吗？加入免费的帕洛阿尔托大学。 研究改善你自己的情绪+[链接到研究网站]";“健康的情绪在线研究。帕洛阿尔托大学的研究人员正在进行一项免费的在线研究，以检查非常简短的干预是否有助于人们改善情绪。要加入这项研究，需要10-20分钟的在线完成，加上一周后的5分钟调查，请访问[链接到研究网站]"。如Bunge et al. （2016），AMT研究广告包括信息，如谁是请求者，到期日期，分配的时间，奖励，描述（“自己改善情绪”）和关键字（改善情绪，心理，感觉更好）。2.3.2. 研究程序在被重定向到研究网站后，参与者被要求说明他们的年龄（以确定资格）。然后，向合格的参与者提供两种选择，一种是同意研究人员在研究报告中使用他们的数据，另一种是在不提供此类同意的情况下使用网站;下文仅描述了同意将其数据用于研究的参与者的数据。研究程序在别处描述（Bunge等人，2016年）。简单地说，要求同意的参与者完成人口统计学问题、四个辅助问题、PHQ-9和GAD-7。然后，参与者被随机分配到以下条件：（1）思想（2）增加有益的想法;（3）活动（增加活动水平）;（3）自信（自信沟通的技巧）;（4）睡眠卫生（关于睡眠如何改善情绪的描述）;（5）自己的方法（要求参与者确定四种他们自己的个人策略，这些策略在过去帮助他们改善了情绪）。在完成干预后，AMT参与者回答了关于他们的动机、信心和干预的有效性的问题，以及两个“注意力“问题。在完成干预一周后，参与者被发送了一份后续调查，其中包括辅助问题PHQ-9和GAD-7。在研究结束时，所有参与者都被提供了一个链接，允许他们访问所有五个干预条件。此外，与会者还提供了其他资源，如电子沙发和美国危机呼叫中心。AMT样本（n=765）在一个月内（2015年5月至6月）招募。AMT样本的总招聘成本为122.90美元，加上管理付款的固定时间UIR参与者（n=329）在19个月（2014年7月至2016年2月）内招募，未获得任何补偿;因此，总招募成本为0美元，加上在网络上发布研究广告的时间2.4. 统计分析通过独立样本t检验和卡方检验（如适用）检查AMT和UIR样本在人口统计学、牙科学、在研究中心花费的时间和随访率方面的差异。混合效应方差分析被用来检测两个样本之间的差异，从干预前到干预后的变化，改变情绪的动机，改变情绪的能力的信心，以及指定干预的感知有用性。3. 结果3.1. 征聘过程在完成干预的765名AMT参与者中，464名参与者（61%）完成了为期一周的随访调查（参见Bunge等人，2016年）。在参加调查的995名UIR参与者中，有92名参与者因年龄（18岁以下）而被立即筛选出来。在903名合格的UIR参与者中，44名不同意使用他们的数据，但继续进行干预; 549名同意参加研究。在那些同意的人中，127名参与者在接受干预之前退出。在完成基线的其余422名参与者中，93名报告居住在美国境外，并在数据分析之前从样本中删除，以使两个样本更具可比性。因此，最终的UIR样本由329名参与者组成，研究同意书排除（年龄）（n=92）知情同意前离开（n=310）未同意（n=44）合格性筛选（n=995）随机分配至5个简短干预完成基线（N=329）美国以外的受试者（n=93）知情同意后随访（n=127）随机分配至5个简短干预UIR样品国际贸易研究中心第12期（2018）68E. Bunge等人71表1UIR（n=329）和AMT（n=765）样本的比较UIR Amazon Mechanical Turkd= 0.33）和GAD-7评分（t（1092）= 3.08，p <0.005，d =0.20）。此外，AMT样本报告的主观情绪评分（t（1092）=6.61，p0.001，d=0.44），动机（t<（534）=3.52，p0.001，d=0.25）和置信度（t（558）=4.69，<招募率（p's/月）~17/月~765/月每位参与者的总费用$0.00 $0.20性别（女性）76.22% 69.15%a男年龄33.92（14.3）35.9（8.7）a基线PHQ 911.05（7.25）8.73（6.8）a基线MDE 35.87% 23.92%a基线GAD 78.29（5.58）7.11（5.82）a基线情绪评分4.29（2.0）5.15（1.94）a基线动机基线置信度5.90（2.64）6.69（2.34）a基线有用性5.78（2.11）6.03（2.03）完成时间8.2 min 6.0 mina随访率注：非百分比和美元值的平均值和标准差。MDE：在PHQ-9上筛查为重度抑郁发作阳性; GAD：筛查为广泛性焦虑障碍阳性a与UIR样本显著不同（p0.05）<完成了基线调查，其中99名参与者（30%）完成了为期一周的随访调查（见图1）。①的人。3.2. 基线时的样本特征基线特征、入组人数和随访完成率见表1。为了便于两个样本之间的比较，我们提供了来自已发表的AMT数据的数字（Bunge等人，2016年）与当前的UIR样本一起。AMT样本包括765名居住在美国的成年人（M年龄=35.9; SD=8.7）; 69%为女性。通过UIR重新审查的参与者样本包括329名居住在美国的成年人（M年龄=33.92; SD= 14.30）;76%为女性。平均而言，与AMT样本相比，UIR样本更年轻，女性参与者的比例更高（p<。05）。基线时，AMT样本报告的PHQ-9评分显著较低（t（1092）=5.06，p<0.001，p<0.001，d=0.32）;在干预的预期有效性方面，未观察到样本之间的显著差异（t（1092）= 1.87，p = 0.062，d = 0.12）。3.3. 活动完成由于AMT样本是补偿的，因此使用两个注意力问题来确定参与者是否准确地对项目做出反应。AMT样本中的所有参与者（n=765）都完成了注意力问题，其中98%（n = 750）正确回答了注意力检查问题。关于主观注意力问题，与他们在其他研究中完成的其他AMT问卷相比，87%（n = 663）的人报告“非常小心”或“非常仔细”地完成了调查。基线、干预和立即后测的完成时间表明，AMT参与者平均花费6.0分钟（SD=3.8分钟）进行研究，而UIR参与者花费8.2分钟（SD=4.8分钟）（p> 0.05）。3.4. AMT和UIR之间的结局差异由于基线时样本之间存在显著差异，因此将性别、年龄、焦虑和抑郁状态作为协变量纳入混合效应方差分析模型中。关于改变情绪能力的信心，结果显示样本（F（1，1086）=29.07，p.0001）和时间（F（1，1064）=66.38，