2017年第10期第12-16页亚马逊的土耳其机器人可以用来招募互联网干预试验的参与者吗？一项涉及危险酒精使用的简短在线干预的随机对照试验的试点研究John A. Cunninghama，b，c，P.，Alexandra Godinhoa，d，Vladyslav Kushnira，ea成瘾和心理健康中心，多伦多M5S 2S1，加拿大b多伦多大学精神病学系，多伦多M5T 1R8，加拿大c澳大利亚国立大学人口健康研究学院，堪培拉2601，澳大利亚d多伦多大学达拉拉纳公共卫生学院，M5S 1A1，加拿大多伦多大学药学院，多伦多M5S 3M2，加拿大A R T I C L EI N F O保留字：亚马逊机械土耳其互联网在线网站数据收集研究方法A B S T R A C T目的：确定亚马逊的土耳其机器人（MTurk）是否可能是招募参与者进行在线干预研究的可行方法。这是通过对先前验证的干预措施进行随机对照试验来实现的，参与者是通过MTurk招募的方法：招募参与者通过MTurk平台完成关于他们酒精使用的在线调查。那些符合年龄和饮酒问题的合格标准的人被邀请完成3个月的随访。那些同意的人被随机分配到一个在线简短的饮酒干预组，或者被分配到一个没有干预的对照组（即， 感谢并告知他们将在3个月内重新联系）。结果：共招募了423名参与者，其中85%在3个月时进行了随访。所有参与者在3.2小时内招募。只有1/3的参与者被要求访问在线简短干预。在4个结果变量（典型一周内饮酒次数、一次最高次数、后果次数、AUDIT消费分量表）中，有一个变量在不同条件下显示出显著差异。 与未干预对照组相比，干预组的参与者报告了基线和3个月随访之间AUDIT消费子量表的更大降幅（p= 0.004）。结论：尽管目前的试点仅显示通过MTurk招募的参与者中干预影响的有限证据，但仍有可能使用该人群进行试验（特别是如果采用方法确保参与者接受干预）。这种潜力非常重要，因为它可以在在线干预的开发阶段快速进行多项试验。试验注册ClinicalTrials.gov #NCT029051231. 介绍亚马逊的土耳其机器人（MTurk）是一个在线平台，超过50万人注册为“工人”（www. mturk.com）上提供。然后，工人选择任务（通常是调查）通过MTurk完成。亚马逊为这项工作提供了平台，并充当了向工人安全支付的调解人MTurk已成为收集调查数据的流行手段，心理学的某些领域（Buhrmester等人，2011; Chandler和Shapiro，2016;Daly和Nataraajan，2015; Litman等人，2016; Shapiro等人，2014年;Wiens和Walker，2015年）。此外，通过MTurk招募了有酗酒、赌博甚至非法药物使用问题的参与者（Kim和Hodgins，2017; Kristan和SuHodoletto，2015）。也有可能通过MTurk识别在线纵向研究的参与者，包括简短的干预研究。在开发和完善在线干预措施期间，快速轻松地识别大量在线试验参与者的潜力对于评估在线干预措施的研究非常重要。这是因为这样一个研究参与者库可以反复挖掘，以测试的影响，通讯作者：成瘾和心理健康中心，罗素街33加拿大安大略省多伦多M5S 2S1电子邮件地址：john. camh.ca（J.A. 坎宁安）。http://dx.doi.org/10.1016/j.invent.2017.08.005接收日期：2017年4月4日;接收日期：2017年7月7日;接受日期：2017年8月30日2017年8月9日Availableonline2214-7829/©2017Authors.由ElsevierB.V. 这是一个不可操作的CC，它与CCBY-NC-NDLicense（http：/creativecommons.org/licenses/BY-NC-ND/4。0/）。可在ScienceDirect上获得目录列表互联网干预杂志首页：www.elsevier.com/locate/invent2017年第10期第12-16页J.A. Cunningham等人13干预的不同版本（例如，为确定干预措施的有效成分而进行的治疗拆解然而，在提议MTurk工作人员作为此类试验参与者的可行来源之前，必须评估为此目的使用MTurk的可行性。该试点研究拟通过系统复制一项试验来测试这种可行性，该试验采用了通过MTurk招募的参与者 ， 对 危 险 酒 精 使 用 进 行 了 广 泛 评 估 的 简 短 在 线 干 预（CheckYourDrinking.net; CYD）。试点的目标是：1）确定是否有可能使用MTurk快速招募参与者，然后获得良好的随访率; 2）检查参与者是否会使用干预措施; 3）测试是否可以观察到干预措施的显著影响。2. 方法2.1. 招聘潜在的参与者是通过三个阶段的过程招募的该研究得到了CAMH研究伦理委员会的批准。2.1.1. 招聘第一阶段参与者是通过亚马逊的MTurk众筹平台招募的。MTurk上发布了一份调查的简要说明，“成瘾和心理健康中心正在进行一项关于人们饮酒的调查。只有目前饮酒的人才被要求参与，MTurk上的调查广告仅限于来自加拿大或美国的工人，他们的MTurk声誉达到95%或更高，以及那些完成至少100次点击以确保数据质量的人（即，在MTurk上完成了100个任务，并且在这些任务中的至少95个任务中，他们的工作没有被拒绝和返回）（Peer等人，2014年）。点击链接的潜在参与者被发送到一个网页，提供调查的简要说明。那些点击简短描述底部链接的人完成了一个简短的资格筛选（资格问题包括18岁或以上，并且在过去一年中每周或更频繁地饮酒）。那些被发现死亡的人被送到一个电子同意表格。对那些不符合资格的代表团的与会表示感谢2.1.2. 招聘第二阶段被确定为合格的受试者通过接受他们已阅读并理解研究及其在知情同意书上所述的权利来确认他们参与的意愿。第2阶段知情同意书包含将邀请部分受试者参加另一项研究的信息。那些同意的人然后完成了基线调查。该调查评估了人口统计学（年龄、性别、教育程度、婚姻、家庭收入、就业状况和种族）、酒精使用障碍识别测试（AUDIT;用框架询问过去三个月的饮酒项目）（Saunders和Conigrave，1990）、过去三个月内典型一周的饮酒次数和一次最高饮酒次数以及过去三个月内与饮酒相关的后果数量（10项改编自Wechsler等人，1994年，增加了一项关于在酒精影响下驾驶的问题）（Wechsler等人，1994年）。该调查包括一张显示啤酒，葡萄酒和白酒标准饮料尺寸的图片（基于13.6克酒精的饮料尺寸）。使用来自酒精和相关病症的国家流行病学调查的单项筛选器来测量任何与酒精相关的治疗的使用（Grant等人，2003年）。此外，四个注意力检查问题被问到，嵌套在其他调查项目。参与者以MTurk付款的形式完成10分钟的第一阶段调查，并获得1.50美元的报酬（注：亚马逊在向每位参与者支付1.50美元的基础上收取40%的这一酬金数额符合被集体视为公平的MTurk参与者的奖励率/金额。在调查中没有收集个人身份信息，因为MTurk 禁 止 从 工 人 那 里 收 集 这 些 信 息 （ 请 参 阅requester.mturk.com/help/faq#restrictions_use_mturk了解完整的政策）。工人的身份证号码被收集，并在MTurk上可见，以补偿个人，但该ID并不授予研究人员访问任何身份信息的权限。2.1.3. 招聘第三阶段在完成第二阶段基线调查后，所有参与者都被感谢完成调查并获得报酬。在AUDIT中得分为8分或以上的参与者（表示当前危险的酒精使用），报告他们提供了准确的答案，我们应该保留他们的数据，并且正确地认可了所有四个注意力检查问题，然后被发送到一个页面，邀请他们参加另一项研究。这些参与者被问到是否愿意在三个月后完成另一项调查，询问他们在这段时间内的饮酒经历。此外，他们被告知，有些人也将获得更多关于饮酒的信息，但我们不知道他们是否会在这个时候接受这些信息。然而，如果他们确实获得了这些额外的信息，他们将被问及他们对这些信息的印象，作为为期三个月的调查的一部分最后，参与者被告知，在完成三个月的随访调查后，他们将通过MTurk门户网站获得10美元的报酬。MTurk门户网站允许将三个月的随访调查发送给同意参与随访的特定研究人员无法获得任何可能导致参与者个人身份的信息。2.2. 随机化、实验条件和随访同意完成三个月随访调查的参与者被随机分配（1：1比例，无分层），以获得检查您的饮酒筛选器（CYD条件）或无额外信息条件（对照条件）。那些被分配到CYD条件的人被告知，他们将通过Mturk门户网站发送一封电子邮件，其中包含一个网站的链接，该网站可以让他们看到他们的饮酒情况与其他人相比，并且他们将在下一次调查中询问他们对这个网站的印象。 电子邮件（在基线调查完成的同一天发送）包含一个研究门户网站的链接和密码，该网站记录了使用的密码，并为每名参与者提供了研究特定版本的CYD。那些在一周内没有使用密码的参与者通过电子邮件再次联系，要求他们访问门户网站。在无干预控制条件下的参与者被感谢他们的参与，并被告知他们将在三个月后通过电子邮件与他们联系，以完成后续调查。在三个月的随访中，MTurk门户网站用于发送邀请电子邮件，其中包含调查的链接。如果参与者没有回复，则在3天和7天后重新发送此电子邮件作为回复。三个月的随访调查询问了与基线调查相同的饮酒和饮酒后果项目，以及任何治疗服务的使用情况（均为最后三个月的框架）。2.3. 检查你的饮酒（CYD）干预CYD 是一种简短的个性化反馈干预（Cunningham等人，2009年）。参与者提供了一些关于他们的年龄、性别、体重、典型的饮酒费用和居住国的简要人口统计信息，以及关于他们饮酒的18个问题（审计、典型的一周饮酒、一次最高饮酒次数、后果的经历）。向参与者提供总结其饮酒情况的最终报告，并将其与相同年龄组、性别和居住国的其他人进行比较（至少对于来自加拿大、美国和英国的参与者）。青年发展中心的效益2017年第10期第12-16页J.A. Cunningham等人14Fig. 1. Trail Consort图。已 经 通 过 两 个 独 立 研 究 小 组 进 行 的 五 项 随 机 对 照 试 验 建 立（ Cunningham 等 人 ， 2014;Cunningham 等 人 ， 2009; Doumas 和Hannah，2008; Doumas和Haustveit，2008; Doumas等人，2009年），并显示出一致的影响，减少参与者的饮酒。选择它作为当前试点的首选干预措施，是因为它简短，而且鉴于现有的证据基础，可以合理地假设它是一种积极干预措施（即，如果在MTurk的参与者中没有观察到干预的影响，那么可以合理地假设这与参与者来源有关，而不是干预本身，导致观察到的缺乏影响）。2.4. 样本量估计该初步研究采用了从我们以前的一项试验中产生的样本量估计，该试 验 提 出 ， 纳 入 干 预 条 件 将 导 致 结 果 变 量 的 解 释 方 差 增 加 3%（Cunningham等人，2009年）。根据研究设计应具有至少80%的统计学把握度以及在0.05显著性水平下检验假设的惯例，需要最终样本量（脱落后）N= 170（每种疾病85名受试者）。估计损耗率为20%，因此需要204名参与者合格并同意第 2阶段招募。在计划本研究时，尚不清楚需要多少参与者完成第2阶段调查才能获得该数量的参与者。因此，公布了1 000份基线调查，如果需要，还可能公布另外1 000份。2.5. 数据分析在对主要结局变量进行数据分析之前，离群值发现高于样品平均值的>3.29标准差的变量被移除，并且具有不受尺度最大值限制的偏斜分布的变量被对数转换。本试验RCT部分待检验的主要假设是，与无信息对照条件下的参与者相比，接受CYD干预的参与者在基线调查和3个月随访之间的典型周内报告的饮酒量减少水平为了检验这一点，使用具有随机截距的混合效应模型来估计时间、干预组及其相互作用对基线和3个月之间典型一周内饮酒量使用意向治疗方法进行分析，所有被分配访问CYD干预的患者均保留在干预条件下，无论他们是否访问干预二次分析同样采用随机截距的混合效应模型来检查时间、干预组及其对其余结果变量（即，AUDIT-C;来自AUDIT的三个酒精消耗项目的总和）（Dawson等人，2005），一次饮酒的最高次数，以及经历的后果的次数）。对于非正态分布的结局变量，除混合效应模型外，还使用负二项对数或二项logistic模型进行一般估计方程。为便于解释，当模型结局未发生变化且模型的恢复呈正态分布时，报告混合效应模型。混合效应方法允许我们在模型中使用所有可用的参与者数据，通过使用限制最大似然法来解释缺失数据。所有分析均为双尾分析，并使用IBM SPSS 24.0版在0.05的α水平下进行。2017年第10期第12-16页J.A. Cunningham等人153. 结果共有1252人访问了第1阶段资格筛选器，其中986名参与者被发现符合资格，并在3.2小时内完成了第2阶段招募基线调查。其中，423例合格并同意参加随访调查（第3阶段再访）。这些参与者（n=423）被随机分配到条件（214在CYD条件下，209在无干预对照条件下）。共有360名（85.1%）参与者完成了3个月随访。 见图 1为试验的配偶图。双变量比较发现基线人口统计学和饮酒变量无显著差异（p >0.05）。参与者特征如下。平均年龄为34.9岁（9.4标准差; SD），57%为男性，大多数为白人（83%），一半已婚或生活在普通法关系中，71%受过一定程度的中学后教育，73%为全职工作（包括全职自雇人士），29%报告家庭收入低于美国每年两万美元参与者的平均AUDIT评分为14.3（6.3 SD），在典型的一周内喝了18.6（12.3 SD）杯饮料，报告在过去3个月内喝了8.8（4.4SD）杯饮料，并经历了2.7（2.0 SD）的共有13.5%的参与者表示，他们曾经接受过与饮酒有关的治疗。在被分配访问CYD干预的参与者中，只有38.3%（n = 82）实际使用了他们的密码并访问了干预。对于主要结果变量，典型周内的饮酒次数，使用三个预测因子进行混合效应模型：时间、干预组和时间与干预相互作用（表1，模型1）。 该模型显示，从基线到3个月随访，样本总体上显著减少了典型周内报告的饮酒次数（时间估计值=−0.13，95%置信区间[CI]=−0.18至−0.09，p<0.001），但在干预措施之间未观察到降低水平的差异（时间-干预相互作用估计值=0.03，95%置信区间[CI]=−0.03至0.10，p= 0.315）。二次分析检查了AUDIT-C评分随时间的变化以及干预组之间的变化，一次报告的最高饮酒次数以及经历的后果数量，4. 讨论作为通过MTurk招募参与者的试点测试，这一试验的结果令人鼓舞。它可以快速招募样本，成本低廉（确定试验中的423名参与者约为2100美元），并获得良好的随访率（使用10美元完成调查的三个月为然而，虽然一些参与者在在线试验中无法访问干预措施也许正因为如此，尽管招募的样本大约是功效分析中估计的两倍，但没有证据表明CYD干预对主要结局变量-典型一周内的饮酒次数有显著影响。在次要变量中，仅AUDIT-C显示出显著影响（p<0.05），要求访问CYD的受试者报告的基线和3个月随访期间的降低显著大于无干预对照条件下的受试者。未来使用MTurk招募参与者的试验应考虑提高这一依从率的方法，例如仅在参与者访问干预门户网站后对其进行随机化，或支付并要求证明参与者实际访问了干预网站（例如，通过提供屏幕截图）。还值得注意的是，虽然我们招募了AUDIT评分为8或更高的参与者，但与使用相同资格标准但采用其他形式的在线广告的其他试验相比，相当一部分参与者的酒精消费量相当低（43%的参与者表示他们通常<在基线时每周喝15杯）（Cunningham et al.， 出版中）。考虑到试验的结果是衡量典型的每周饮酒量的减少，那么多参与者每周不饮酒>15杯的事实可能限制了干预措施的影响，因为可能会产生不良后果（坎宁安，2017）。回顾过去，这种相对较低的饮酒水平是可以预测的，因为虽然MTurk样本不能代表一般人群，但以前的出版物已经报道了MTurk样本在多大程度上模拟了在一般人群（和一般人群）中观察到装配混合选举 模型 （表格 一、 模型 分别为2、3、4AUDIT评分为8或更高的脉冲样本包含许多总体而言，模型显示，从基线到3个月随访，整个样本的所有3个结局均显著降低（p <0.05）。此外，与对照干预组相比，接受CYD干预的受试者从基线至3个月的AUDIT-C评分降低程度更大（p = 0.004;平均值[标准误; SE]：CYD干预：基线= 7.5 [0.16]，随访= 6.1 [0.17];对照组= 6.1 [0.17]）。组：基线=7.3 [0.16]，随访=6.5 [0.17]）。每周饮酒不超过15杯的人）（Berinsky等人，2012年）。建议未来的试验采用大量饮酒的纳入标准，除了，或代替，AUDIT评分8或以上的标准。解释试验结果时需要考虑的另一个问题是样本的性质 由于研究人员只知道参与者的MTurk ID，因此参与者在功能上是匿名的。虽然自我报告通常被认为是可靠的，但没有办法用这个样本来证实它们。也许更重要的是，MTurk样本由基本上是专业的调查接受者组成，这可能导致从调查中产生的结果表1混合效应对时间、干预和时间与干预对结果变量的相互作用的结果进行建模。模型1：典型一周内的饮酒量模型2：审计-C模型3：一天内最高饮酒量模型4：后果估计值±SEp值估计值±SEp值估计值±SEp值估计值±SE p值拦截1.19 0.02±0.02<0.001个单位7.50 0.16±0.16<0.001个单位0.89 0.02±0.02<0.001个单位0.37± 0.02 0.001<时间-0.13±0.02<0.001个单位-1.43±0.16<0.001个单位-0.06± 0.02<0.001个单位-0.06± 0.02 0.005(Ref：基线）干预-0.01±0.030.706-0.18±0.230.416-0.008± 0.020.739-0.03± 0.03 0.294(Ref：CYD集团）时间x干预0.03±0.030.3150.65 0.22±0.22 0.0040.005± 0.020.848-0.0008± 0.03 0.978(Ref：基线x CYD组）注：SE：标准误差。使用结果变量的对数转换进行模型1、3和4。审计-C：审计上的三个消费项目的总和2017年第10期第12-16页J.A. Cunningham等人16目前的样本可能无法推广到其他没有完成许多问卷的经验的群体。这可能使MTurk样本更像是大学生样本，而不是来自普通人群的样本。最后，还有一个问题，虽然研究人员的研究目标之一是评估CYD对参与者饮酒的影响这种情境动态也许可以被框定为一种工作场所健康干预试验，但实际上，知道如何评估样本的普遍性是具有挑战性的然而，考虑到MTurk参与者试验的速度和成本，可能有一个地方可以从该网站和类似网站招募参与者，以便在进行全面试验之前对干预措施的组成部分进行快速评估，或对整个确认这项研究得到了加拿大成瘾研究主席约翰坎宁安的支持利益冲突作者没有利益冲突需要声明。引用Berinsky，A.J.，Huber，GA，Lenz，G.S.，2012.评估在线劳动力市场的实验研究：Amazon.com的机械土耳其。有礼貌Anal. 20 ，351-368.Buhrmester，M.，Kwang，T.，南达科他州高斯林，2011.亚马逊的土耳其机器人：廉价但高质量的数据新来源？透视。心理学6（1），3-5. 得双曲正切值.doi.org/10.1177/1745691610393980。钱德勒，J。，夏皮罗，D.，2016.使用众包便利样本进行临床研究。Annu. Rev. Clin.心理学。12，53-81. http://dx.doi.org/10.1146/annurev-clinpsy-021815-093623.坎宁安，J.A.，2017.在危险饮酒干预试验中对男性和女性使用不同纳入截止值的非预期影响。Addiction 112（5），910-911. http://dx.doi.org/10.1111/add.13760网站。坎宁安，J.A.，怀尔德TC Cordingley，J.，van Mierlo，T.，Humphreys，K.，2009.基于互联网的酒精滥用者干预的随机对照试验。成瘾104（12），2023-2032。http://dx.doi.org/10.1111/j.1360-0443.2009的网站。02726 X.坎宁安，J.A.，墨菲，M.，C.S.亨德肖特，2014.治疗拆除试点研究，以确定危险酒精用途：随机对照试验的个性化反馈干预的活性成分。瘾君子Sci. Clin. Pract. e9（22）。坎宁安，J.A.，更短，G.W.，墨菲，M.，Kushnir，V.，J.，C.S.亨德肖特，2017. 对问题饮酒者进行短期与长期互联网干预的随机对照试验Int. J. 行为举止。Med.http://dx.doi.org/10.1007/s12529-016-9604-5. （待出版）。戴利，T. M.，Nataraajan河，2015年。 以砖换点击：AmazonTurk上的众包纵向数据。J.总线Res. 68，2603-2609。道森检察官格兰特，B.F.，Stinson，F.S.，Zhou，Y.，（1996年），中国科学院，2005.衍生的酒精使用障碍识别测试（AUDIT-C）在美国普通人群中筛查酒精使用障碍和风险饮酒的有效性酒精Clin. E X p. Res. 29（5），844-854。Doumas，D. M.，Hannah，E.，2008年 预防青少年在工作场所的高风险饮酒：基于网络的规范反馈计划。J. Subst. Abus. Treat.34（3），263-271.Doumas，D. M.，Haustveit，T.，2008.减少校际运动员的大量饮酒：基于网络的个性化反馈计划的评估。Sport Psychol. 22，213-229.Doumas，D. M.，麦金利，洛杉矶，Book，P.，2009年 两个基于网络的酒精干预的评价为授权的大学生。J. 置换液滥用请客 36（1），65-74。格兰特，B.F.，摩尔，TC，Shepard，J.，卡普兰，K.，2003年。来源和准确性声明。第一波酒精和相关疾病的国家流行病学调查（NESARC）（从Bethesda，MD检索）。金，H.S.，哈金斯，华盛顿2017.亚马逊土耳其精神成瘾者网站上从酒精、大麻和赌博人群中获得的数据的可靠性和有效性。行为举止。31（1），85-94。http://dx.doi.org/10.1037/adb0000219网站。Kristan，J.，Su Pastoletto，B.，2015年。 使用在线众包来了解年轻人对旨在减少危险酒精消费的专家撰写的信息的态度，并收集同行撰写的信息。Transl.行为举止。Med.5（1），45-52。http://dx.doi.org/10.1007/s13142-014-0298-4网站。利特曼湖罗宾逊，J.，Abberbock，T.，2016年。 TurkPrime.com：一个多功能的行为科学众包数据采集平台。行为举止。Res. 方法49（2），433-442。http://dx.doi.org/10.3758/s13428-016-0727-z网站。Peer，E.，Vosgerau，J.，Acquisti，A.，2014.声誉是Amazon Mechanical Turk上数据质量的充分条件。行为举止。Res. Methods 46（4），1023-1031. 得双dx.doi.org/10.3758/s13428-013-0434-y值.桑德斯，J.B.，Conigrave，K.M.，1990年及早发现酗酒问题。可以的. Med.Assoc. J. 143，1060-1069。夏皮罗，D.，钱德勒，J。，Mueller，P.A.，2014年。 使用Mechanical Turk研究临床人群。Clin. 心理学。Sci. Pract. 1，213-220。Wechsler，H.，达文波特，A.，Dowdall，G.，Moeykens，B.，卡斯蒂略，S.，1994.大学酗酒的健康和行为后果：对140所大学学生的全国性调查。J. Am. Med. Assoc.272，1672-1677。Wiens，T.K.，沃克，L.J.，2015.成瘾的慢性病概念：有益还是有害？瘾君子Res. Theory23，309-321.
我的内容管理
展开
