招募非求助样本进行互联网干预: 在酒精暴露的妊娠风险降低研究中吸取的教训

版权所有©2019-2019深圳市创科科技有限公司在线招募非寻求帮助的样本进行互联网干预：在酒精暴露的妊娠风险降低研究中吸取的教训☆放大图片作者：Kirsten MacDonnell，Emily Cowen，Devante J.坎宁安，李里特班德，凯伦英格索尔弗吉尼亚大学精神病学和神经行为科学系，行为健康技术中心，美利坚A B S T R A C T背景：招募隐藏人口，如妇女人口酒精暴露妊娠（AEP）风险的人酗酒并有意外怀孕的风险，这是具有挑战性的，因为这一人群通常不会寻求帮助或属于可识别群体。我们试图找出一种可靠而有效的招募隐藏人口的方法方法：识别了几个流行的在线社交媒体和广告网站。妇女酗酒率高的城市成为目标。我们使用Facebook、Twitter、Craigslist、大学帖子和ClinicalTrials.gov。结果：在这项研究中，在7个月内从美国各地招募了75名有AEP风险的妇女。在Craigslist上为研究参与者做的在线广告导致大多数51名（68%）研究参与者入组。虽然Craigslist广告可以针对女性酗酒率高的特定地点进行定制，但使用Craigslist存在挑战。这些包括由于重复发布和提及性行为或饮酒而自动删除，这需要研究团队增加工作量和资源。几种策略被开发来优化Craigslist上的广告。在7个月的招募期内，需要大约100小时的工作时间，价值2500美元。讨论：尽管存在挑战，但在7个月的招募期内，使用在线广告方法招募了AEP风险女性的目标样本。我们建议研究人员在从非求助人群中招募时考虑在线分类广告。通过利用国家数据来针对特定的风险因素，并通过定制广告策略，可以有效地招募非寻求治疗的样本。1. 介绍招募社区参与者进行研究往往具有挑战性。当一项研究寻找不受症状困扰且不寻求帮助的患者时，挑战就更大了。传统的招聘方法包括，但不限于，滚雪球抽样，纸张广告，随机数字拨号，直接邮件，社区集市，或在杂志和报纸上的广告。虽然传统的招募方法很少被检查有效性（Head等人，2016年），一些研究人员已经开始在效率和成本方面比较传统和在线招聘方法（Juraschek等人，2018; Leach等人，2017年）。其他人比较了不同类型的在线研究招募，主要是收集横截面数据的健康研究调查（Dworkin等人，2016; Lane等人，2015; Musiat等人，2016年）。少数研究者报道了招募参与者进行干预研究的在线方法（Bijker等人，2016; Blake等人，2016; Choi等人，2017年; Scholledge等人，2017年）。甚至更少的人解决了重新鉴定用于在线研究的非寻求治疗的样本的挑战（Ibarra等人，2018; Wise等人，2016年）。Ibarra及其同事描述了在线招聘的几个挑战，包括难以通过广告接触到“隐藏“样本，克服诚实报告怀孕期间吸烟等污名化行为的犹豫，机器人的欺诈性反应或人类对mTurk等众包平台上的资格调查过于粗心或快速的低质量反应的可能性，以及前瞻性研究中在线招聘人员保留率的数据缺乏。鉴于大多数美国成年人（超过80%）使用互联网，在线研究招募可以补充或取代传统的面对面和在线研究招募方法（Perrin和Duggan，2015）。在线免费招聘方法包括在Facebook Twitter、listservs和网站上发帖（Head等人，2016; Kayrouz等人， 2016; Ramo等人，2010; Ramo和Prochaska，2012; Valdez等人， 2014年）。付费电子商务包括通过谷歌广告软件或Facebook上的广告，或亚马逊土耳其机器人上的微就业机会（白金汉等人，2017; Dworkin等人，2016; Juraschek等人，2018年）。 一些研究人员已经聘请了基于网络的营销公司来招募样本（Buckingham等人，2017; Musiat等人，2016年）。越来越☆Funder：美国国立卫生研究院，国家酒精滥用和酒精中毒研究所，资助#R34 AA020853。通讯作者。电子邮件地址：kes7a@hscmail.mcc.virginia.edu（K. Ingersoll）。https://doi.org/10.1016/j.invent.2019.100240接收日期：2018年10月24日;接收日期：2019年2月15日;接受日期：2019年2月17日2019年1月1日的一份声明2214-7829/©2019Authors.由ElsevierB.V. 这是一个不可操作的CC，它与CCBY-NC-NDLicense（http：//creativecommons.org/licenses/BY-NC-ND/4。0/）。可在ScienceDirect上获得目录列表互联网干预杂志首页：www.elsevier.com/locate/invent版权所有©2019-2019深圳市创科科技有限公司K. MacDonnell等人2Fig. 1.广告举例。许多研究已经使用免费或付费（Head等人，2016; Kayrouz等人，2016;Ramo等人， 2010; Ramo和Prochaska，2012; Valdez等人，2014）在线分类广告网站招募研究参与者（Antoun等人，2016; Head等人，2016年;Worthen，2014年）。这项工作导致了至少一个在线招聘方法的文献综述。（Lane等人，2015），以及对欺诈可能性的一些批评（Quach etal.，2013）和非代表性采样（Sullivan等人，2011年，通过网络招聘。在这项研究中，我们试图招募那些有酗酒习惯和使用无效避孕措施的女性，这些习惯使她们面临意外怀孕的风险。当结合起来时，酗酒和意外怀孕的风险会产生酒精暴露妊娠（AEP）的风险。有AEP风险的妇女群体没有寻求帮助。有AEP风险的女性往往不认为饮酒是一个问题，而且往往没有意识到她们有怀孕的风险。即使她们认识到自己有患AEP的风险，现在越来越多的人认识到，怀孕有风险。最后，最近的调查研究估计，广泛的女性处于AEP的风险中，在美国高达1/30处于AEP的风险中（Cannon等人，2015; Green等人，2016年）。因此，这个群体不是特定诊所或其他可识别群体的一部分，因此很难根据他们的特征定位在线广告，也很难找到他们加入的自然群体。有两项先前的美国研究招募了有AEP风险的女性进行在线干预（Tenkku等人，2011; Montag等人，2015年）。在圣路易斯大都会地区，调查人员使用传统方法，例如在当地报纸和电视上刊登广告，在轻轨车和杂货店收据上刊登印刷广告，以及在谷歌网站上刊登在线广告，这些方法促使感兴趣的候选人拨打1-800号码或访问该项目的网站（Tenkku等人，2011年）。调查人员报告说，这些方法效率不高，导致招募速度慢于计划，需要将招募期延长至两年。在一项针对美国印第安人/阿拉斯加原住民妇女风险饮酒或AEP风险的在线简短干预研究中，版权所有©2019-2019深圳市创科科技有限公司K. MacDonnell等人3表1申请人，资格和登记由国家。状态申请人占总数最初合格占总数的百分比入组占总数状态%阿拉巴马60.63%10.39%00%的百分比0%的百分比阿拉斯加30.32%00%的百分比00%的百分比0%的百分比亚利桑那151.58%41.57%00%的百分比0%的百分比阿肯色30.32%10.39%00%的百分比0%的百分比加州363.80%11四点三三45.33%11.11%科罗拉多101.06%20.79%00%的百分比0%的百分比康涅狄格212.22%72.76%00%的百分比0%的百分比DC18百分之一点九62.36%34.00%16.67%特拉华30.32%10.39%11.33%33.33%佛罗里达27百分之二点八五83.15%22.67%7.41%格鲁吉亚151.58%00%的百分比00%的百分比0%的百分比夏威夷40.42%20.79%00%的百分比0%的百分比爱达荷30.32%10.39%00%的百分比0%的百分比伊利诺伊9百分之零点九五62.36%11.33%11.11%印第安纳192.01%83.15%11.33%5.26%艾奥瓦70.74%20.79%00%的百分比0%的百分比堪萨斯30.32%10.39%00%的百分比0%的百分比肯塔基40.42%10.39%00%的百分比0%的百分比路易斯安那8百分之零点八四41.57%11.33%百分之十二点五缅因5百分之零点五三00%的百分比00%的百分比0%的百分比马里兰41四点三三155.91%34.00%7.32%马萨诸塞707.39%13百分之五点一二56.67%百分之七点一四密歇根303.17%93.54%22.67%6.67%明尼苏达20百分之二点一一62.36%11.33%5.00%密西西比30.32%20.79%00%的百分比0%的百分比密苏里12百分之一点二七62.36%22.67%16.67%蒙大拿60.63%20.79%00%的百分比0%的百分比内布拉斯加9百分之零点九五00%的百分比00%的百分比0%的百分比内华达60.63%20.79%00%的百分比0%的百分比新罕布什尔40.42%10.39%11.33%百分之二十五新泽西141.48%10.39%11.33%百分之七点一四新墨西哥30.32%00%的百分比00%的百分比0%的百分比纽约394.12%124.72%22.67%百分之五点一三北卡罗来纳232.43%83.15%22.67%8.70%北达科他20.21%00%的百分比00%的百分比0%的百分比俄亥俄242.53%41.57%22.67%8.33%俄克拉70.74%00%的百分比00%的百分比0%的百分比俄勒冈212.22%62.36%11.33%4.76%宾夕法尼亚87百分之九点一九3011.81%12百分之十六13.79%罗德岛151.58%62.36%22.67%百分之十三点三三南卡罗来纳60.63%20.79%11.33%16.67%南达科他10.11%00%的百分比00%的百分比0%的百分比田纳西12百分之一点二七5百分之一点九七00%的百分比0%的百分比Texas232.43%41.57%22.67%8.70%犹他20.21%00%的百分比00%的百分比0%的百分比佛蒙特131.37%3百分之一点一八22.67%百分之十五点三八弗吉尼亚174百分之十八点三七34百分之十三点三九15百分之二十8.62%华盛顿111.16%20.79%11.33%百分之九点零九西弗吉尼亚70.74%3百分之一点一八00%的百分比0%的百分比威斯康星424.44%124.72%56.67%11.90%怀俄明10.11%00%的百分比00%的百分比0%的百分比总947百分百254百分百75百分百在加利福尼亚，研究人员在三个不同诊所的等候区亲自招募参与者（Montag等人，2015年）。尽管该报告并未具体讨论招募方面的挑战，但我们计算得出，他们在17个月内平均每月招募15. 5名参与者。本报告的目的是补充关于网上招募隐藏人口的不足文献在这篇文章中，我们描述了我们如何招募一个有AEP风险的非求助人群进行在线干预试验，分析在线招募方法的相对收益和成本，并分享招募非求助参与者进行在线干预的经验教训2. 方法避孕和酒精风险降低互联网干预（CARRII）是一个完全自动化的，互动的，定制的，个性化的干预，使用与动机访谈咨询风格一致的消息传递，以减少酒精暴露版权所有©2019-2019深圳市创科科技有限公司K. MacDonnell等人4妊娠（AEP）。在试点随机对照试验中测试CARRII干预并与非个性化患者教育条件进行比较（Ingersoll等人，2018年）。目标人群为18-44岁的女性，1）能够怀孕，2）在过去90天内与男性发生过性行为，3）在过去90天内报告未使用、无效或间歇性使用避孕措施和酗酒。需要一台能上网的电脑，而且参与者必须住在美国。招募期为7个月，从2015年1月初至2015年8月初。这项研究得到了弗吉尼亚大学人类受试者研究机构审查委员会的批准。研究小组使用在线广告和传统的纸质广告作为主要的招聘方法。由于没有公开数据集显示按地点划分的处于AEP风险中的妇女的比率，因此通过审查来自行为风险因素监测系统的关于美国城市中妇女的酗酒率的联邦统计数据来选择地区（Li等人， 2011年）。在研究招募时版权所有©2019-2019深圳市创科科技有限公司K. MacDonnell等人5申请总数（947）947不合格（693）69373.2%不合格评论（254）254没有回应（76）76不感兴趣（33）错过申请截止日期（29）29电话筛选（116）116占 申请人总数的12.2%手机屏幕后不合格（41）41入学人数（75）7564.7%的电话被屏蔽下降（3）3退出（1）1继续登记（71）710 100 200 300 400 500 600 700 800 900 1000占申请人总数的7.9%图二.参与者：在BRFSS上，酗酒率最高的城市是马萨诸塞州的波士顿、马里兰州的巴尔的摩、宾夕法尼亚州的费城、威斯康星州的密尔沃基和密歇根州的底特律这些区域和其他区域随后被用于如下所述的定向广告IRB批准的在线广告发布到在线网站，包括Craigslist，Facebook，Twitter，弗吉尼亚大学的临床试验页面和Clinicaltrials.gov。Craigslist是一个免费的网站，每月有超过500亿的浏览量，有可能为研究人员提供一个成本效益高的招聘选择（Antoun等人，2016年），并可能达到广泛的潜在参与者，因为美国成年人对在线广告网站的使用从2005年的22%增加到2009年的49%（琼斯和福克斯，2009年）。示例广告如图所示。1.一、在210天的时间里，共张贴了909条广告大多数在线广告（867，97.7% ） 发 布 在 Craigslist 上 ， 14 （ 0.02% ） 发 布 在 Facebook 上 ， 6（0.01%）发布在其他区域，如大学临床试验页面。根据BRFSS的狂饮数据，28个广告被张贴到马萨诸塞州波士顿的Craigslist页面; 21个张贴到宾夕法尼亚州费城; 20个张贴到威斯康星州密尔沃基; 45个张贴到密歇根州底特律（由于Craigslist在底特律地区的广告在3个县中分开）。其余20个（3%）在线广告发布在美国地点使用传统的招聘方法，我们还向同事发送了简历，以便在他们的大学和弗吉尼亚大学心理学系进行潜在的分发。此外，在弗吉尼亚州的夏洛茨维尔（Charlottesville）附近放置了纸质垃圾桶。广告引导感兴趣的候选人访问CARRII网站，其中包括有关研究的基本信息和供感兴趣的个人填写的表格，作为确定试验资格的第一步。招募数据包括发布的数量、发布的位置、收到的兴趣表格、表格来自的位置以及他们如何听说这项研究的回复报告。兴趣表上的研究申请者数据用于描述受访者的人口统计学和风险行为。3. 结果3.1. 广告回应在排除了29份重复提交的申请、男性申请和其他不准确的申请（包括一些基于对无意义数据的目视检查而被视为机器人的申请）后，提交了947份独特兴趣表。提交来自所有50个州和哥伦比亚特区，弗吉尼亚州（174，18.4%），宾夕法尼亚州（87，9.2%）和马萨诸塞州（70，7.4%）最频繁地重新提交，犹他州（2，0.2%），南达科他州（1，0.1%）和怀俄明州（1，0.1%）代表最不频繁（见表1）。3.2. 广告法产量如图1所示，在947份兴趣表中，828名申请人（87.4%）报告在线了解研究; 35人通过广告或其他方式了解研究; 84人通过“口口相传”了解。在那些在线了解这项研究的人中，655人（79%）报告说Craigslist是来源，157人（19%）报告说他们在互联网上的其他地方阅读了这项研究，16人（2%）报告说他们在Fa-cebook上听说了这项研究。在84名报告通过口口相传了解这项研究的人中，44人（52%）从UVA心理学研究人员那里听说了这项研究，3人（4%）从另一名研究参与者那里听说了这项研究。虽然我们没有跟踪广告类型的曝光率，但我们通过审查报告每种方法作为其兴趣来源的申请人数量以及使用每种方法投放的广告数量来比较每种在线方法的收益率。以这种方式来看，通过“ 苹 果 与 苹 果 比较 “ ， 数 据 显 示 Cr a i g s l i s t 广 告 的 Cr a i g s l i s t 报 告 的 收 益 率 为75 . 5 % ， Fa c e bo o k 广 告 的 Fa c e bo o k 报 告 的 收 益 率 为11 4 . 3 % ，其 他在 线场 所的 收益 率为 26 1 . 7 % 。版权所有©2019-2019深圳市创科科技有限公司K. MacDonnell等人63.3. 研究申请人特征申请人的平均年龄为27.63岁（SD = 7.3，年龄范围为15-65岁）。人种分布为671例（70.9% ）白人、125例（13.2% ）黑人、56例（5.9%）双性恋、53例（5.6%）亚裔、22例（2.3%）其他，17（1.8%）美国印第安人，2（0.2%）太平洋岛民，1（0.1%）阿拉斯加原住民。90名申请人（9.5%）报告了西班牙裔。3.4. 申请人资格如图2所示，在提交的947份兴趣表中，693名申请人由于饮酒风险低或怀孕风险低而不合格。通过电子邮件和电话访谈与仍可能合格的患者（254例）联系，以完成合格性确定过程。在这254人中，149人回复了邀请电子邮件，116人参加了电话筛选。75例被确定为合格，所有75例均入组。最终入组人数为74例，因为在分析阶段，1例入组受试者在基线时被确定为不合格，然后被归类为错误入组，并从分析中脱落。3.5. 广告挑战当一个免费的Craigslist广告被放置时，它首先被放置在页面的顶部，然后随着其他新广告的发布而向下移动。为了将研究广告保持在最上方，并使用户最容易看到，每天都会在人口众多的目标城市重新发布广告。不幸的是，在Craigslist上发布了第一批研究广告后，几乎立即就有许多帖子被删除了，而且可能从未公开出现过。研究人员怀疑这是由于重复的帖子和/或提及性行为或饮酒，导致帖子被标记为删除。 为了让帖子在目标区域保持活跃，研究人员创建了11个Craigslist在线广告的变体，并创建了15个Craigslist帐户，每个帐户都需要通过唯一的电话号码进行验证。即使在做出这些改变之后，867个广告中的253个在发布后不久就被删除了，并且可能从未被潜在的合格女性看到。研究小组估计，在7个月的招聘期内，工作人员每天在不同的账户和地点张贴和重新张贴Craigslist广告所花费的时间为100小时（估计成本为2500美元）。这一过程有商业服务，但费用昂贵，未列入研究预算。3.6. 兴趣形式挑战我们发现，用于确定初始合格性的在线兴趣表中的2个筛选问题不够明确，无法在未经进一步审查的情况下确定合格性。这导致118名申请人被认为“可能符合资格“，但需要提出后续问题以确认资格，这需要额外的时间。具体而言，关于妊娠意图和避孕药使用的2个问题的答案选择最初并未导致妊娠风险的确定，因此在招募期早期修改了这些问题的答案选择。3.7. 电话筛选参与如前所述，在254名合格/潜在合格的参与者中，不到一半（116名）的参与者完成了电话筛选。其余138名申请人没有完成电话筛选，原因包括1）不再有兴趣参与（n= 33）或2）不回复研究人员的联系（n= 76）。合格受试者在成功电话筛选前的平均联系次数为10.31（SD=6.52）。我们每次接触花费2.89分钟（SD= 0.73），估计了研究人员在接触中花费的总时间在29.33分钟（SD = 20.25）每名参与者。3.8. 欺诈性申请欺诈是在线收集数据的研究人员的担忧，这是由于单个人填写多个兴趣表格并可能多次进入研究以赚钱的风险（Quach等人，2013年）。当利息形式不一致/不连贯时，会发现欺诈企图;例如，城市与所提供的州或国家不当这种情况发生时，这些尝试被认为是机器人。填写了不止一份兴趣表格的人类申请者可能是那些未能回应研究人员联系尝试完成电话采访的人。要求申请人参加本次面试，收集最终的学历数据可能会阻止一些欺诈申请人进入研究。最后，大多数（59.8%）的访谈是由一个研究协调员（RC）进行的。其余的由与RC密切合作的几名研究助理进行，他们在招募受试者之前监督或审查每次电话访谈的结果。使用这种监督方法，我们没有发现在完成电话访谈的人中有任何重复登记的企图。虽然我们没有证据表明参与者存在欺诈行为，但一些参与者可能拥有伪造的数据并参与了6个月的研究。通过在每个测量点完成电话评估、问卷调查和在线日志以及审查和完成6个核心材料所需的时间和时间，缓解了这一问题。完成所有研究要求的在线礼品卡中提供的150美元的补偿似乎不太可能高到足以使这项研究吸引那些没有AEP风险的人。4. 讨论尽管面临挑战，研究小组在计划的7个月招募期内招募了有AEP风险的女性目标样本，主要使用在线广告方法。Craigslist广告被认为是大多数研究申请者的招聘来源，尽管Facebook和其他在线方法显示出更高的计算收益率，因为它们在这些网站上投放的广告数量较少。不幸的是，我们无法通过广告浏览量计算收益率，因为我们在招聘期间没有收集这些数据。其他研究者报告说，通过在线分类广告服务（如Craigslist）进行研究招募可能比其他互联网招募方法更有效（Antoun等人，2016年）。对于这些不寻求帮助的人群，其他在线招募参与者的方式并没有导致如此多的申请人参加这项研究。由于AEP风险女性的人群很广泛，Facebook上没有一个最有可能符合条件的女性群体，她们只能根据年龄进行定位。同样，Twitter的招聘活动可能也很有限，因为没有可识别的社区处于危险之中，而且要接触到大量人群，通常需要有许多追随者或热门标签。 虽然研究团队位于一所大学，但这对招募工作没有帮助，因为大多数大学年龄的申请人由于使用避孕措施而没有资格参加研究。研究小组审查每份申请需要时间和时间（每份5- 10分钟），在来自大学广告来源的44份申请中，40份最终不合格。虽然Craigslist的申请者总数最多，但它也有挑战性。最令人烦恼的是自动删除广告，通常是在广告发布后立即删除。Craigslist试图消除不遵守Craigslist使用条款的垃圾邮件或机器人帖子（Craigslist使用条款，n.d.）。）.从一个帐户在太多的地理位置重复发布的内容可能已被注册为垃圾邮件并标记为删除。也有可能是因为广告特别提到了性活动和饮酒，它们被视为敏感或不适当的，因此被贴上了删除标签。版权所有©2019-2019深圳市创科科技有限公司K. MacDonnell等人7在使用Craigslist作为招募工具的其他研究中发现自动删除是一个问题（Antoun等人，2016年; Worthen，2014年）。虽然我们克服了这一点，但它在稳定时间方面是昂贵的，需要大约2500美元的时间。与一些报告在招聘上花费超过5万美元的研究相比，（例如，Watson等人，2018年，我们认为这是一个值得考虑的问题。应该注意的是，研究方案要求在整个研究期间进行3次电话访谈，以验证合格性并收集关于饮酒和避孕使用的基于病历的回顾性回忆数据。虽然自动在线评估和干预可以完全在线完成，但我们的团队选择电话采访有几个原因。采访者提供了关于这项研究的额外信息和回答问题。面试官很友好，不带偏见。我们预期潜在的反应偏见，报告亲社会和健康的行为。为了克服这个问题，访问者强调数据收集和存储程序的隐私性，以及每个参与者诚实和完整地报告受害者的重要性，以使调查结果对社会有价值，并在未来帮助妇女。因此，访谈的部分功能是作为一个角色诱导程序，参与者在其中发展的信念，研究的价值取决于他们的行为和经验的诚实报告。如前所述，一些未能回应我们面试要求的申请人可能试图以欺诈方式入学，这一要求阻止了他们继续学习，这在研究质量方面是一个潜在的好处。也有可能一些符合条件的妇女由于“麻烦因素“而决定不参加，这代表了延迟更快达到入学目标的潜在成本。互联网使研究人员能够接触到过去几乎无法接触到的广泛人群。我们建议研究人员在从非寻求治疗的人群中招募时考虑在线分类广告。未来的研究应该利用广告分析来更精确地估计方法的收益。通过使用国家数据来针对特定的风险因素，并通过定制广告策略，我们发现有可能有效地招募非治疗寻求样本。利益申报MacDonnell女士、Cowen女士、Cunningham先生和Ingersoll博士没有需要申报的利益冲突。Ritterband博士对BeHealth感兴趣，BeHealth是一家提供电子健康干预措施的公司，但CARRII不包括在BeHealth中。引用Antoun，C.，张，C.，康拉德，F.G.，Schober，M.F.，2016.方便样本的在线重新排序策略的比较：Craigslist，Google AdWords，Facebook和Amazon Mechanical Turk. FieldMethods 28（3），231-246。比耶克湖，Kleiboer，A.，里珀，H.，屈伊佩斯山口Donker，T.，2016.电子护理4照顾者-抑郁症患者非专业照顾者的在线干预：一项试点随机对照试验的研究方案。试验17，6.https://doi.org/10的网站。1186/s13063-016-1320-6。布莱克，H.，奎克，H.，Leighton，P.，Randell，T.，Greening，J.，Guo，B.，Glazebrook，C.，2016年。在线干预（STAK-D）促进1型糖尿病儿童体力活动的可行性审判17（1）。https://doi.org/10.1186/s13063-016-1719-0网站。白金汉湖Becher，J.，Voytek，C.D.，Fiore，D.，Dunbar，D.，Davis-Vogel，A.，...弗兰克，我，2017.走向社会：成功地在网上招募男男性行为者进行预防艾滋病毒疫苗研究。Vaccine 35（27），3498-3505. https://doi.org/10.1016/j.vaccine.2017.05.002.M.J.坎农郭杰，丹尼，CH，格林，P.P.，奇迹，H.，Sniezek，J.E.，弗洛伊德，R.L.，2015年。美国酒精暴露孕妇（AEP）的患病率和特征：来自全国家庭成长调查的估计马特恩儿童健康J。 19（4），776-782。崔岛，巴西-地米尔恩，D.N.，Glozier，N.，彼得斯，D.，哈维，S.B.，卡尔沃，共和国，2017.使用不同的Facebook广告招募男性进行在线心理健康研究：参与和选择偏见。互联网访谈8，27-34. https://doi.org/10.1016/j。invent.2017.02.002。Craigslist使用条款（未注明）。从https://www.craigslist.org/about/检索禁止Dworkin，J.，Hessel，H.，Gliske，K.，鲁迪，J.H.，2016.三种吸引父母的在线重新cruitment策略的比较。Fam. 相对 65（4），550-561。格林，P.P.，McKnight-Eily，L.R.，Tan，C.H.，梅希亚河丹尼，CH，2016.生命体征：酒精暴露妊娠-美国，2011-2013年。MMWR Morb.凡人Wkly Rep. 65（4），91-97.https://doi.org/10.15585/mmwr.mm6504a6网站。头，B.F.，Dean，E.，Flanigan，T.，Swicegood，J.，基廷医学博士2016.认知面试广告：Facebook，Craigslist和Snowball招聘的比较。社会科学Comput. Rev. 34（3），360-377.Ibarra，J.L.，Agas，J.M.，李，M.，潘，J.L.，Buttenheim，上午，2018.针对难以接触的怀孕吸烟人群的在线调查招募平台的比较：可行性研究。JMIR研究方案7（4），e101。https://doi.org/10.2196/resprot的网站。8071Ingersoll，K.，弗雷德里克，C.，MacDonnell，K.，里特班德湖，主啊H琼斯，B.，特鲁维特湖2018.互联网干预的试点RCT，以降低酒精暴露妊娠的风险。酒精Clin. E Xp. Res. 42（6），1132-1144。https://doi.org/10.1111/acer.13635.琼斯，S.，福克斯，S.，2009. 2009年，在线。皮尤研究中心（Pew Research Center）从http://www.pewinternet.org/2009/01/28/generations-online-in-2009/网站。Juraschek，S.P.，Plante，T. B.，查尔斯顿，J.，米勒急诊室是的，H。C.的方法，Appel，L.J.，......这是什么？Hermosilla，M.，2018.在线招募策略在癌症幸存者随机试验中的应用临床试验（英国伦敦）15（2），130-138。https://doi.org/10.1177/1740774517745829.凯鲁兹河亲爱的B.F. Karin，E.，季托夫，N.，2016. Facebook是一种有效的招募策略，用于难以接触到的人群的心理健康研究。互联网访谈4，1-10。Lane，T.S.，Armin，J.，戈登，J.S.，2015年。基于网络和移动健康研究的在线招募方法J. Med. Internet Res. 17（7），e183。https://doi.org/10.2196/jmir.4359网站。利奇，L.S.，Butterworth，P.，Poyser，C.，巴特汉姆，P.J.，Farrer，L.M.，2017.在线再诊断：产后妇女研究的可行性、成本和代表性J. Med. 因特网资源19（3），e61。https://doi.org/10.2196/jmir.5745网站。Li，C.，Balluz，L.S.，Okoro，CA，Strine，T.W.，林，J. -医学硕士，镇，M.，...Vouchu，B.，2011. 对各州和选定地区的某些健康行为和状况的监测-行为风险因素监测系统，美国，2009年。莫布 凡人太棒了众议员监视器总结。 60（9），1-249。蒙塔格，AC，Brodine，S.K.，Alcaraz，J.E.，Clapp，J.D.，艾莉森，文学硕士，Calac，D.J.，......这是什么？钱伯斯，哥伦比亚特区，2015.预防美国印第安人/阿拉斯加原住民酒精暴露妊娠：筛查、短暂干预和转诊治疗干预的效果酒精Clin. EXp. Res. 39（1），126-135。网址：//doi. org/10.1111/acer.12607。Musiat，P.，温索尔，M.，Orlowski，S.，Antezana，G.，Schrader，G.，巴特斯比，M.，Bidargaddi，N.，2016年。为年轻人提供有偿和无偿的在线健康干预招募。J. Adolesc.健康59（6），662-667。https://doi.org/10.1016/j的网站。jadohealth.2016.07.020。佩兰，A.，达根，M.，2015.美国人的互联网接入：2000-2015。皮尤研究中心（PewResearch Center）从http://www.pewresearch.org/wp-content/uploads/sites/9/2015/06/2015-06-26_internet-usage-cross-demographics-cross_FINAL.pdf。Quach，S.，佩雷拉，J.A.，拉塞尔，马里兰州，Wormsbecker，A. E.，Ramsay，H.，克罗湖，......这是什么？Kwong，J.，2013年。健康相关焦点小组在线招募父母的好、坏和丑陋：经验教训。J. Med. 因特网资源15（11），e250。网址：//doi. org/10.2196/jmir.2829。Ramo，D.E.，Prochaska，J.J.，2012年。利用Facebook进行广泛接触和有针对性的招募，对年轻成人的药物使用情况进行在线调查。J. Med. 因特网资源 14（1）.Ramo，D.E.，Hall，S. M.，Prochaska，J.J.，2010年。通过互联网接触年轻成年吸烟者：三种招募机制的比较。12个。pp. 768-775。弗里奇，F.S.戴维斯，T. D.，Dunbar，S.B.，2017年。招募失眠和高血压患者参与在线行为 睡眠 干预的 招募 策略 和成本 ： 一项单 点试 点研究J. Cardiovasc. 护士 32（5），439-447。https://doi.org/10.1097/JCN.0000000000000370网站。Sullivan，P.S.，Khosropour，C.M.，Luisi，N.，Amsden，M.，Coggia，T.，Wingood，G.M.，DiClemente，R.J.，2011年。 在线招聘和保留与男性发生性关系的少数种族和族裔男性的偏见。J. Med. 因特网资源 13（2）.Tenkku，L.E.，Mengel，M.B.，尼科尔森，R.A.，嗨，M.G.，莫里斯，D.S.，Salas，J.，2011年。一项基于网络的干预措施，以减少社区中酒精暴露的怀孕。健康教育&行为：公共卫生教育学会的官方出版物38（6），563-573。https://doi.org/10.1177/1090198110385773网站。瓦尔迪兹，R.S.，Guterbock，T. M.，汤普森，M.J.，Reilly，J.D.，Menefee，H.K.，Bennici，MS，... Rexrode，D.L.，2014年。 超越传统广告：利用Facebook的社会结构进行研究招聘。J. Med. 因特网资源 16（10）.北卡罗来纳州沃森，Mull，K.E.，他，J.L.，McClure，J.B.，Bricker，J.B.，2018. 远程电子健康干预试验中的参与者招募和保留：从两项基于网络的吸烟干预的大型随机对照试验中吸取的方法和教训。J. Med. 因特网资源20（8），e10351。https://doi.org/10.2196/10351网站。怀斯，T。阿诺内，D.，马伍德湖扎恩河，Lythe，K.E.，杨，A.H.，2016.使用在线公共广告招募研究人员：来自精神障碍研究的例子。神经精神科医生Dis. 请客12 ，279-285。 https://doi.org/10。2147/NDT.S90941。Worthen，M.G.，2014.邀请使用craigslist广告从受歧视群体中招募受访者进行定性访谈。质量。Res. 14（3），371-383。