众包创建研究视频：解决学术研究形式单一问题，提高科学知识可及性

首页>外文书>人文>心理励志> Crowdsourcing and HumanComputation for the WebWWW 2018，2018年4月23日至27日，法国里昂1大规模创建众包研究会谈摘要RajanVaish*斯坦福大学rvaish@cs.stanford.eduAmin Saberi斯坦福大学saberi@stanford.eduShirish Goyal斯坦福大学shirish.stanford.eduSharad Goel斯坦福大学scgoel@stanford.edu研究仍然只能以文本的形式提供，作为传统的通过视频学习和消费信息已经发生了明显的转变然而，大多数学术研究仍然只以文本形式分发，因为研究人员通常只有有限的时间，资源和激励来创建他们工作的视频版本。 为了解决这一差距，我们提出，部署和评估一个可扩展的，端到端的系统众包创建短，5分钟的研究视频的基础上的学术论文。这样做需要解决复杂的协调和协作视频制作问题。为了协调，我们设计了一个...有组织的工作方式，使任务的委托，同时也激励群众通过协作学习环境是的。为了方便视频制作，我们开发了一个在线工具，小组可以使用该工具制作微型音频记录，这些记录可以自动拼接在一起以创建完整的谈话。 我们通过公开征集从52个国家招募的一组志愿者来测试这种方法。 这个分散的人群以12种语言制作了100多个视频演讲，这些演讲基于顶级计算机科学会议的论文。 所产生的谈话一直受到来自不同非专家和专家群体的高度评价，包括原始论文的作者。这些结果表明，我们的众包方法是一种很有前途的方法，可以大规模地制作高质量的研究讲座，增加分布和科学知识的可及性。ACM参考格式：RajanVaish，Shirish Goyal，Amin Saberi和Sharad Goel。2018年。创建大规模的众包研究会谈。 在2018年网络会议（WWW 2018）的会议记录中。ACM，New York，NY，USA，11页。https://doi.org/10的网站。1145/3178876.31860311介绍通过视频学习和消费科学信息的需求不断增长[38]。 MOOC [20]和“两分钟论文”之类的活动部分满足了这一需求，MOOC [20]通常侧重于对既定领域的深入介绍和有限的技术专长。但绝大多数当代*作者的当前公司是SnapInc.。这项工作是他在斯坦福大学做博士后时完成本文在知识共享署名4.0国际（CC BY 4.0）许可下发布作者保留在其个人和公司网站上以适当的归属方式传播作品的权利。WWW 2018，2018年4月23日©2018 IW3C2（国际万维网会议委员会），在知识共享CC BY 4.0许可下发布。ACM ISBN 978-1-4503-5639-8/18/04。https://doi.org/10.1145/3178876.3186031学术论文，部分是因为个体研究人员通常具有有限的时间、资源和激励来产生他们工作的基于视频的总结这一差距带来了一个挑战：将学术论文的内容提炼成适合学生和研究人员的简短演讲，并大规模地这样做。在这里，我们介绍和评估一个系统，用于创建一个开放的，多语言的5分钟的闪电会谈库，由世界各地的志愿者这些演讲是为技术知识渊博的观众准备的，他们在观看视频摘要后可能会阅读原始论文或参加更长的研讨会。最初的视频是由分散的团队密切合作的个人制作的;视频随后可以由任何感兴趣的参与者编辑和改进喘气。我们的项目通过将英文研究论文转换成基于视频的形式来增加科学知识的可访问性用多种语言制作的演讲--而且都不涉及论文作者或其他领域专家。在创建此内容的过程中，志愿者贡献者协作学习，促进教育机会并激励参与。众包这样一个开放式的专家任务提出了两个关键的挑战。首先，目前还不清楚如何协同制作可编辑的视频。第二，必须促进大型、分散的个体群体之间的广泛而复杂的协调不同专业的能力 为了解决第一个任务，我们将每个演讲标准化，包括幻灯片，书面脚本和画外音;我们然后以编程方式将这些组件拼接在一起以产生完整的视频呈现。为了简化这一过程，我们创建了一个在线工具，让人们可以在幻灯片的基础上进行协作和无缝录制音频。我们的模块化方法-端口ecient编辑和减少重拍时间，无论是在初始视频创建期间和之后。我们通过设计结构化的scaolding过程来协调体积来解决第二个挑战[28，41]。具体来说，我们将谈话创建过程分为三个离散阶段，跨越21天（三周）：(1) （2）生成包括谈话幻灯片和谈话的逐幻灯片脚本两者的幻灯片组;以及（3）将脚本转换成逐幻灯片的音频记录，并回顾完整的视频演示。为了测试这个系统，我们公开呼吁参与，吸引了来自52个国家的840人这群志愿者用12种语言创作了107个轻松的演讲，这些演讲是基于最近来自顶级计算机科学会议和科学期刊的40篇这些谈话完全是由人群创造的，从德-对所述结构进行签名以产生所述内容。为了评估会谈，首页>外文书>人文>心理励志> Crowdsourcing and HumanComputation for the WebWWW 2018，2018年4月23日至27日，法国里昂2我们征求了300多名外部评审员的回复，其中包括73名原始论文作者的回复这些演讲在演讲质量和实用性方面都得到了很高的评价，在两个维度上的平均得分都是4分（满分5分）。为了探索我们的方法在创建更长、更深入的内容方面的适用性，我们尝试开发了关于Python和机器学习的技术教程。这些教程的长度从30分钟到5小时不等，并以多种语言制作。 与简短的研究会谈一样，这些技术教程得到了外部评估人员的高度评价。我们在这项工作中的主要贡献是开发一个端到端的过程，用于从学术论文中产生简短的技术研究谈话为了实现这一目标，我们引入了一种新的众包工作方式，以实现开放式的创意目标，建立了一个在线工具，以促进协作视频制作，并分析了一个新的视频制作工具。大规模长期部署的方法。 我们的工作指出了基于视频的技术内容的可扩展创建和传播的潜力，我们希望这将有助于增加学术研究的曝光率和可访问性。2相关工作我们的工作涉及并建立在几个相互交织的研究线索我们利用协作社区的工作来建立人群[30]，组织行为学的研究来协调人群[23]，视频制作的想法来设计在线协作工具[51]，以及微生产力的研究来扩展系统[49]。下面我们就来简单地调查一下这些地区。科学思想的传播为专家和非专家提供科学观点是学术共同体的核心功能沟通上的差距专家之间这一沟通挑战已得到解决部分原因是数据新闻和博客的兴起[13]，以及文章发现和摘要工具[50]。在专家中，科学传播的主要方式是文本，以论文的形式 但在许多领域，正在向多媒体形式的消费信息进行快速转变[10，44]。 在广告[36]，教育[20，25]和健康[21]中，视频正在成为沟通和学习的重要手段[8]。为了应对这一转变，有几项举措创建了介绍研究论文的视频[59]并呈现他们的结局[1]。然而，这些运动通常是由一小群人推动的，并且缺乏必要的资源。规模类似地，像ACM这样的会议组织者通常具有有限的视频制作资源，并且设备以先来先服务的方式提供给会议[7]。 通过利用众包，我们的工作有助于扩大视频制作的过程和传播研究。群体工作与组织行为众包技术已经帮助研究人员和行业专业人士扩展了各种工作，从图像标签[43，52]和翻译[48]等微任务到制作动画[30]和设计软件原型[41]等创意专家任务。专家任务的成功众包通常依赖于多阶段的群体工作流和组织结构来促进复杂的协作。利用人群工作流的研究激发了我们方法的设计。”[11]《易经》云：“君子之道，焉可诬也？有始有卒者，其惟圣人乎！X-验证阶段可以提高群组工作人员的结果的质量和准确性。多阶段的众包工作也被设计来改善电子邮件的语气[53]，提供cri-tiques to designers [33]，并通过逐步注释改善现有how-to视频的学习体验[27]。这些应用程序已经证明，群众工作可以产生的结果与专家的。我们的工作有助于这条线的研究，介绍和评估一个新的三阶段的工作量身定制的生产短期研究会谈，一个开放式的专家任务。除了工作流程设计，对组织行为的研究也为有效的团队协调提供了见解我们利用这些工作来开发我们的人群协作的scaolding过程[15，23，31，32，41]。 过去的工作已经确定了有效的团队协调的几个障碍，如技术介导的沟通，地理分散，和动态的团队成员。bership [23，24，39]-并提出了解决方案，以减轻自然减员和激励志愿者。许多这些ndings都是基于现有的平台，有大量的群众工作者，如维基百科，NewGround和oDesk。对于我们的实际部署，我们从头开始构建了一个社区，从而使这些ndings适应我们的设置。例如，不像异步协作[14]，当大量人群可用时，异步协作[14]很受欢迎，我们依赖于基于团队的同步协作[35]来确保成功完成任务。注意到在线协作环境中角色和领导力的重要性[32]，我们依靠众包创意生产在在线分布式环境中众包创意任务具有固有的挑战性。 过去的工作通常使用付费众包市场，基于竞争的方法，或者只让人群参与特定的，范围明确的子任务。 像Ensemble [26]这样的项目动员了来自亚马逊机械的人群Turk来创建故事，而Flash Teams [41]则使用一群Up-work工作人员来设计软件原型和动画视频。在Tongal [6]上，请求者可以众包多个想法和详细的视频制作。然而，与IdeaHound [45]等基于群体的协作创意生成系统不同，Ton gal使用付费的基于竞争的方法。而不是合作评级，团队-通常包括专业媒体工作室-相互竞争最好的想法，最好的球场和合同，以制作视频。每个阶段的获胜者由汤加人选出STA和请求者，而不是社区。 像约翰尼·卡什项目[3]这样的倡议动员志愿者画自己的肖像约翰尼·卡什的音乐录影带在这种情况下，虽然创意内容是众包的，但任务非常特殊，人群成员之间几乎没有合作与过去的活动不同，我们的工作动员了一群志愿者，在整个过程中与世界各地的参与者合作。首页>外文书>人文>心理励志> Crowdsourcing and HumanComputation for the WebWWW 2018，2018年4月23日至27日，法国里昂3天数：1个2个345678910 11 12 13 14 15 16第1阶段：入职培训和团队组建论文遴选小组成立直接还原铁的应用与选择纸质阅读阶段2：创建幻灯片组和脚本论文分析内容创建迭代同行评审阶段3：录制音频和编译视频通过音频工作室优化和视频制作进行图1：我们使用三个阶段，为期三周的结构化工作流程将研究论文转换为视频演讲。整个创作过程，从选择研究论文到NAL视频制作。协同视频创作尽管音频和视频制作技术[42，51]最近取得了进展，但协作编辑的选项仍然有限[2]并且通常是专有的[18]。大多数现有的视频制作系统依赖于传统的时间轴模型，其中贡献者进行逐帧编辑。 我们介绍了一种新的方法来collab-orative视频制作。通过借鉴和推进微任务研究[11，49]，我们通过单独创建谈话幻灯片，书面脚本和录音来制作研究谈话然后，这些组件以编程方式拼接在一起，以创建完整的视频演示。在线学习协作，在线学习是一个活跃的研究领域[16，56]。研究表明，全球范围内的协作学习可以提高批判性思维[22]和参与度[9]，并随文化维度而变化[54]。它的积极效果已在学术界和工业界得到应用此外，教育研究和sourcing”[58]建议，为学习者提供程序性任务的子目标可以提高学习效果。Margulieux等人[34]表明，包括具体步骤和子目标的指令与SPE相比，可以改善学习和迁移。只有中投一个人。结合这些ndings，我们在Slack中建立了一个协作学习环境，并设计了带有论文阅读和分析等子目标的工作流。群众合作我朝着这些目标努力，学习计算机科学的最新研究，同时为他人制作教育内容。3系统设计如图1所示，我们的研究视频创作众包方法分为三个阶段，总共21天。 为了达到规模，多个会谈是在同一时间轴并行生产。第一阶段包括加入人群，组建团队，阅读要转换的文件。第二阶段需要为每篇论文制作幻灯片和书面在第三阶段，人群将脚本转换为一张一张幻灯片的音频记录，以及完成的视频会谈然后针对NAL改进进行审查。在正式的演讲创建过程开始之前，我们通过公开呼吁参与来招募人群，如4.1节所述我们的部署通常包括创建10个平行的会谈，共有50我们在下面详细描述这个过程3.1阶段1：入职、论文选择、团队组建和论文阅读这个第一阶段跨越了五天的我们首先为参与者提供有关我们使用的工具的文档、有关工作流程的说明以及要遵循的最佳实践随着全世界人民的进化和成长接下来，人群选择论文转换为演讲。这一过程以自由形式进行，参与者提出论文并征求他人的支持票。选择最受欢迎的论文进行转换，然后参与者选择加入哪个论文团队。参赛者可以自由加入任何团队，无论他们的位置;团队规模没有上限。每个小组根据一篇论文进行一次演讲加入团队后，每个成员都开始阅读报纸。团队成员之间的通信主要通过Slack进行，这是一种流行的基于文本的消息传递工具。通过让参与者自己选择论文，它有助于确保人群工作者对主题有足够的了解这似乎也是一个合理的政策，因为参与者是自愿的时间。然而，这种灵活性可能会导致对已经众所周知的论文的青睐，加剧科学中所谓的马太效应[37]，其中“富人更富，穷人更穷” 。 事 实上 ， 人 群选 择的 一 些论 文 （ 例如 ，“Mastering 不过，总的来说，我们发现人群选择的演讲范围很广。在选择论文并加入团队后，每个团队选择两到三个直接负责人（DRI）来监督演讲创作过程[29，32]。DRI设定谈话的基调，帮助团队成员解决他们可能遇到的任何问题，并确保团队在满足质量标准的同时遵守时间轴DRI是一个受欢迎的角色，因为它赋予决策权来执行一个人任何团队成员都可以通过以下方式申请成为DRI首页>外文书>人文>心理励志> Crowdsourcing and HumanComputation for the WebWWW 2018，2018年4月23日至27日，法国里昂4图2：Audio Studio的工作流程，这是一个促进协作视频制作的工具。从幻灯片组和脚本开始，Audio Studio rst将幻灯片组拆分为单独的幻灯片和附带的脚本。然后，任何群组成员都可以通过阅读脚本来录制每张幻灯片的音频剪辑然后，幻灯片和音频以编程方式拼接在一起以创建完整的说明他们对该主题的兴趣、可用性和专业知识在24小时的窗口期后，团队投票并选择一组DRI。拥有多个DRI有助于确保跨所有时区的可用性为了鼓励参与，任何不活跃的DRI都会被团队中的活跃成员所取代;这种动态策略有助于保持DRI的活跃，同时激励其他团队成员始终如一地工作，以获得成为DRI的机会。3.2阶段2：创建幻灯片和脚本在第二阶段，参与者开始积极与队友合作。第二阶段本身分为三个步骤。首先，团队共同完成一份问卷，帮助参与者理解他们在第1阶段选择和阅读的论文。第二，他们一起工作，把谈话幻灯片和幻灯片的书面脚本，最终将被转换为音频。最后，团队对彼此工作的反馈第一步：论文分析。 为了帮助群体成员（通常是非专家）批判性地思考他们要提交的论文，我们要求他们集体回答一系列问题。论文的贡献是什么 为什么这个问题很难？作者如何评价实验？我们一共摆了17个姿势问问题，并分配两天的时间来完成这项任务。群体成员合作，并被鼓励建立和编辑彼此的工作，特别是DRI有助于将答案综合成一个连贯的整体。演讲的基调很大程度上取决于对这些问题的回答。步骤2：内容创建。 第二步，历时七天，包括创建整个幻灯片组，以及每张幻灯片的书面脚本。沟通是在Slack上进行的，幻灯片本身是用GoogleSlides创建的，这允许客户实时协作。团队可以自由地以他们认为可以完成任务的任何方式组织起来。为了促进高质量的内容，是一致的跨团队，我们鼓励群组成员遵守以下准则。(1) 将谈话时间限制在5分钟左右。根据过去的文献[20]和非正式的试点研究，我们发现，短，5分钟的视频足以传达关键思想，同时仍然保持观众的参与和兴趣。(2) 目标受众为具有技术专长的观众，这些观众可以与可能阅读论文或参加研究研讨会的观众相比较。论文通常假设一定程度的技术复杂性，我们在会谈中反映了这一假设，限制了背景材料的讨论。然而，特别是对于这种简短的会谈，这仍然意味着侧重于文件的关键贡献，而不是详细的技术说明。(3) 按照应该说的那样，一张一张地写幻灯片脚本。如下所述，音频记录由可能没有直接参与创建幻灯片的个人创建。因此，书面脚本必须准确地指出每张幻灯片应记录的内容。这些脚本将添加到幻灯片组中每张幻灯片的除了提供这些指导方针外，我们还向参与者指出过去由人群制作的演讲，因为通过例子学习通常是最容易的。我们还为团队提供了一套最佳实践，包括：由以前的团队组成例如，建议使用简单的语言，并在幻灯片上解释防毒墙网络版的关键方面。最后，我们为人群成员提供了两篇关于创建有效演示文稿的文章[19，55]。团队成员被鼓励改进彼此通过编辑或评论。如果有不同的意见或建议-信息和通信技术，DRI作为仲裁者，并有最终的决策权。为了通过积极强化来帮助激励群体成员，我们引入了一个简单的同伴确认机制。在整个谈话创建阶段，任何人都可以对其他任何人的贡献给予这些致谢并不是为了获得任何具体的有形奖励，而是为了对出色完成的工作表示赞赏第三步：同行评议。 在第二阶段的最后三天里，人群成员向其他谈话小组提供反馈，并处理他们收到的评论。这一审查过程得到首页>外文书>人文>心理励志> Crowdsourcing and HumanComputation for the WebWWW 2018，2018年4月23日至27日，法国里昂5图3：Audio Studio的录制界面，幻灯片和脚本相邻。贡献者可以在提交之前查看和重新录制音频剪辑。对每个演示文稿都有新的看法，并从没有参与创建他们正在评估的谈话的个人那里获得有价值的投入。评论以一种自由形式的迭代过程发生，谈话创建者迅速纳入反馈，然后征求更多的评论[17]。更快地处理反馈的团队可以迭代更多次;团队可以经历的迭代次数没有限制。3.3阶段3：录制音频并编辑视频演示文稿在流程的这一点上，团队已经完成了他们的幻灯片和脚本。由于当前的文本到语音系统[40]还不能产生完全自然的音频，人群参与者自己录制音频这个录制过程持续了两天，并由我们构建的在线工具提供便利，我们称之为Audio Studio。Audio Studio是一个Django应用程序，前端构建在AngularJS上。如图2所示，Audio Studio以幻灯片作为输入开始，并分三个步骤进行首先，提取各个幻灯片并与其附带的脚本配对第二，群组成员为每个幻灯片录制音频剪辑最后，这些音频剪辑以编程方式与幻灯片拼接在一起，形成完整的视频演示。我们在下面更详细地描述这三个步骤。(1) 把牌拆了 Audio Studio旨在通过将幻灯片组拆分为单独的幻灯片来最大限度地减少编辑和重拍时间，从而可以单独录制音频。给定Google Slides中演示文稿的URL，Audio Studio使用Google Drive API将各个幻灯片提取为PDF，并将幻灯片脚本存储在(2) 录音。 任何团队成员都可以通过阅读幻灯片旁边显示的叙述性脚本（如图3所示）来录制任何幻灯片的音频。贡献者可以重播和重新录制音频，直到他们满意的质量。我们没有严格限制申请人的人数我可以为每个演示文稿提供音频，但我们鼓励团队将录音限制在两个人。我们进一步鼓励投稿人记录连续的幻灯片。例如，一个人可能记录前半部分，第二个人可能记录后半部分。这些贡献者是通过投票选择使用SimplePoll [5]在Slack后正式的音频试听，感兴趣的团队成员录制一分钟的自我介绍(3) 视频制作。 在音频记录提交给DRI会检查幻灯片的质量，并在必要时要求改进。我们的模块化方法使重拍相对容易。一旦DRI对录制内容感到满意，音频和幻灯片将与FFmpeg库拼接在一起以生成完整的视频;这在Audio Studio中，只需单击一个按钮即可自动完成编译步骤。在最初的视频演示制作完成后，团队有两个最后几天来审查它，并纳入任何额外的编辑。我们创建幻灯片、脚本和音频的模块化方法有助于快速编辑所有谈话内容。一旦DRI批准最后的谈话，视频发布在YouTube和平台的网站上，供公众使用3.4定位谈话演示的初始创建是用英语进行的，如上面的三个阶段过程中所描述的。然后，群组成员可以自组织以开发任何先前创建的谈话的本地化版本。人群根据他们的专业知识和兴趣动态地形成团队他们可以自由使用任何现有的资源-包括幻灯片和脚本-并且可以在他们看到时编辑这些资源。由于以下几个原因，本地化过程可能具有挑战性：英语中的某些科学术语或短语并不总是具有合适的翻译;某些语言（例如，阿拉伯语和日语）在我们的社区中几乎没有贡献者;人群必须翻译书面脚本和幻灯片上的文本本地化通常由个人单独或以小团队的形式进行，质量经过同行评审，并以非结构化的方式完成，没有特定的截止日期或DRI。首页>外文书>人文>心理励志> Crowdsourcing and HumanComputation for the WebWWW 2018，2018年4月23日至27日，法国里昂6图4：日语、英语、奥里亚语、汉语、西班牙语和印地语演讲的幻灯片样本（从左到右，从上到下）。在107个研究报告中，有67个是外语的。4实际部署为了评估我们创建众包研究报告的系统，我们推出了一个名为Stanford Scholar1的在线平台，该平台向全球个人开放。4.1一个开放呼叫为参与在正式的演讲创作过程开始之前，我们通过公开呼吁来招募一群人参与。这一全球呼吁是通过社交媒体平台（例如，公共Facebook和LinkedIn群组以及Twitter）、公共邮件列表（例如，UW Change和Berkeley TIER）、在线平台（例如，exampleLetMeKnow.in、petitions.com），以及发送给世界各地大学的电子邮件。 这种请求定期重复。该呼吁旨在激励潜在的参与者，让他们有机会帮助传播研究理念，同时在协作环境中了解前沿工作。捐助者没有得到报酬或其他补偿，他们的参与是自愿的。4.2受试者人口统计学资料我们公开招募志愿者，结果有来自6大洲52个国家的840人报名。 大多数参与者来自美国（29%）和印度（48%）。参与者跨越了教育领域。已取得或正在取得的最高学位分布如下：11%高中文凭，59%本科学位，24%硕士，6%博士。25%的参与者是女性，人群成员的平均年龄为22岁。这些参与者主要有计算机科学或其他工程相关的ELD。参与者通常在他们所研究的论文主题方面具有现代技术专长。根据自我报告，在1至5的量表上，平均专业知识为2.7（中位数为3），其中1为三分之二的参与者之前没有准备或进行研究演讲的经验4.3成果按照上述流程，我们进行了两轮为期21天的谈话创建在每次迭代中，人群组成10个团队，创建10个英语演讲。 在开发该过程的初步工作中，我们运行了两轮额外的近似于我们的最终的方法，但在某些方面（例如，较早的轮具有较少的齿结构）。总的来说，我们部署的四次迭代来自40篇不同论文的研究报告另外还用11种外语制作了67个视频，总共107个演示文稿。迄今为止，这些视频在YouTube上吸引了超过50，000次观看，400次分享和800名订阅者。这些演讲基于过去两年在顶级计算机科学会议和科学期刊上发表的40篇 这些论文涵盖了计算机科学的各个领域，包括人机交互、数据挖掘、机器学习和安全性。具体而言，论文发表在：WWW（7），CHI（4），UIST（3），KDD（2），AAAI（2），IJCAI（2）CSCW(2)，Nature（1），ICML（3），NIPS（1），SIGMOD（1），CVPR（1），WSDM(1)，EuroCrypt（1），OOPSLA（1），VLDB（1），ICWSM（1），SIGIR（1），ECCV（1）、IROS（1）、ICLR（1）、NAACL-HLT（1）和UBICOMP（1）。论文是由人群成员挑选出来的，通常是从会议上的最佳论文获奖者为了使科学知识在世界各地都能得到，以多种语言分发研究结果是很重要的。众包的优势之一是其可扩展性，以及其利用各种技能和专业知识的能力。基于40个英语演讲，人群成员用11种外语创建了67个版本：中文、印地语、西班牙语、加泰罗尼亚语、罗马尼亚语、奥里亚语、尼泊尔语、马拉雅拉姆语、日语、菲律宾语和泰米尔语。随着我们计划的继续，群组成员已经开始将内容本地化为更多语言，包括Asante Twi、阿尔巴尼亚语、阿萨姆语、希腊语、法语、阿拉伯语和波斯语。图4示出了由人群产生的本地化内容的一些示例。1https://scholar.stanford.edu首页>外文书>人文>心理励志> Crowdsourcing and HumanComputation for the WebWWW 2018，2018年4月23日至27日，法国里昂7图5：在一轮为期21天的视频制作中，同时制作了10个演讲垂直线将该轮划分为三个开发阶段。活动通常在周末和新阶段开始后更高4.4接合运动在我们的计划中，Slack是沟通和协作的主要媒介。除了一个公共频道外，每个演讲都有自己的公共频道。在该项目的过程中，超过10万条消息被发布到Slack。在每21天的视频制作周期中，人群同时进行10次演讲，平均每天交换约1，000如图5所示，这对应于一个特殊的21天的回合，参与和讨论的谈话增加了周末和减弱在工作日 这种行为可能源于这样一个事实，即这是一项自愿活动，参与者在一周内忙于学校和工作。平均而言，谈话小组由大约25名群众成员组成 在一轮平行创建的10个演讲中，每天大约有50人向Slack发布消息，超过100人阅读发布的消息。图6显示了每天参与人数的逐渐下降尽管如此，我们在整个talk开发过程中保持了一个庞大的贡献者队伍。5评价我们进行了多项调查，以评估众包方法的有效性及这些调查衡量了：（1）演讲质量和对谈话观众的教育价值;以及（2）过程质量和谈话创建者的学习经验为此，我们调查了三个不同的群体。(1) 论文作者。 我们联系了演讲所依据的40篇论文的作者。作为明确的主题专家，他们的反馈提供了宝贵的见解和图6：一轮视频制作期间的Slack活动，其中同时生成了10个视频，按每天阅读和编写消息的人数细分。垂直线将该轮划分为三个开发阶段。参与度逐渐下降，但在整个发展周期中，贡献者的数量达到了临界值。评估群众演讲的质量共有73位作者对我们的调查做出了回应。(2) 外部评价员。除了作者，我们还接触了与论文无关的人，从非专家到专家。我们征求了各大学的答复小组，并指导访问该项目网站的人在观看视频后进行我们的调查 我们要求对研究结果的整体演示质量和沟通提供投入。总共收到了260个回复。(3) 参与人群。我们要求对初始版本进行反馈我们从创建谈话的参与者那里收到了95份回复。 这个小组提供了关于谈话创作过程和他们的经验的反馈，但没有评估完成的谈话的质量。5.1演示质量和教育价值总体谈话质量以1 - 5的Likert量表进行评估，其中5为在我们调查的73位论文作者中，这些演讲的评分通常很高（平均= 4.1，中位数= 4）。 作者们也普遍认为这些讲座对那些试图获得论文概述的人很有用。在这方面，谈话的平均数为4.2，中位数为4，5为“非常有用”，1为“没有用”。下面的引文说明了我们从论文作者那里收到的一些反应。“The这肯定比我在WWW上的演讲要好。““It然而，并不是所有的作者都认为5分钟的格式足以传达论文“The首页>外文书>人文>心理励志> Crowdsourcing and HumanComputation for the WebWWW 2018，2018年4月23日至27日，法国里昂8深入到这个话题。从积极的一面来看，演讲确实可以为论文的关键贡献外部评估者--他们与论文无关回应了我们从论文作者那里得到的反馈根据260人的回答，这次会谈的质量再次被评为评分较高（平均值= 3.7，中位数= 4）。受访者还表示，他们成功地学习了论文的关键贡献，他们对理解的平均值为3.7，中位数为4，其中51表示值得注意的是，大多数受访者（65%）表示，他们宁愿花五分钟看视频，而不是浏览文件。下面的报价显示了我们收到的一些反馈。“我发现这篇论文很抽象，很难理解，所以视频是一个很有帮助的总结。这种视频格式非常适合这样的情况，因为论文的信息可能很难浏览。”“我惊喜地发现在五分钟内覆盖了多少物质。这段视频似乎在控制总时长和保持合理的深度之间取得了很好的平衡。”“Sometimesit’sdiculttounderstandthemethodol- ogy, ow of system or algorithm whilereading paper,理解”图7显示，外部评估人员的评分有些高，而对该主题具有基本技术专长的人的评分更高，这可能是因为会谈明确针对这一群体。在来自外部评估人员的260份回复中，73%的人将自己的专业知识评为3、4或5。 这个具有领域专业知识的受访者小组的平均值为3.8（中位数= 4），平均值为3.8（中位数= 4）。相比之下，没有这种领域专业知识的评估者对谈话质量的平均评分为3.4（中位数= 3），其可理解性的平均评分为3.3（中位数= 3）。t检验显示，这些组间差异在1%水平下具有统计学显著性（p=0. 005，p=0。0002为了理解）。5.2群众参与和学习经验我们的方法旨在吸引和留住志愿者，在协作和教育环境中创造高质量的演讲。因此，必须衡量参与者对倡议的看法，以衡量其可持续性。总体而言，参与者表示该计划是一次高质量的体验（平均评分= 4.5，中位数= 5，5为“很好”）。 人群成员还表示支持该进程的各种结构要素。例如，参与者发现迭代谈话评论非常有用（平均评分= 4.4，中位数= 5，5表示“非常有用”）。参与者将Audio Studio录音系统评为易于使用（平均评分= 4.0，中位数= 4，5表示“绝对简单”）。图7：视频质量和可理解性的评级作为评估者在该主题中的专业知识的函数我们的调查表明，人群志愿者的动机是参与该倡议的机会，了解研究，同时为公共利益作出贡献基于多重-通过对75名人群成员回答的选择问题的调查，我们发现，报告的前三大动机是了解不同的研究主题（93%），与世界各地的人合作（82%）和增加研究机会（69%）。这些定量结果也反映在我们从参与者那里收到的书面反馈“I关于计算机科学的热门话题但我一直没能开始。这个程序不仅激励我通读一篇论文，而且要求我足够理解它，以便创建一个关于它的演讲当更多的人和我们一起学习时，学习总是很有趣的“Before joining the program, I had wanted to con-这一倡议对双方来说都是一个机会在加入并为创建3个版本的谈话创作做出贡献的9个月后，我对机器学习，深度学习和HCI研究有了深入的了解我现在能够以更明智的方式为研究做出贡献。 我还学会了协作和团队合作，通过与来自世界各地的聪明和知识渊博的人组成的令人难以置信的团队合作。 我还学习了演讲技巧，因为我们必须在5分钟的演讲中解释和展示复杂研究论文的真正精髓。这些技能，将来对我来说，肯定是非常有价值的。正如上面引用的话所表明的，阅读论文和创建讲座有助于人群参与者了解研究主题。根据教育中建立的自我评估技术[12，47]，我们进行了一项调查，以更好地了解这种学习体验。我们发现，在开始演讲之前，参与者对他们在论文主题方面的专业知识进行了评分，平均得分为2.6，评分范围从首页>外文书>人文>心理励志> Crowdsourcing and HumanComputation for the WebWWW 2018，2018年4月23日至27日，法国里昂9-1至5（中位数= 3，N = 29），其中1是经过三周的谈话和研究这些评分上升到平均值3.4（中位数= 4，N = 29）。配对t检验显示，该差异在1%水平（p=4e 9）具有统计学显著性此外，在75名被调查的人群中，他们一般表示具有积极的学习经历，将他们的经历平均评定为4.2（中值= 4），其中1表示6创建深度讲座我们在这项工作中的主要重点是开发简短的研究报告;然而，我们结构化众包方法也有希望产生更长和更深入的讲座。为了研究这种潜力，我们让人群用几种语言制作了四个扩展视频教程，从30分钟到近5小时不等。这些教程是：（1）所有视频最初都是用英语创建的，第一堂课（阿拉伯语、印地语、西班牙语和加泰罗尼亚语。这些扩展讲座的创建遵循与5分钟研究讲座相同的基本过程，但有两个关键区别。首先，论文分析步骤被教学大纲创建所取代。这一步的目标有两个方面：确定讲座的整体结构，以及对讲座分成大约5-10分钟的短片段，可以由不同的团队并行进行。其次，考虑到视频内容内在的相互关联性，团队将更经常地相互交流，以确保一致性和工作效率。44名外部评估人员对扩展视频进行了评分一致在研究报告的评论中，这些讲座通常得到很高的评价，平均评分为3.9，5分中的中位数为4分7讨论和结论迫切需要开发新的方法，使科学知识提供给不同的全球受众。为了应对这一挑战，我们开发并评估了一个结构化的三阶段采用众包的方法，创建5分钟的研究讲座。在第一阶段，志愿者群体成员了解了这个过程，选择了要提交的论文，并组成了团队。在第二阶段，团队成员合作批判性地分析他们选择的论文，并创建一个幻灯片演示文稿和一个书面报告。演讲的幻灯片脚本 在第三阶段，参与者使用我们的Audio Studio应用程序将书面脚本转换为音频剪辑。这些音频剪辑和幻灯片通过编程方式拼接在一起，以创建完整的视频演示。来自52个国家的志愿者总共用12种语言就顶级计算机科学会议的论文创建了100多个讲座，包括WWW，KDD，CHI和CSCW。来自论文作者和外部评估者的评级和评论表明，创建的视频始终是高质量的。迄今为止，这些视频在YouTube上吸引了超过50，000次观看，400次分享和800名订阅者。反射 和 教训 从 我们我们相信三个关键的设计选择有助于我们的方法的成功：模块化，结构和社区。通过将会谈分解为幻灯片、书面脚本和音频记录，我们可以成功地克服协作视频制作的常见挑战。诱导这些片段被进一步分成微片段，其创建可以被并行化。虽然不是协作制作所有类型视频的通用解决方案，但我们证明了这种模块化对于创建研究谈话和深入的技术讲座非常有效。这种通用设计模式可以证明在从教育到新闻的各种开放式的、基于呈现的应用中是有用的一个结构化的、容错的工作流程--具有明确的时间线和动态的角色分配--有助于保持参与度和志愿者的承诺。这种结构帮助非专家快速学习dicult技术材料，并在相对较短的时间内制作高质量的内容。我们注意到，在没有这种结构的非正式试点研究中，很难实现高质量，甚至是完整的视频成员们缺乏方向，常常是孤军奋战。我们的动态DRI系统确保团队由活跃的成员持续领导，用活跃的参与者取代不活跃的DRI最后，我们优先创建一个充满活力的参与者社区，以促进可持续发展。例如，我们采用了以团队为基础的方法，鼓励参与者之间进行有意义的互动。我们还允许群众自我组织和支持-提供了自我表达的自由和对最终产品的控制许多与会者赞赏这种设计选择，指出他们参与的主要动机是有机会在一个支持性的社区中学习具有挑战性的科学概念理解和应对这种动机是至关重要的情况下，志愿人群工作。今后工作通过创建一个多语言研究会谈的开放库，我们寻求促进科学知识的传播，同时为世界各地的个人提供协作学习环境。下一步，我们计划把我们的工作重点放在三条战线上。首先，我们的目标是创建更多的长篇视频，并重新调整我们的流程，以协作方式制作复杂的、相互关联的材料。我们在这方面的初步努力已经产生了令人鼓舞的结果。第二，我们力求继续提高通话质量。虽然我们目前的方法一直能产生高质量的会谈，但总有改进的余地例如，人们可能会尝试动画或互动来增加观众的参与度。最后，我们计划研究我们的方法的长期可持续性和可扩展性我们的研究结