ScienceMiles：基于区块链的同行评审激励平台

11830ScienceMiles0研究人员的数字货币0Zeeshan Jan KMI -知识媒体研究所，开放大学米尔顿凯恩斯zeeshan.jan@open.ac.uk0Allan Third KMI -知识媒体研究所，开放大学米尔顿凯恩斯allan.third@open.ac.uk0南安普敦大学Luis-DanielIbanez南安普敦L.D.Ibanez@soton.ac.uk0Michelle Bachler KMI -知识媒体研究所，开放大学米尔顿凯恩斯michell.bachler@open.ac.uk0南安普敦大学ElenaSimperl南安普敦E.Simperl@soton.ac.uk0John Domingue KMI -知识媒体研究所，开放大学米尔顿凯恩斯john.domingue@open.ac.uk0摘要0同行评审是一种由志愿研究人员评估其他研究人员工作的社区驱动活动。同行评审是一项重要且耗时的活动，但很少得到认可。缺乏激励可能导致质量低劣的评审和研究人员的挫败感。在本文中，我们设想了一种基于区块链的平台“ScienceMiles”，通过加密货币来管理同行评审人员的激励。0CCS概念0• 网络→点对点协议；• 社会和专业主题→信息系统经济学；0关键词0区块链；ScienceMiles；同行评审；学术出版；激励0ACM参考格式：Zeeshan Jan，Allan Third，Luis-Daniel Ibanez，MichelleBachler，Elena Simperl和JohnDomingue。2018年。ScienceMiles：研究人员的数字货币。在WWW '18Companion：2018年Web会议Compan-ion，2018年4月23日至27日，法国里昂。ACM，纽约，纽约，美国，5页。https://doi.org/10.1145/3184558.319155601 引言0研究人员花费宝贵的时间参与许多活动，如同行评审，主持和参加研讨会和会议。这些活动支持更广泛的研究社区，但很少得到承认。同行评审是这样一种活动的例子，研究人员在繁忙的工作计划之外，额外花费时间阅读和审查其他研究人员的科学工作。他们负责对所呈现的研究具有适当的知识并评估其科学性。0本文根据知识共享署名4.0国际（CC BY4.0）许可证发布。作者保留在个人和公司网站上传播作品的权利，并附上适当的归属。WWW '18 Companion，2018年4月23日至27日，法国里昂© 2018IW3C2（国际万维网会议委员会），根据知识共享CC BY 4.0许可证发布。ACM ISBN978-1-4503-5640-4/18/04。https://doi.org/10.1145/3184558.31915560质量。研究人员的活动既没有公开承认，也没有激励措施。将同行评审工作添加到简历中是一种粗略的衡量方法，它不考虑评审质量，只有初级研究人员受益。为了认可、承认和激励研究人员的努力，我们提出了“ScienceMiles”的概念，这是一种用于激励同行评审的加密货币。研究人员每次审查一个研究对象时都会获得“ScienceMiles”，然后可以将其花费，要么将其作为悬赏提供给其他研究人员，以激励他们审查自己的研究对象，要么将其兑换为参加会议和期刊的福利，例如注册费折扣（类似于常客里程）。分布式账本在这种情况下具有双重作用：首先，它提供了一种分散执行“ScienceMiles”交易的方式；其次，它使评审具有不可变性和防篡改性。结合开放评审流程，这将促进对同行评审的健康批评、审查和质量控制。这种模式将鼓励研究人员及时提交他们的全面和建设性的审查意见。这个平台将尝试以可信的方式量化同行评审人员的贡献。奖励研究人员的评审将鼓励同行评审人员撰写建设性、公正、有用和无偏见的评审。本文的剩余部分结构如下：第2节对同行评审模式和激励措施进行了文献综述。第3节概述了“ScienceMiles”系统。第4节讨论了影响和挑战，最后是结论。02 文献综述0本节讨论同行评审模式、同行评审的激励措施和区块链技术。02.1 同行评审模式0同行评审实践遵循多种模式。例如，在[4]中，介绍了六种同行评审模式的案例研究。0（i）简单模式-当一篇出版物的作者和评审人配对在一起时；（ii）轮流模式-当参与者被分组，每个参与者评审组内其他人的工作时；0Track: 2018年4月23日至27日，法国里昂的第三届链接数据和分布式分类师研讨会2.3Incentive1https://zenodo.org2https://www.reviewercredits.com/receiving verification, a peer-reviewer’s profile is credited with Re-viewerCredits. This, however, is a manual and centralized approachto add reputation to the peer-reviewers’ profile, where Reviewer-Credits acts as a trusted third-party.Existing approaches to incentivize peer-reviewers are based oncentralized and manual systems requiring trust in third parties.Apart from the idea of a lottery fund for researchers, these modelsoffer no real-world value incentives.We present a model based on blockchain that would rewardpeer-reviewers and authors for submitting high-quality reviews.The immutability of the distributed ledgers would not allow abuseof the system or alteration of the record data in the database. Incontrast with existing approaches, our approach offers increasedbenefits as outlined in Section: 3.11840（iii）群体活动模式-当第三方评审一组作者的工作时；（iv）群体评审模式-当一组作者分别评审他们的群体工作时；（v）委员会评审模式-也称为“同行评审的会议委员会阶段”，当一组评审人对不同的文物产生一个评审时；（vi）多样性模式-当多个作者的出版物由多个评审人独立评审时。0可以使用基于区块链的激励模型来应用上述任何一种评审模式。然而，根据过程类型的不同变量，必须考虑不同的因素。02.2 开放评审0开放评审过程已经以多种方式实施，包括[5]：0（i）提交的手稿作为讨论文件在线上可用；（ii）评审人姓名在评审公开时公开；（iii）可以公开访问评审报告；（iv）评审报告包括作者在内可以公开访问；（v）接受与拒绝的论文评审报告可用。0已经有几种激励评审的方法，其中一些列在下表1中。Hauser[2]建议，提交评审意见的评审人如果在截止日期后提交，应该受到惩罚，并且他们的下一篇论文（作为第一作者，在同一期刊中）将被延迟两倍于他们的延迟时间。如果研究人员在截止日期之前提交评审意见，期刊将奖励他们，因为他们的手稿将在收到后立即送去评审，并在被接受时将其推高到出版队列中。Hauser进一步建议，如果习惯性迟交评审意见的人坚持他们的习惯，应该再加一周的延迟作为额外的惩罚。这个模型被提出来修复Hauser所称的“破碎的”评审过程，其中编辑者没有惩罚不法行为者[2]。Gropp[1]问道，同行评审是否得到了适当的激励，评审人是否被要求评估正确的事物？Gropp提出了一个激励模型，以筛选出好的同行评审人（例如，及时、负责和全面），然后将他们的姓名放入研究基金抽奖中。TheWinnower是一个发布后评审的平台，正在探索激励同行评审人通过将评审报告提升到原始研究出版物的水平来突出他们的工作[5]。TheWinnower平台旨在与托管开放科学出版物的Zenodo1仓库集成[5]。ReviewerCredits提出了一个给予同行评审人信用的想法。同行评审人必须与ReviewerCredits联系，后者将与相关期刊联系进行验证。在接收到验证后，同行评审人的个人资料将获得ReviewerCredits的信用。然而，这是一种手动和集中化的方法，用于为同行评审人的声誉增加信誉，其中ReviewerCredits充当可信第三方。现有的激励同行评审的方法基于需要对第三方信任的集中化和手动系统。除了为研究人员设立彩票基金的想法外，这些模型没有提供现实世界的价值激励。我们提出了一种基于区块链的模型，用于奖励提交高质量评审的同行评审人和作者。分布式分类师的不可变性将不允许滥用系统或更改数据库中的记录数据。与现有方法相比，我们的方法提供了在第3节中概述的更多好处。02.4 区块链0区块链近年来已成为一项颠覆性技术。它提供了分布式、不可变和防篡改的数据特性[7]。已经开发的同行评审系统是由出版机构集中控制的。通过在区块链上实施基于区块链的系统，可以建立一个研究人员（同行评审者）的公共个人资料池，并为他们的同行评审工作和贡献提供激励机制。03 科学里程系统0图1解释了从作者提交文章到会议开始的流程。会议管理通常将该文章发送给熟悉该研究领域的同行。同行随后审查该文章，并就该文章中呈现的工作、建议的改进以及是否接受或拒绝发表的意见写下他们的推荐。同行评审和决策的书面意见随后由会议公开，以便研究人员可以对评审进行评论和批评。给同行评审提交评审会给予一定数量的ScienceMiles。他们的份额将根据他们评审的建设性程度而增加。同样，批评或评论评审的人也将因其贡献而获得激励。这种游戏化将鼓励读者反思和评估自己的评审以及他人的评审，并为增加对话的探索铺平道路。03.1 基于区块链的同行评审系统0通过在区块链上部署开放评审系统，我们可以将当前的同行评审方法与区块链的优势相结合。在本节中，我们列出了在区块链上构建开放评审系统的好处。0• 认可 -根据同行评审的公开可见性，同行评审者将得到认可。通过在区块链上实施开放评审，认可和奖励将是永久和不可变的。研究人员将在其公开个人资料中显示其同行评审和奖励的统计分析。这些ScienceMiles是研究社区对研究社区贡献的认可。0Track: 2018年4月23日至27日，法国里昂举行的第三届链接数据和分布式分类账研讨会11850表1：激励模型比较0方法惩罚模型激励模型0Hauser [2] 同行评审的文章在编辑悬而未决一段时间。（即使同行评审者拒绝审稿）如果被接受，同行评审者的文章将在优先队列中等待发表。0Gropp [1] 不过滤优秀的同行评审并将他们放入抽奖基金0ReviewerCredit 3 No Credit奖励作为同行评审者的声誉指标。0ScienceMiles 不是数字货币，可以在其他平台上使用，并作为声誉衡量。0• 研究社区的活动 -通过参与公共平台，作者、同行评审和评论员将有资格获得ScienceMiles奖励。每个会议的最佳同行评审也可以获得ScienceMiles奖励。系统将记录给同行评审授予的ScienceMiles数量以及他们消费的里程数。 • 防止滥用 -发表记录对学术事业非常重要，这可能导致人们操纵系统的原因。激励措施的可用性可能增加操纵的动机。这个模型可以通过利用系统的开放性和区块链提供的数据不可变性，防止对同行评审数据库的滥用权力。 • 减少偏见 -同行评审和对它们的评论是公开可见的，也是不可变的，因此评审人有动力对文章提出有效和明确的立场，从而减少同行评审过程中的偏见（如果有的话）。 • 选择 -所有期刊都维护着同行评审人和他们的历史数据库[2]。区块链提供了数据分布的独特特性，即数据在网络中传播，因此同行评审人的数据库与网络中的每个人共享。通过开放评审的过程以及以ScienceMiles形式的激励，编辑可以轻松地筛选出未来活动中最有能力的同行评审人。这种筛选将在网络中每个人都可以获得的真实不可改变的数据上进行。 • 更多讨论 - 更多知识 -赚取ScienceMiles的游戏化将鼓励研究人员和社区更多地参与同行评审的讨论。研究人员将有更多的动力参与同行评审活动，这将丰富关于研究质量和同行评审的进行中的讨论和想法。0最初，合作成员将为指定用于在区块链上铸造硬币（科学里程碑）的研讨会、会议和期刊创建帐户。需要调查和概述这些帐户的管理及其允许的操作。总体而言，这些好处促进了及时、公正和深思熟虑的同行评审，从而提高了科学产出的整体质量。04 挑战0在本节中，我们将重点关注该系统对同行评审过程的影响。04.1 共同影响和可接受性0随着区块链和数百种多样的加密货币的出现，许多人仍然对数字货币的工作原理一无所知。观察研究人员对科学里程碑的可接受性和使用的兴趣将是一项有趣的研究。进一步发展和部署科学里程碑的方法将使我们能够研究研究人员对专门用于学术目的的加密货币的反应。这是否在激励研究人员进行同行评审方面起到了有影响力的作用？公开档案将通过同行评审活动对同行评审和科学里程碑的数量进行汇总。在研究人员的公开档案上显示同行评审和科学里程碑的数量是否有助于展示社区贡献和科学出版物并存的情况？在区块链平台上发布同行评审数据的另一个好处是能够研究有关会议、出版组织、机构和个人研究人员的同行评审统计的更深入的研究问题。04.2 开放和封闭评审0设计和实施将需要进一步调查同行评审的开放性和封闭性的影响。目前，设计侧重于开放评审，但将来将考虑盲审和双盲审。04.3 关联数据0这将包括一个大型数据集，因此可供其他应用程序集成。一个重要的研究问题是调查在区块链上使用关联数据的同行评审和奖励系统对其影响。04.4 交易-科学里程碑作为货币实体0加密货币尚处于被主要电子商务平台接受的初级阶段。它们最近呈指数增长[3]。然而，许多人对数字货币一无所知。在外部平台上交易货币时，存在着深层次的实际和意识形态问题，如Sharples[6]所解释的那样。我们将不得不提出科学里程碑与现实世界价值物品之间的等价函数。同样，我们将不得不考虑各种社区活动的具体奖励水平，例如提交评论或对评论进行评级。另一个有趣的挑战将是提出除支付会议费和会议场地优先队列之外的可能奖励清单。由于该模型为同行评审人员提供了赏金计划，探索这样的赏金计划如何影响同行评审将是一个有洞察力的问题。0主题：第三届关联数据和分布式账本WWW 2018研讨会，2018年4月23-27日，法国里昂4https://www.ethereum.org/11860图1：同行评审人员认可系统0转账将对同行评审员产生影响，当他们收到加密货币时，他们的声誉不会增加。另一个问题与铸造新的科学里程碑的过程有关。在比特币等加密货币中，它们是作为矿工的奖励而铸造的。由于矿工的概念在科学里程碑中不存在，它们需要根据每个会议的基础来创建。我们将研究在以太坊等平台上使用基于智能合约的代币系统来实现这一目标。04.5底层区块链平台0ScienceMiles可以在公共区块链（如以太坊[8]）之上实施，然而，这意味着每次触发ScienceMiles的交易都需要向平台支付费用，这就引出了一个问题：谁来支付费用？或者，ScienceMiles可以在联合区块链上实施，验证节点由研究机构运行，以提供一个可信的同行评审环境，确保该联合体的规模和构成足够大和多样，以维护区块链内容的独立性和安全性。0在这种情况下，一个有趣的研究问题是：对于ScienceMiles这个特定案例来说，哪种权限区块链协议最合适？以太坊40该平台将用于部署ScienceMiles智能合约。为了避免计算成本并节省交易时间，我们将专注于采用非计算方法，而不是像PoW（工作证明）[8]那样铸币。05 结论0我们提出了ScienceMiles模型，以激励和游戏化学术同行评审过程，以鼓励研究人员及时、公正、相关和建设性地评审他人的工作，并认可和奖励对学术社区的个人贡献。结合开放评审过程，该模型有潜力产生积极的影响。0会议: 2018年4月23日至27日，法国里昂举办的第三届链接数据和分布式分类帐WWW 201811870我们打算研究ScienceMiles引入对学术出版流程和结果质量的影响，并希望将来ScienceMiles可以超越研究范畴，应用于其他非激励的同行评审领域。0参考文献0[1] Robert E Gropp, Scott Glisson, Stephen Gallo, and Lisa Thompson. 2017. PeerReview: A System under Stress. BioScience 67, 5 (2017), 407–410. [2] Marc Hauserand Ernst Fehr. 2007. An incentive solution to the peer review problem. PLoSBiology 5, 4 (2007), e107. [3] Peter M Krafft, Nicolás Della Penna, and Alex Pentland.2018. An Experimental Study of Cryptocurrency Market Dynamics. arXiv preprintarXiv:1801.05831 (2018). [4] David Millard, Patrick Sinclair, and David Newman.2008. PeerPigeon: A web application to support generalised peer review. (2008). [5]Birgit Schmidt, Arvid Deppe, Julien Bordier, and Tony Ross-Hellauer. 2016. PeerReview on the Move from Closed to Open.. In ELPUB. 91–98. [6] Mike Sharples andJohn Domingue. 2016. The blockchain and kudos: A distributed system foreducational record, reputation and reward. In European Conference on TechnologyEnhanced Learning. Springer, 490–496. [7] Allan Third and John Domingue. 2017.LinkChains: Exploring the space of decentralised trustworthy Linked Data. (2017). [8]Gavin Wood. 2014. Ethereum: A secure decentralised generalised transaction ledger.Ethereum Project Yellow Paper 151 (2014).0会议: 2018年4月23日至27日，法国里昂举办的第三届链接数据和分布式分类帐WWW 2018