784→→→利用URL链接开放存取数据集和软件的计算复制研究吴健Muntabir HasanChoudhuryOld DominionUniversity Norfolk，Virginia，USAlsals002@odu.eduj1wu@odu.eduWilliam A.爱德华·A·英格拉姆福克斯弗吉尼亚理工学院和州立大学美国弗吉尼亚州布莱克斯堡waingram@vt.edu fox@vt.eduSarah M. 拉特迈尔C.李·贾尔斯宾夕法尼亚州立大学UniversityPark，美国宾夕法尼亚州smr48@psu.edu，clg20@psu.edu摘要数据集和软件包被认为是可用于复制计算实验的重要资源。随着开放科学的倡导和对研究科学主张的可重复性的兴趣日益增长，包括链接到公开可用数据集和软件包的URL已成为研究出版物的制度化部分。 在这项初步研究中，我们调查了在电子论文和学位论文（ETD）中包含开放获取数据集和软件（OADS）的学科依赖性和时序趋势，基于一个名为OADSClassifier的混合分类器，由启发式和监督学习模型组成。该分类器的最佳F1为0.92。 我们发现，OADS-URLs的包含表现出很强的学科依赖性，并且包含OADS-URLs的ETD的比例在过去20年中逐渐增加。 我们开发并共享了一个由500个手动标记的句子组成的真实语料库，其中包含来自科学论文的URL 。数 据 集 和 源 代 码 可 在 www.example.com 上https://github.com/lamps-lab/oadsclassifier。CCS概念• 一般和参考实证研究;·信息系统数字图书馆和档案馆;·计算方法- ologies监督学习;监督学习分类;信息提取。关键词再现性，ETD，语言模型，开放获取ACM参考格式：放 大 图 片 作 者 ： Lamia Salsabil ， Jian Wu ， Muntabir HasanChoudhury，William A.爱德华·英格拉姆Sarah M. FoxRajtmajer和C.李·贾尔斯2022年 使用链接到开放存取数据集和软件的URL进行计算复制的研究。 在网络会议2022（WWW '22同伴）的同伴程序，2022年4月25日至29日，虚拟活动，里昂，法国。ACM，美国纽约州纽约市，5页。https://doi.org/10.1145/3487553.3524658允许免费制作本作品的全部或部分的数字或硬拷贝，以供个人或课堂使用，前提是制作或分发副本的目的不是为了盈利或商业利益，并且副本的第一页上有本声明和完整的引用。必须尊重作者以外的其他人拥有的本作品组件的版权。允许使用学分进行摘要 以其他方式复制、重新发布、在服务器上发布或重新分发到列表，需要事先获得特定许可和/或付费。 请求权限请发邮件至permissions@acm.org。WWW1引言一般而言，重现性可定义为使用与原始研究者使用的相同材料重复先前研究结果的能力[1，8]。 结果可以通过物理实验（包括真实世界的设备、物体和人体）或计算实验获得。自互联网诞生以来，越来越多的研究论文使用计算方法来执行数值模拟，或使用机器学习和深度学习模型挖掘大数据[11，15]。越来越多的论文包含链接到开放获取数据集和软件（OADS）的URL，以使其工作更加透明，更容易复制。越来越多的场馆鼓励或要求提交的论文包含链接到OADS的URL。许多OADS参考标准培训和测试语料库，例如，ImageNet 1或广泛采用的软件包，例如，BERT2. 然而，仍然有大量的OADS-URL不太为人所知，但对研究人员来说可能有用。自动识别这些URL的方法将有助于构建支持多学科计算再现性研究的知识库。虽然识别URL相对简单，使用正则表达式，并非所有URL都链接到OADS。 发现链接到OADS的URL通常需要参考目标URL周围的上下文。例如，在表1中，上下文向读者表明只有第一句中的URL链接到OADS。然而，鉴于研究论文数量的快速增长，手动检查研究论文以提取OADS是费力且不切实际的[9]，并且据我们所知，该任务没有自动化。为了克服这一限制，我们提出了一种混合方法来自动识别OADS-URL。 我们实现了这种方法在一个管道，并将其应用到电子学位论文（ETD）。本文报告了ETD中确定的OADS-URL的学科依赖性和时间趋势。一个ETD通常代表了一个学生攻读学位的主要贡献。 我们通过抓取美国大学的图书馆资源库，收集了2021年前出版的约50万份ETD的全文和元数据[ 16 ]。这些ETD涵盖STEM和非STEM学科。 相对较长的文献，异质的研究领域，相对较宽的时间跨度，使这个语料库为我们的研究理想。©2022版权归所有者/作者所有。授权给ACM的出版权ACM ISBN 978-1-4503-9130-6/22/04。. . 十五块https://doi.org/10.1145/3487553.35246581http://www.image-net.org2https://github.com/google-research/bert785WWWSalsabil等人表1：包含OADS和非OADS URL的句子。图1：OADS URL分类管道2相关工作人们对评估和验证已发表研究结果的可重复性越来越感兴趣，特别是在社会和生物科学（SBS）[2，4]。在最近的一项研究中，作者试图在SBS论文语料库中识别出与实验再现性相关性相对较强的重要特征[18]。 其他工作同样尝试使用一组浅特征来预测SBS论文的可复制性[19]。但是，OADS-URLs不包括在内。最近的几篇论文研究了计算再现性。一篇论文研究了链接到数据集的URL，重点关注ACM SIGMOD和PVLDB [12]的论文 作者使用了一种简单的基于关键字的方法来搜索源材料的链接。示例关键字是 如果链接被发现是活动的，他们认为资源是可用的，而不区分URL是否真正链接到OADS。在另一项关于社会科学论文的研究中，使用了tf-idf和余弦相似性，但已知tf-idf在表示语义时不如词嵌入模型有效[7]。Färber 等 人 （ 2020 ） 使 用 Microsoft Academic Graph（MAG）分析了GitHub代码库的质量和使用情况[6]。作者发现了对特定计算机科学领域的强烈偏见（例如，机器学习）和出版场所。作者声称，MAG的URL集比直接从全文中提取URL更完整和精确，但他们没有提供所使用方法的详细信息。在其他工作中，作者研究了来自GitHub的140万字节笔记本，目的是提供对真实笔记本可重复性的见解[13]。 他们发现，只有24.11%的笔记本执行时没有错误，只有4.03%产生了相同的结果。上述两项研究中使用的URL仅限于GitHub链接，因此包含这些URL的论文大多在2010年之后发表。我们的工作包括HTTP或FTP协议下的任何URL。 我们使用包含多个学科的ETD来描述依赖性和趋势。3分类OADS URL。3.1体系结构概述我们的流水线架构示意图如图1所示。管道由以下模块组成。(1) PDF到文本转换。首先，论文的PDF文件是删除了单词之间的空格，使句子无法分割。因此，使用PDFMiner进行转换。(2) 句子分割。接下来，我们将SpaCy 3用于令牌-把课文编成句子。首先导入SpaCy库，然后，为了对句子进行标记，加载SpaCy的英语语言模型以覆盖文本的标记(3) 提取带有URL的句子 我们使用以下正则表达式来检测句子中的URL。然后提取包含URL的句子。(http|FTP| ftp）\：\/\/[a-zA-Z0-9\-\.]+\.| ftps)\:\/\/[a-zA-Z0-9\-\.]+\. [a-zA-Z]{2，3}（\/\S*）？(4) URL分类。提出了一种基于语义模型和基于学习的模型相结合的混合方法来对包含URL的句子进行分类。在这里，我们假设包含在同一个句子中的URL具有相同的类别。我们的分析表明，在500个句子中，超过93% 的句子只包含一个URL，这表明URL的数量与句子的数量大致一致。为了方便起见，我们将链接到OADS的URL称为OADS-URL，将包含OADS-URL的ETD称为OADS-ETD。3.2启发式分类器我们观察到，大多数发布者URL都没有链接到OADS。因此，我们考虑了一种简单的启发式方法来排除以.pdf结尾的URL或指向发布者的链接。 我们建立了一个受控列表，包括54家主要出版商，如Springer 、Wi-ley 和Sagepub. 这种启发式方法排除了非OADS URL，具有较高的准确性，因此它们不需要通过基于学习的模型进行分类。然而，我们将在我们的实验中调查是否语言模型单独可以实现更高的性能，而无需“知道”URL的域。3.3基于学习的分类器基于学习的模型使用预先训练的语言模型对句子进行编码 我们比较了三种基于transformer的语言模型，即BERT [5]，RoBERTa[10]和DistilBERT [14]。因为这三个模型都是用一般文本训练的，所以我们还比较了一个在学术文档上训练的文档级嵌入模型SPECTER [3]。BERT、DistilBERT和RoBERTa的最大序列长度为512。“bert-base-uncased”、“roberta-base”和“distilbert-base-uncased”架构分别用于BERT、RoBERTa和DistilBERT。 为了避免过拟合，我们尝试了不同的dropout值。 该模型表现良好，脱落率为0.2。BERT的输出尺寸转换为文本文件。 通过比较PDFMiner和PyPDF2，我们发现PyPDF2转换的一部分文本文件3https://spacy.io/包含URL的副结构类别（α螺旋、β链和无规卷曲）的利用生物信息学方法对蛋白质进行预测种oad工具可在网站www.example.com上获得http://npsa-pbil.ibcp.fr。补充附录可参见在非OADS网站www.example.com上的在线版本786∼AStudy of Computational Reproductivity Using OADS URLsWWW '22Companion，April25-29，2022，VirtualEvent，Lyon，France.Roberta，Distilbert和Specter是768。 向量表示用于训练和测试二元逻辑回归（LR）分类器。表2：不同混合模型的精确度（P）、召回率（R）和F1分数粗体行具有最高的F1。掩码URL原始URL3.4混动车型为了有效地使用标记数据并最大限度地提高性能，我们根据启发式分类器是否用于训练和/或测试来比较三种混合模型。采用F1最高的模型进行分析。(1) 无启发式分类器。 在该模型中，训练（测试）语料库中的所有句子都被编码成向量，并用于训练（测试）LR分类器。(2) 仅用于测试数据的启发式分类器。除了首先将启发式分类器应用于测试数据之外，与（1）相同。 其余句子使用LR分类器进行分类。(3) 用于训练和测试数据的启发式分类器与（1）相同，除了在使用LR分类器之前首先将启发式分类器应用于训练和测试数据。我们还调查了URL是否提供了有用的信息，提高句子表示。为此，我们准备了两组句子，一组是用单词“URL”掩盖的原始URL，另一组4数据地面实况数据集包括500个句子，其中包含从CORD-19 [17]和内部SBS论文语料库中提取的URL该数据集由两名研究生独立标记为OADS和非OADS，一致率为83.6%。 一位专家帮助解决了分歧。有几个URL很难标记，因为包含这些URL的句子含糊不清。例 如 ， 在 句 子 “For more informa- tion ， see ： http ：//www.icpsr.umich.edu/icpsrweb/icpsr/studies/4607”中，上下文中几乎没有指示URL是否链接到OADS的信息。在这些情况下，我们访问了URL链接到的网站在标记URL时，我们专注于确定内容的性质OADS-URL不一定是活的。最终的地面真值包含248个标记为OADS的样本，其余标记为非OADS。 它被随机分为400个训练样本和100个测试样本。我们从大约45万个ETD中随机选择了10万个ETD[16]。整个数据集是通过爬行42所大学图书馆收集的图书馆提供的一小部分ETD元数据是不完整的。某些字段（如年份）缺失。我们选择的所有ETD都包含“年份”和“部门”字段中的值。使用PDFMiner，我们将96，842个ETD从PDF转换为文本文件。图书馆提供的元数据包含60多个部门。由于许多系是密切相关的，我们使用维基百科4的学术学科大纲将系合并为18个学科（图2）。混合模型无启发式分类器0.860.720.810.860.890.89启发式分类器测试数据0.860.900.890.870.950.91启发式分类器用于训练和测试数据0.860.930.890.870.980.92表3：使用不同语言模型的OAD-S分类器的精确度（P）、召回率（R）和F1原始URL语言模型BERT 0.80 0.90 0.85 0.86 0.90 0.88DistilBERT0.860.930.890.870.980.92罗伯塔0.680.880.780.740.950.83斯佩克特0.770.800.790.780.880.835实验结果5.1混合分类器性能我们首先比较3.4节中提出的三种混合模型。使用标准指标：精确度，召回率和F1分数来评估性能。 结果列于表2中。 由于空间限制，我们只展示了DistilBERT作为语言模型的性能。 结果表明，对训练数据和测试数据都加入统计分类器，F1最高达到92%。屏蔽URL5会使性能降低3%。接下来，我们研究语言模型对性能的影响。 表3表明，使用DistilBERT实现了最佳的F1=0.92，使原始URL保留在句子中。BERT+LR模型获得了第二好的结果，F1=0.88。表3还显示，一般来说，如果URL未被屏蔽，则分类器会获得更高的F1分数，这表明URL包含有助于生成更好的句子表示的有用信息我们将此归因于BERT及其变体中使用的WordPiece标记器。尽管任意URL可能是词汇表外标记，但是URL可以被进一步解析成子字标记。 某些子字令牌，例如包含“数据”和“软件”等单词的子字令牌，可以是OADS-URL的特征。5.2纪律部门通过将OADSClassifier应用于我们选择的ETD，我们在369，802个包含URL的句子中识别出51，201个（14%）包含OADS-URL的句子。识别的OADS-URL出现在15，951个ETD中，即， 大约16岁。3%的ETD在我们的语料库。4https://en.wikipedia.org/wiki/Outline_of_academic_disciplineswww.example.com 将URL https://foo.com/bar替换为字符串屏蔽URLPRF1PRF1PRF1PRF1787OADS-URL% OADS-ETD%百分之二十四点三百分之十二点六百分之二十八点五13.0%百分之二十七点六8.1%27.0%百分之十点二百分之十九点七百分之十六点四百分之十点八10.0%百分之九点六5.8%8.8%百分之九点五8.4%6.5%百分之八点二2.4%6.4%−−WWWSalsabil等人计算机科学社会学人类学教育工程百分之十七点九百分之十七点九生物物理百分之二十点九百分之十六点一百分之十二点一百分之十五点一心理学百分之十四点七 20.0%经济学化学数学商业地质科学历史百分之五十点二图3：在我们的数据集中，OADS-URL和包含OADSURL的ETD的数量作为出版年份的函数艺术百分之二点五百分之五点五英语地理4.0.0%0.0%4.7%0%的百分比图2：OADS-URL和OADS-ETD的分数对学科的依赖性。接下来，我们研究OADS-URL的包含如何取决于学科而变化。图2显示了两个部分：OADS-ETD%= NOADS-ETD， OADS-URL%=NOADS-URL。（一）NETDN URL对于给定的规程，NOADS ETD是包含OADS-URL的ETD的数量，并且NETD是该规程中的ETD的总数。类似地，NOADS URL是OADS-URL的数量，NURL是该规程中URL的总数图2显示了几个有趣的结果。(1)计算机科学的OADS-ETD百分比最高（50.2%），与Färber等人的图7一致。 [6]，这表明大多数计算机科学ETD都包含OADS-URL。（2）社会科学中的ETD（例如，政治学、社会学、人类学和教育学）比STEM学科（例如，工程学、生物学和物理学）。特别是，我们没有发现任何包含OADS-URL的717 个 地 理 ETD （ 3 ） 某 些 学 科 的 OADS-ETD 比 例 非 常 小（<10% ），例如化学（9.6% ），商业（8.4% ）和地质科学（8.2%），这表明在这些学科中找到计算可复制的作品的频率较低。（4）OADS-URL%呈现相对均匀的计算机科学的OADS-URLs百 分 比 最 高 （ 24.3% ） ， 其 次 是 生 物 学 （ 20.9% ） 和 心 理 学（20.0%），表明这些领域的大多数ETD中的URL（> 75%）不链接到OADS。这种现象在化学（10%）、数学（5.8%）和地质科学（6.5%）等学科中更为突出。5.3时序趋势在我们的ETD样本的上下文中，我们分析了OADS-URL的时间趋势我们承认，我们的样品可能图4：OADS-URLs的分数（蓝色）和包含OADS-URLs的ETD（红色）作为年份的函数。由于最近的ETD禁运（因此不存在于数据集中）比旧的ETD更多，并且禁运的部分是学科特定的。此外，由于我们的收集过程，从2019年开始的ETD数量少于预期，如果该过程在几年内重复，2010年之前的数量也同样低;这些因素可能导致分析中的不确定性。尽管如此，我们假设，对于这个初步分析，这些问题不会显着影响我们的研究结果。图4显示了OADS-URL的分数和OADS-ETD的分数作为年份的函数;我们使用等式中（一）. 首先，OADS-ETD的比例从2000年的不到5%逐渐增加到2010年的25%以上，到2020年约为40%。其次，OADS-URL的比例在2000年之后似乎相对稳定。自二零一六年起，该比例已由15%逐步下降至二零一九年至二零二零年的约10%有两个可能的原因可能导致这种趋势。（a）ETD中非OADSURL的增长，以及（b）由于禁运ETD和OADS-URL之间的弱相关性而产生的选择偏差（如图3所示需要对（a）和（b）进行进一步调查。788AStudy of Computational Reproductivity Using OADS URLsWWW '22Companion，April25-29，2022，VirtualEvent，Lyon，France.6结论与讨论以OADS-URLs为代理，研究了学术文献的计算再生产，重点研究了从美国大学收集的ETD 一个关键的贡献是一个模型，自动识别句子包含OADS-URLs从研究论文。该模型的最佳F1为0.92。我们对ETD中URL的分析发现，OADS-URL的包含表现出对学科的强烈依赖。OADS-ETD的比例在过去20年中逐渐增加OADS-URL的比例在2000年至2015年之间相对稳定。这项工作有以下局限性。首先，训练和评估是基于从CORD-19和SBS论文中提取的样本;我们假设该模型可以转移到其他学科。表3 中的结果表明，在一般文本上训练的语言模型（即，DistilBERT ） 击败了在 学术文 档上训练 的语言模 型（ 即，SPECTER），表明学科之间的语言差异可能并不显著，因此模型可以用于该任务。其次，需要更完整的样本来揭示2016年后更准确的依赖性和趋势。除了解决上述限制之外，未来的计划还包括开发一个多类分类器，以区分OADS-URL是链接到数据集还是链接到软件，以及它们是由作者还是由第三方发布的。致谢这项工作得到了博物馆和图书馆服务研究所通过LG-37-19-0078-19拨款的部分支持，以及国防高级研究计划局（DARPA）根据合作协议编号2007 - 0077的部分支持。W911NF-19-2- 0272。资料的内容不一定反映政府的立场或政策，也不应推断政府对此表示认可。引用[1] JohnT Cacioppo ， Robert M Kaplan ， Jon A Krosnick ， James L Olds 和HeatherDean。2015.社会，行为和经济科学对强大和可靠的科学的看法。在科学咨询委员会的可复制性小组委员会的报告，以国家科学基金会理事会社会，行为和经济科学1（2015）。[2] 科林·FCamerer，Anna Dreber，Felix Holzmeister，Teck-Hua Ho，JürgenHuber ， Magnus Johannesson ， Michael Kirchler ， Gideon Nave ， BrianA.Nosek，Thomas Pfeiffer，Adam Altmejd，Nick Buttrick，Taizan Chan，Yiling Chen ， Eskil Forsell ， Anup Gampa ， Emma Heikensten ， LilyHummer，Taisuke Imai，Siri Isaksson，DylanManfredi，Julia Rose，Eric-JanWagenmakers，and Hang Wu. 2018年 评估2010年至2015年自然和科学社会科 学 实 验 的 可 复 制 性 。 Nature Human Behaviour2 ， 9 （ 2018 ） ， 637https://doi.org/10。1038/s41562-018-0399-z[3] Arman Cohan、Sergey Feldman、Iz Beltagy、Doug Downey和Daniel S.焊接2020. SPECTER：使用引用信息转换器的文档级表示学习。在计算语言学协会第58届年会的会议记录中，ACL 2020，在线，2020年7月5日至10日，Dan Jurafsky，Joyce Chai，Natalie Schluter和Joel R.（Eds.）. 计算机语言学协会，2270https://doi.org/10.18653/v1/2020.acl-main.207[4] 开放科学合作。2015年。心理科学的再现性评估Science349，6251（2015）。https://doi.org/10.1126/science.aac4716：https://science.sciencemag.org/content/349/6251/aac4716.full.pdf[5] Jacob Devlin ，Ming-Wei Chang，Wendon Lee，and Kristina Toutanova.2019年。BERT：Deep Bidirectional Transformers for Language Understanding的预训练。在计算语言学协会北美分会2019年会议记录：人类语言技术，NAACL-HLT 2019，明尼阿波利斯，明尼苏达州，美国，2019年6月2日至7日，第1卷（长论文和短论文）。4171-4186https://aclweb.org/anthology/papers/N/N19/N19-1423/[6] 迈克尔·法伯2020. 分析研究论文的GitHub存储库。计算机协会，纽约，纽约，美国，491-492。http：//doi.org/10.1145/3383583.3398578[7] Behnam Ganghmi，Philipp Mayr，Sahar Vahdati，and Christoph Lange.2016年 。 识 别 和 改 进 社 会 科 学 全 文 中 的 数 据 集 引 用 。 arXiv 预 印 本 arXiv：1603.01774（2016）。[8] 史蒂文·N放大图片作者：Daniel Fanelli，John P.A. 约翰2016年。研究的可重复性意味着什么？ Science Translational Medicine 8，341（2016），341ps12-341ps12.https://doi.org/10.1126/scitranslmed.aaf5027arXiv：https：//w ww.science.org/doi/pdf/10.1126/scitranslmed.aaf5027[9] Peder Larsen和Markus Von Ins。2010年。科学引文的增长率和科学引文索引提供的覆盖率的下降。 Scientometrics 84，3（2010），575-603.[10] YinhanLiu ， Myle Ott ， Naman Goyal ， Jingfei Du ， Mandar Joshi ， DanqiChen，OmerLevy，Mike Lewis，Luke Zettlemoyer，and Veselin Stoyanov.2019. RoBERTa：一种鲁棒优化的BERT预训练方法。arXiv电子打印（2019年7月）。arXiv：1907.11692[cs.CL][11] Sheshera Mysore 、 Zachary Jensen 、 Edward Kim 、 Kevin Huang 、 Haw-Shiuan Chang 、 Emma Strubell 、 Jeffrey Flanigan 、 Andrew McCallum 和Elsa Olivetti。2019. 材料科学程序文本语料库：用浅层语义结构注释材料合成程序在第十三届语言注释研讨会上。计算语言学协会佛罗伦萨，意大利，56https://doi.org/10.18653/v1/W19-4007[12] Mateusz Pawlik ， Thomas Hütter ， Daniel Kocher ， Willi Mann ， andNikolausAugusten. 2019 年 。 链 接 不 足 以 Datenbank-Spektrum 19 ， 2（2019），107-115.[13] João Felipe Pimentel，Leonardo Murta，Vanessa Braganholo，and JulianaFreire.2019. 中文笔记本质量与复制性的大规模研究2019年IEEE/ACM第16届国际采矿软件库会议（MSR）。507-517.https://doi.org/10.1109/MSR.2019.00077[14] Victor Sanh，Lysandre Debut，Julien Chaumond，and Thomas Wolf.2019年 。 Dis- tilBERT ， BERT 的 浓 缩 版 ： 更 小 、 更 快 、 更 便 宜 、 更 轻 . CoRR（2019）。arXiv：1910.01108[15] Sree Sai Teja Lanka，Sarah Rajtmajer，Jian Wu，and C.李·贾尔斯2021年从社会和行为科学论文中提取和评价统计信息。计算机协会，纽约，纽约，美国，426-430。http：//doi.org/10.1145/3442442.3451363[16] Sami Uddin，Bipasha Banerjee，Jian Wu，William A Ingram，and EdwardA Fox.2021. 建立多领域电子论文和论文集。2021年IEEE大数据国际会议（BigData）。IEEE计算机学会，6043DOI：10.1109/BigData52589.2021.9672058[17] LucyLu Wang ， Kyle Lo ， Yoganand Jumrasekhar ， Russell Reas ， JiangjiangYang，Darrin Eide，Kathryn Funk，Rodney Kinney，Ziyang Liu，WilliamMerrill ， Paul Mooney ， Dewey A. 放 大 图 片 作 者 ： Murdick ， DevvretRishi，Jerry Sheehan，Zhihong Shen，Bran- don Stilson，Alex D.Wade，Kuansan Wang，Chris Wilhelm，Boya Xie，Douglas Raymond，Daniel S.Weld，Oren Etzioni，and Sebastian Kohlmeier.2020年。CORD-19：新冠肺炎开放研究数据集。CoRR（2020年）。arXiv：2004.10706[18] JianWu，Rajal Nivargi，Sree Sai Teja Lanka，Arjun Manoj Menon，SaiAjay Modukuri，Nishanth Nakshatri，Xin Wei，Zhuoer Wang，JamesCaverlee，Sarah Michele Rajtmajer，and C. 李·贾尔斯2021年使用监督学习模型预测社会和行为科学论文的复制率。 CoRR（2021）。2019 - 04 - 04 01：00：00[19] 杨洋，吴悠悠，布莱恩·乌兹。2020年。使用人类和人工智能评估科学发现的深度可复制性 美国国家科学院院刊117，20（2020），10762-10768。
我的内容管理
展开
