维基数据相对完整性测量方法及应用

17870Recoin：维基数据的相对完整性0Vevake BalaramanUniversity of TrentoTrento, Italybalaraman@fbk.eu0Simon Razniewski Max PlanckInstitute for InformaticsSaarbrücken, Germanysrazniew@mpi-inf.mpg.de0Werner Nutt Free University ofBozen-Bolzano Bozen-Bolzano,Italy Werner.Nutt@unibz.it0摘要0协作知识库Wikidata是维基媒体项目的中央存储，包含超过4500万个数据项。它作为在不同语言中链接维基百科页面的中心枢纽，自动化功能，如维基百科中的信息框，并越来越多地用于其他应用程序，如数据增强和问题回答。跟踪Wikidata的质量是这个项目的一个重要问题。在本文中，我们特别关注完整性方面。维基百科采用了几种自动化技术来跟踪和管理完整性，但这些技术通常是主观的，并且不能提供实体级别的清晰质量估计。在本文中，我们提出了一种通过与类似实体的现有数据进行比较来测量维基数据的相对完整性的方法。这种相对完整性方法在知识库中引入新类时很容易扩展，并已为维基数据中的所有可用实体实施。结果提供了与其他类似实体比较的实体完整性的直观感受。在这里，我们介绍了我们的实施方法，并讨论了策略和面临的挑战。0CCS概念0• 信息系统 → 维基百科；推荐系统；不完整数据；相似性度量；0关键词0维基数据，维基百科，数据完整性，数据质量，知识库0ACM参考格式：Vevake Balaraman，Simon Razniewski和WernerNutt。2018年。Recoin：维基数据的相对完整性。在WWW'18Companion：2018年Web会议伴侣，2018年4月23日至27日，法国里昂。ACM，纽约，纽约，美国，6页。https://doi.org/10.1145/3184558.319164101 引言0维基媒体基金会的项目，如维基百科、维基词典和维基教科书，对全球的人们来说是重要的信息来源。维基数据（Wikidata）是维基媒体项目家族的一个较新成员，它是一个协作数据库，作为其他维基媒体项目的结构化数据的中央存储库，并为各种其他应用程序提供结构化数据，范围广泛。0本文根据知识共享署名4.0国际（CC BY4.0）许可发布。作者保留在其个人和公司网站上传播作品的权利，并附上适当的归属。WWW'18 Companion，2018年4月23日至27日，法国里昂© 2018IW3C2（国际万维网会议委员会），根据知识共享CC BY 4.0许可发布。ACM ISBN978-1-4503-5640-4/18/04。https://doi.org/10.1145/3184558.31916410图1：L'Auberge du Pont deCollonges的Recoin。颜色指示器显示实体的完整性，而列表显示相关的缺失属性。0从博物馆元数据到政治透明度和科学出版物。Wikidata使得在维基百科的不同语言版本之间自动生成信息框成为可能，甚至允许将事实直接导入文章正文。例如，如果一位球员更换球队，仅需在Wikidata中进行一次更改即可更新所有（目前）288种语言版本中的信息。维基百科的其他几个功能，如特定类型的列表生成或相关链接建议，都使用来自Wikidata的数据。鉴于Wikidata项目的规模和影响力，为编辑人员提供评估Wikidata质量的能力，特别是完整性，是很重要的。完整性是一个数据质量度量，指的是特定数据集中所有所需信息的程度[14]。传统数据库是针对明确定义的领域建模的，具有定义可以添加到数据库中的内容的特定模式。在这些情况下，可以通过检查模式预见的所有属性是否具有非空值来轻松测量实体的完整性。相反，Wikidata是一个没有固定模式的开放领域知识库。虽然有一些核心属性，如出生日期或出生地，对于人类类别来说几乎是强制性的，但在Wikidata中可以表示超过4200个属性，适用于各种类别，其中许多只适用于特定情况（比如拘留地点或修道院秩序），因此无法严格定义应该存在的数据。以前关于Wikidata质量的工作集中在属性级别上，即评估实体的特定属性的数据是否存在。0Track: Wiki Workshop WWW 2018, April 23-27, 2018, Lyon, France2https://www.wikidata.org/wiki/Q455462Track: Wiki Workshop WWW 2018, April 23-27, 2018, Lyon, France17880图2：Antoine Griezmann的Wikidata页面。0是完整的[10]。在有权威来源的情况下，很容易检查Wikidata是否包含了AntoineGriezmann所效力的所有俱乐部，或者是否提到了里昂的所有区。通过Recoin工具（相对完整性指标），我们可以研究实体的完整性，这是一种不同粒度的调查。Recoin旨在回答“Wikidata中关于一个实体的数据有多完整？”这个问题，它基于一种相对完整性方法，将给定实体的数据与其他类似实体的数据进行比较。Recoin可作为任何已登录维基媒体用户的小工具使用[1]。0图1显示了Recoin对一个样本实体“L’Auberge du Pont deCollonges”的输出结果，这是里昂附近唯一一家拥有3颗米其林星的餐厅。02 背景0Wikidata是一个免费的众包知识库，拥有超过19,000名活跃用户[2]，其中包含人类知识的信息，并作为其他维基媒体项目的结构化数据的中央数据存储。任何人类知识中已知的实体都可以在Wikidata中表示为一个“项”，每个项可以由以下五个元素描述。（在本文中，“项”和“实体”这两个术语可以互换使用。）0(1)标签：标签是一个实体最常用的名称。两个实体可以有相同的标签。(2) 描述：描述是用来描述实体的短语。(3)别名：别名是除了标签之外，实体可能被称为的其他名称。(4)站点链接：站点链接是指链接到包含有关特定实体信息的其他维基媒体项目。(5)陈述：陈述表示Wikidata中关于特定实体的信息或数据。每个关于实体的陈述由一个属性和一个值组成。一个属性可以包含多个值。0标签、描述、别名和站点链接是多语言的（即，详细信息是针对特定语言输入的，可能在不同语言之间有所不同），而陈述是语言无关的，因为它们包含关于实体的语言无关事实。01 https://www.wikidata.org/wiki/Wikidata:Recoin0图2显示了AntoineGriezmann的Wikidata页面上的信息。它捕捉到了关于AntoineGriezmann的相关信息，包括他的个人和职业信息。然而，该页面没有显示关于Griezmann的数据完整性的指示。了解Wikidata中实体的数据质量可以让我们了解数据库的质量，并帮助编辑者/用户关注某些实体。由于Wikidata是由用户社区创建的，向他们提供有关实体的信息有助于他们更好地管理数据。这有助于提高知识库的质量。03 相关工作0考虑到知识库中数据的高覆盖率的重要性，研究已经致力于解决知识库的质量和增强问题。0知识库的完整性：出于概念和实际原因，知识库只包含现实中的一部分信息，因此是不完整的[12]。Paulheim研究了各种知识图谱细化方法，旨在识别错误信息并向图谱中添加缺失的知识[8]。所有这些方法都以某个数据源作为良好质量的参考。他区分了黄金标准策略和银标准策略，黄金标准策略是指外部知识的产物，例如人类提供的注释或其他知识库，而银标准策略则以知识库本身作为参考点。他指出“当前的研究工作很少涉及可扩展性问题”[8]。Aprosio等人通过提出一种远程监督方法来解决DBpedia中的数据覆盖问题，以扩展DBpedia知识库中属性的覆盖范围，该方法利用了维基百科[3]。Färber等人提供了分析不同知识库数据质量的标准[4]。他们定义了一些指标来评估知识库的质量，通过将其与黄金标准数据源进行比较。他们还使用手动创建的黄金标准对所选类别进行了评估，该黄金标准定义了每个人都应该具备的一小组核心属性。然而，这种方法无法扩展，因此知识库的完整性评估需要利用其他技术，例如数据趋势的识别[6]。0维基媒体项目的质量：质量长期以来一直被认为是重要的。在维基百科中，存在各种状态指示器和模板，用于标记文章，例如“优秀”，“无来源”，“存根级别”。还使用自动化工具来实现此目的，例如Objective Revision EvaluationService（ORES）[1]，这是一个可以自动预测文章和编辑质量的Web服务。在2017年，曾举行了一个关于将维基数据编辑分类为破坏性或非破坏性的竞赛，最佳系统可以达到87%的准确率[7]。然而，质量的表现形式不仅仅是破坏性。追踪维基数据完整性的最接近尝试是COOL-WD工具[10]，这是一个Web门户，允许记录实体的各个属性的值的完整性，例如里昂的大学或法国国家足球队的成员。COOL-WD还汇总了这些断言。human, we refine this by treating the values of their occupationproperty like types.We then compute the 5 most common properties in S that sub-jectS is missing, and show the average frequency of these propertiesin the comparison set S, subtracted from 1, as score(S, S). One couldeasily use more than 5 properties, yet, the influence of additionalproperties is diminishing, so 5 properties was found to sufficientlydescribe the shape of the distribution of the frequency of missingproperties.In the end, the score is discretized into 5 buckets as follows:• Level 5 (Very good informativeness) - 100%-95% score• Level 4 (Good informativeness) - 95%-90% score• Level 3 (Medium informative) - 90%-75% score• Level 2 (Basic information) - 75%-50% score• Level 1 (Very basic information) - 50%-0% score.As an example, consider Larry Sanger, the co-founder of Wikipedia,who in Wikidata is listed with the professions philosopher and blog-ger. Consequently, he would be compared with all other philoso-phers and bloggers. The most frequent properties among thesesubjects that Larry Sanger is lacking are member of, award received,work location, religion and described by source, which occur in 12.09%to 6.35% of these types of subjects, thus leading to an average fre-quency of missing properties of 8.38%, and a completeness score of91.62% (Level 4). For comparison, Trump’s score is 98.07%, whileTim Berners-Lee’s score is 95.63% (each Level 5).Both similarity and scoring function leave space for refinement.For computing subject similarity, a range of techniques such assimilarity of textual descriptions or relatedness measures in knowl-edge graphs could be used (for a recent survey, see [9]). For scoringsubjects, it is desirable to use more informed techniques than simplecounts, as frequent properties are not necessarily also important.In our ongoing work, we aim to devise more accurate and subject-specific ranking of properties [11].17890转化为单个分数。然而，这只描述了有多少属性包含完整信息，而不是实体是否包含所有相关信息。Wulczyn等人[13]在他们的论文中讨论了与我们的论文类似的问题，但是他们的研究对象是维基百科。他们提出了一个推荐系统，根据编辑者的兴趣向编辑者建议重要的缺失文章，以减少跨语言的文章覆盖差距。他们的研究结果表明，这种策划建议可以使文章被创建的机会提高3.2倍，并且增加编辑者的参与度2倍[13]。在最近的一篇论文中，我们开发了一种机器学习方法，用于预测在给定一个项目的情况下，人们会更感兴趣了解哪两个属性[11]。这种两两偏好可以以各种方式扩展为项目的所有属性的排名，并用于建议使项目完整所需的相关属性。为了学习这样的模型，该方法使用与维基数据项目对应的维基百科页面。这是一个局限性，因为并非所有维基数据中的项目都在维基百科中有相应的页面，而且大多数现有页面包含的信息很少。虽然已经有研究来改善维基媒体项目的质量，但是与维基百科不同，迄今为止还没有可用的工具可以提供实体级别的实时质量信息。04 方法0相对完整性。理想情况下，完整性一词定义了知识库是否以陈述的形式捕捉了关于项目的所有已知信息。直观地说，布尔参数应足以指示项目是否完整。对于不同于维基数据的定义域，这可能是可行的。此外，与属性不同，对于可以指示它们是否包含与项目相关的所有值的属性，通过布尔参数来表示实体完整性将传达很少关于实体质量的信息。将具有单个属性的实体标记为不完整，将具有超过100个属性的实体标记为完整并不提供关于它们质量的具体信息。此外，识别完整的实体是一种相当困难和不可行的方法，因为维基数据中的某些属性捕捉到的信息可能随时间而变化，例如，对于类型为“人”的项目，属性“医疗状况”。在这些情况下量化完整性，我们提议使用相对完整性的概念：与其他类似主题的召回进行比较。例如，要评估关于特朗普的数据的完整性，应该查看其他美国总统的知识库内容，要评估城市的完整性，应该查看类似城市的数据。形式上，相对完整性依赖于两个组成部分：（1）主题对之间的相似性函数sim（S1，S2），可用于计算主题S的（加权）一组相似主题S；（2）计算主题S相对于一组比较主题S的完整性的得分函数score（S，S）。我们接下来详细介绍这些概念的实例化。0图3：Recoin的架构。05 实施0在本节中，我们描述了Recoin的实现以及采用的策略的解释。实现分为三个模块。（1）相关属性-根据与实体相似的实体计算出最相关的缺失属性。0Track: Wiki Workshop WWW 2018, 2018年4月23日至27日，法国里昂17900（2）完整度-使用上述模块的数据实时计算每个实体的完整度。（3）与Wikidata的集成-将前面模块的结果集成到Wikidata页面中。0图3中我们展示了Recoin的架构。在高层次上，在运行时（当用户加载Wikidata页面时），Recoin插件查询托管在Toolforge3中的脚本，以检索项目的完整度得分和相关的缺失属性。05.1 相关属性0如第4节所述，缺失属性的平均频率决定了实体的完整度度量。在下文中，我们将属性值的实例称为类，将具有该值的项称为该类的实例。对于每个属性和每个类，我们计算属性的频率，即计算具有该属性的实例数量。这样，每个类都会根据属性在该类中的频率产生一个特定的排名。对于作为多个类的实例的实体，我们计算每个属性的加权频率，即将这些类中的频率总和除以这些类的基数总和。这种计算与第4节中的描述略有不同，因为这种方式，与感兴趣的实体共享多个职业的实体被计算了多次，但是实时计算属性频率是不现实的。通过对类型的属性频率进行加权，可以预先计算这些属性频率，而且差异通常很小。例如，法国现任总统埃马纽埃尔∙马克龙担任过银行家、政治家和政治家。维基数据中有6,704名银行家、338,464名政治家和792名政治家（截至2017年12月）。在银行家中，648人（9.7%）具有工作地点（P937）属性，而在政治家中，105,485人（31.2%）具有该属性，在政治家中，30人（3.8%）具有该属性。因此，该属性的最终计算频率是加权平均值，等于（648 + 105,485 +30）/（6,704 + 338,464 + 792）= 31%。05.2 完整性0我们的早期分析表明，基于所有缺失属性计算完整性并不有效。由于一个实体可能会缺少一些较少频繁的属性（可能是因为这些属性与其他类似实体完全无关），平均频率始终非常低，无法提供任何信息。相反，如果我们仅基于顶级属性来推理完整性，一个实体可能会被分类为最小完整性，只因为缺少一个主要属性。因此，我们尝试使用不同数量的属性作为我们分类的基础，并检查各个类别的结果，发现通过基于实体的前5个缺失属性来确定完整性分类可以实现最佳平衡。对于与死亡相关的特殊属性，如“死亡日期”或“死亡地点”，我们手动创建了规则，以过滤掉没有至少一个这些属性的人。03 https://wikitech.wikimedia.org/wiki/Help:Toolforge0图4：Antoine Griezmann的维基数据页面上的Recoin。05.3 与维基数据的集成0实施的工具部署在由维基媒体提供的toolforge托管环境中。一个端点接收请求以计算给定项目标识符的相对完整性，并返回一个json输出。此端点输出的数据然后被Recoin捕获，以集成到维基数据的网页中。完整性度量在维基数据中以可视化指标的形式表示。图4显示了Recoin在AntoineGriezmann的维基数据页面上的输出。通过Recoin，我们可以回答第2节中提出的问题（即，AntoineGriezmann的数据有多完整？）。尽管AntoineGriezmann的页面在维基数据中包含了大量的信息，但我们注意到某些相关属性没有列出。Recoin突出显示了这一事实，提出了最相关的缺失属性，并以可视化指标总结了完整性信息。根据社区的反馈，还提供了一个特殊版本的工具，仅建议使用外部标识数据类型的属性。05.4 API0我们还提供了一个独立的API，可用于对维基数据质量进行程序化评估。可以通过以下链接访问该API：0https://tools.wmflabs.org/recoin/getmissingattributes.php?lang=en& subject=Q18806100通过替换所需选择的Q代码和语言，可以使用该API进行独立的程序化评估维基数据质量。与Recoin工具不同，该API不需要登录维基数据，因此任何人都可以使用Recoin。05.5 使用Recoin进行分析0使用上述API，计算了在维基数据中，所有具有属性“职业”（Q937857）且值为“足球运动员”的实体的完整性得分。这使我们能够计算维基数据中所有足球运动员的完整性得分，并更好地了解整个足球运动员类别的完整性。截至2月24日，共有215,342个实体。0Track: Wiki Workshop WWW 2018, April 23-27, 2018, Lyon, France17910平均 平均数量 平均数量0实体完整性 属性 / 陈述 /0计数 得分 实体 实体01级 31 682 30 . 69 7 . 10 7 . 3802级 65 387 67 . 48 10 . 86 13 . 2803级 106 200 85 . 86 13 . 60 18 . 7204级 11 422 91 . 90 22 . 54 30 . 7305级 657 96 . 15 30 . 60 40 . 810表1：维基数据中足球运动员完整性统计0图5：维基数据中所有足球运动员的完整性估计。0在Recion中找到了2018年是类别人类并从事此职业的实例。表1显示了从Recion获得的统计数据以及从Wikidata获得的此类型实体的其他详细信息。图5显示了所有足球运动员中每个完整性级别的实体百分比。每个完整性级别的实体计数和相应的平均完整性分数从Recion中检索，而每个实体的平均属性数量和平均语句数量从WikidataAPI中获取。一个属性可能对一个实体有多个值，因此属性数量和语句数量会有所不同。从结果中我们可以看出，只有0.5%的Wikidata中的足球运动员具有高度完整的个人资料，而超过40%的个人资料只包含基本信息（级别1和2）。类别潜艇（Q2811）的实例使用Recion进行了分析。表2显示了相应的结果，而图6显示了每个完整性级别的实体百分比。截至2018年2月24日，Wikidata中共有1986个实体。在这里，虽然实体数量非常少，但Recion仍然可以根据该类别中的其他实体来确定它们的完整性。我们注意到超过60%的个人资料只包含基本信息（级别1和2）。0平均平均值 # 平均值 #0实体完整性属性/语句/0计数得分实体实体0等级1 334 46 . 60 1 . 12 1 . 150等级2 979 64 . 33 4 . 65 4 . 850等级3 589 82 . 04 7 . 30 7 . 690等级4 81 91 . 70 8 . 22 8 . 710等级5 3 96 . 12 12 . 00 13 . 000表2：Wikidata中潜艇的完整性统计数据0图6：Wikidata中所有潜艇实体的完整性估计。06 讨论0在本节中，我们讨论了衡量和量化相对完整性的主要挑战。0潜在的非单调性。第一个挑战是选择合适的相似度度量。我们目前选择考虑所有类别/职业，这导致了一些意外的结果。例如，著名的国际象棋选手加里∙卡斯帕罗夫被评估为比某些相对不知名的国际象棋选手更不完整，因为他的个人资料中存在其他职业。评估期望他具有其他职业的相关属性，而与他著名的职业相关的属性是存在的。一个潜在的解决方案是使用“等级”：Wikidata数据模型允许表达某些属性值优先于其他属性值，例如在卡斯帕罗夫的情况下，职业“国际象棋选手”优先于其他职业。然而，在类别的情况下没有等效的解决方案，因此需要自定义类别排序[5]。0一致性和相对完整性之间的相关性。关于相对完整性的第二个问题是它与属性一致性的关系。如果在一个类别中，所有实体几乎具有相同的属性，那么所有实体的相对完整性都会很好（缺少其他实体具有的少数属性）。相反，如果一个类别非常异质，大多数实体将缺少一些属性。0跟踪：Wiki Workshop WWW 2018，2018年4月23日至27日，法国里昂17920其他人已经做到了，从而平均而言相对完整性更差。例如，对于类别人类，我们通过职业对其进行了细化，但是一致性和相对完整性之间的相关性仍然存在于我们的方法中。0文化偏见。另一个挑战是相对完整性通过文化偏见的威胁。由于英语内容是最广泛使用/编辑的，这些实体受到文化偏见的强烈影响。由于具有最多属性的实体很可能获得更高的完整性级别，来自其他国家的实体几乎总是会获得较低的完整性分数，因为预期他们的页面具有与英语实体相同水平的信息。这种影响可能会降低该方法的接受度。0不适合的属性。为了确保用户体验，我们手动过滤了一些与死亡相关的不适合的属性建议，例如死亡日期或死亡地点，否则这些属性会经常排名靠前。然而，类似的属性也适用于其他类别，例如公司通过属性“解散、废除或拆除”。由于手动处理不可扩展，因此自动识别和过滤此类属性的方法将非常有用。0本文的完整性测量方法纯粹基于统计分布。然而，Wikidata具有丰富的本体论，可以帮助改进评估。理想情况下，可以直接利用诸如每个人都应该有出生日期之类的断言，或者可以使用约束条件，例如女性自行车手不具有男性自行车手数据库ID，以过滤缺失的属性。0尽管这些挑战有些主观，但我们认为它们是解决的重要方面，以提供更好的用户体验并保持Wikidata的高质量。07 结论0在这项工作中，我们提出了一种评估Wikidata实体完整性的方法。我们的方法基于现有数据。0对于其他类似的实体，我们提供了在Wikidata中部署的完整性指示器Recoin。我们认为，评估质量的客观标准对于资源分配和项目管理非常重要。Recoin是朝着这个方向迈出的有用的第一步。希望能够使用更细粒度的类似实体识别和能够评估属性相关性超出纯频率的扩展。0致谢0本工作得到博尔扎诺自由大学“TaDaQua”项目的部分支持。0参考文献0[1]ORES目标修订评估服务。https://www.mediawiki.org/wiki/ORES。访问日期：2018年1月21日。[2]Wikidata统计数据。https://www.wikidata.org/wiki/Special:Statistics。访问日期：2018年1月21日。[3] A. P. Aprosio, C. Giuliano和A.Lavelli。使用对维基百科的远程监督扩展DBpedia属性的覆盖范围。在NLP＆DBpedia中，第20-31页，2013年。[4] M. Färber，F. Bartscherer，C. Menne和A.Rettinger。DBpedia，Freebase，OpenCyc，Wikidata和YAGO的链接数据质量。9:1-53，2017年3月。[5] D. Fernández-álvarez，J. Emilio，L. Gayo和D.Gayo-avello。ClassRank：一种用于衡量知识图中类别相关性的方法，应用于Wikidata。语义Web，0:1-14，2017年。[6] L. Galárraga，S. Razniewski，A. Amarilli和F. M.Suchanek。预测知识库的完整性。WSDM，2017年。[7] S. Heindorf，M. Potthast，H.Bast，B. Buchhold和E.Haussmann。WSDM杯2017：破坏检测和三元组评分。在WSDM中，第827-828页，2017年。[8] H.Paulheim。知识图谱细化：方法和评估方法综述。语义Web，8（3）：489-508，2017年。[9] M. Ponza，P. Ferragina和S.Chakrabarti。用于计算维基百科实体相关性的两阶段框架。CIKM，第1867-1876页，2017年。[10] R. E. Prasojo，F. Darari，S. Razniewski和W.Nutt。使用COOL-WD管理和使用Wikidata的完整性信息。COLD研讨会在ISWC上，2016年。[11] S. Razniewski，V. Balaraman和W.Nutt。博士导师或医疗状况：向知识库属性的实体特定排名迈进。在ADMA中，2017年。[12] S. Razniewski，F. M. Suchanek和W.Nutt。但我们实际上知道什么。AKBC，2016年。[13] E. Wulczyn，R. West，L. Zia和J.Leskovec。通过推荐在不同语言之间扩展维基百科。在WWW中，第975-985页，2016年。[14] A. Zaveri，A. Rula，A. Maurino，R. Pietrobon，J. Lehmann和S.Auer。链接数据的质量评估：一项调查。语义Web杂志，2015年。0论坛: Wiki Workshop WWW 2018, 2018年4月23日至27日, 法国里昂