不确定性管理中支持人类操作员的本体创建工具

11470如何在“不确定性”管理中支持人类操作员0在本体学习过程中0Guglielmo Marconi大学0意大利0r.enea@unimarconi.it0Maria Teresa Pazienza0罗马大学DII0Tor Vergata0意大利0pazienza@info.uniroma2.it0Andrea Turbati0罗马大学DII0Tor Vergata0意大利0turbati@info.uniroma2.it0Alessandro Colantonio0Coreurity0美国0acolantonio@coresecurity.com0摘要0创建本体是一个必不可少但具有挑战性的任务，可以由人或系统执行：一方面，对于人类操作员来说过于繁重，另一方面，对于机器来说也非常复杂，因为它必须能够处理不可忽视的“不确定性”。近年来，已经尝试自动化这个过程，但目前，由于自动创建本体涉及到许多方面（如领域术语提取，概念发现，概念层次推导等），尚未达到令人满意的解决方案。为了为本体的创建和丰富提供高效的工具，人类在这个过程中的参与仍然是必要的。我们的方法首先基于从异构源中自动提取三元组，然后将最可靠的三元组呈现给人类操作员进行验证。系统提供一系列图形表示，可以让用户了解自动生成本体的不确定性水平。然后，系统提供用户执行SPARQL假设查询的可能性（即假设根据置信度水平，源和三元组的结构为真）。0通过专用界面，人类可以根据个人分析接受或拒绝三元组。这种干预对于在较短时间内更好地完成本体创建任务至关重要。0本文根据知识共享署名-非商业性-禁止演绎4.0国际许可证发布。作者保留在个人和公司网站上传播作品的权利，并进行适当的归属。WWW'18Companion，2018年4月23日至27日，法国里昂。©2018IW3C2（国际万维网会议委员会），根据知识共享CC BY 4.0许可证发布。ACM ISBN978-1-4503-5640-4/18/04 DOI: https://doi.org/10.1145/3184558.31915480CCS概念0• CCS → 人类中心计算 → 人类0计算机交互（HCI）→交互范式→协作交互0关键词0本体学习，人机交互，不确定知识推理0ACM参考格式0R.Enea, M.T. Pazienza, A.Turbati, A.Colantonio.如何在本体学习过程中支持人类操作员管理“不确定性”。在2018年网络会议论文集中，法国里昂，2018年4月(WebConf'18)，8页。DOI:https://doi.org/10.1145/3184558.319154801 引言0本体学习是本体工程的一个分支，它通过从网络中提取信息来自动构建本体的任务。最近，随着需要为网络上可访问的大量数据赋予意义的需求，本体学习任务变得越来越重要。尽管取得了一些进展，但仍然存在一些研究问题，需要解决以提高提取和包含在本体中的信息质量。0其中一个最重要的是管理不确定数据。正如[1]所强调的，我们可以考虑两种不同类型的不确定性：客观不确定性和主观不确定性。客观不确定数据是一些本质上不确定的东西。例如，我们可以提到每日天气预报，其中降雨的概率用给定的概率表示。主观不确定数据代表的是本质上是真或假的事实，但由于数据噪声的原因，它们的值很难定义。由于数据提取的第一阶段通常是自动的，数据的最初误解可能是由于影响人类语言的固有歧义引起的。还有其他几个因素可能会影响提取数据的质量，例如网络信息源中存在错误信息（开放世界假设），或者由于缺乏上下文而导致机器无法推断出正确的概念的贫乏信息：对于机器来说，很难区分两位美国总统乔治∙布什和乔治∙W∙布什，他们在几份在线文件中通常被简称为布什。0主题：增强人机智能的人机协同WWW 2018，2018年4月23日至27日，法国里昂 . 11480我们在接下来的几节中提出的解决不确定陈述的方法是采用更接近人类认知过程的方法，即基于“假设”推理，也称为概念模拟（见第3节）。在第4节中描述的系统中，与不确定性相关的信息被推到本体之外，直接由基础设施（三元组存储）管理。这意味着从一阶逻辑推理器的角度来看，确定和不确定的陈述具有相同的价值。每个三元组的置信水平值不是静态的，而是通过学习本体过程不断更新，一旦系统检测到来自新数据的相同的1个三元组。用户可以使用UI进行SPARQL查询，并预先选择要涉及到的三元组。0除了上述给出的定义之外，这两种情况（主观不确定性和客观不确定性）之间存在着实质性的差异：在第一种情况下，没有真相可以被确定，因此即使有人类的支持，推断出的数据质量也很难得到改善。推理从这些数据中推断出新的信息的唯一方法是使用统计或模糊方法，如[2]和[3]中所述。在第二种情况下，关于事实的真相存在，但对于提取数据的代理来说是隐藏的，这就是为什么人类可以在支持自动提取过程中发挥重要作用的原因。此外，尽管一些研究人员[4][5]提出使用相同的统计推理方法从主观和客观的不确定数据中推断出新的信息，但也存在一些负面因素。应用于本体的统计推理需要对三元组进行实体化，以分配给它们一个置信水平或任何其他有助于描述其不确定性的属性。这可能会给本体造成很大的开销，在某些情况下，本体已经很大了。第二个负面因素是统计方法和实现它的算法通常是复杂且不可扩展的。那么，如果本体既包含确定的陈述，又包含不确定的陈述，或者甚至大部分陈述都是确定的，会怎么样？这不仅仅是一个理论上的情景，而且在本体学习过程中可能会发生，其中已经包含了一些确定的核心陈述，或者一些不确定的陈述是指向常见的外部本体的。0我们在接下来的几节中提出的解决不确定陈述的方法是采用更接近人类认知过程的方法，即基于“假设”推理，也称为概念模拟（见第3节）。在第4节中描述的系统中，与不确定性相关的信息被推到本体之外，直接由基础设施（三元组存储）管理。这意味着从一阶逻辑推理器的角度来看，确定和不确定的陈述具有相同的价值。每个三元组的置信水平值不是静态的，而是通过学习本体过程不断更新，一旦系统检测到来自新数据的相同的1个三元组。用户可以使用UI进行SPARQL查询，并预先选择要涉及到的三元组。0我们认为只要两个三元组的主语、谓语和宾语相同，它们就是等价的。02 相关工作0已经开发了许多不同的方法来处理本体中的不确定陈述，无论是处理不确定性（即如何存储它并将其包含在本体标准中）还是通过不确定公理进行推理以生成新的知识。尽管自从URW3-XGW3C组（参与不确定性推理定义）的报告发表以来已经过去了十年，但没有一种标准成为主导，最初由该组勾勒出的所有方法仍然存在。我们可以在关于存储不确定性的文献中确定两种主要方法。第一种方法更喜欢将这些信息包含在本体中。这种方法的一个例子可以在[3]中找到，其中资源的不确定性用模糊指数表示，可以使用特定的注释来表示。这些注释可以被模糊推理器[6]识别，而一阶逻辑推理器则会忽略它们。尽管这种方法应该确保本体仍然符合标准推理器，但这些推理器会将模糊公理视为真实的，可能导致不一致的结果。0第二种方法将本体陈述的置信水平视为本体的元数据，因此不包含在最终的本体中。第二种方法的一个例子是[1]，其中为每个公理分配的置信水平存储在一个临时模型中，称为LOM（学习本体模型）。LOM是可以定义本体学习过程的模型。这种方法的背后思想是逐步将公理从LOM移动到新的本体中，并通过评估函数逐步验证其一致性。所提出的过程是自动的，不提供人的支持。正如URW3-XG组的报告所强调的，对于不确定性的管理，推理是一个关键方面。我们已经提到了模糊方法，它允许表示和处理关于模糊（或不精确）信息的真实程度，但是概率方法也有许多解决方案和方法，如贝叶斯网络和许多对DL语言的扩展提议。最近提出了一些使用演绎推理来解决本体中的不确定性的有趣方法[7]。0我们在接下来的部分中介绍的方法的另一个关键方面是使用人的支持来解决不确定的陈述。将人类参与到由自动系统或其他人生成的本体调试中并不是新颖的。然而，在大多数情况下，使用领域专家来完成这个任务的成本是一个限制因素。为了解决这个问题，一些研究人员提出了工具[8]、方法[9]甚至游戏[10]来鼓励协作和成本较低的策略，如众包。02众包是众包和外包两个词的合并。在本体工程中，这意味着将知识获取外包给群体。群体是指一个未定义的、通常是大量的志愿者群体。0跟踪：增强人机智能的WWW 2018，2018年4月23日至27日，法国里昂 114903 研究问题和假设0先前描述的问题陈述涉及将不确定的知识与主要基于确定性陈述的语义Web技术相结合的困难。在从异构源自动本体学习过程中，这个任务是必要的。在前一节中，我们展示了文献中的一些方法，因为这是一个不断扩展的研究领域。根据所讨论的问题，我们的主要研究问题是：人的因素是否能够简化和改进主要基于获取主观不确定陈述的本体学习过程？对于这个问题的答案肯定是肯定的：有几个例子[11]使用人类反馈来提高自动获取的知识的质量。但是，向用户呈现一组事实和陈述是否总是一种有效的方法？如果我们收集主观不确定的陈述，它们本质上是真或假的，但其值对人操作员来说并不完全清楚呢？例如，我们可以考虑一个本体学习系统，用于丰富包含一些关于一组人的信息的初始本体。它可以用于从社交网络中爬取信息，这个操作可能导致它发现属于起始本体中每个人的一堆潜在配置文件。可以要求人操作员验证所有生成的陈述，选择与正确配置文件相关的陈述。这可能是一个非常困难的任务，如果每个配置文件生成的陈述数量很多，那么这个任务可能变得非常复杂。那么，上一个问题的一个子问题是：我们应该为人操作员提供哪些工具，以使任务变得更容易，即使他对所探索的领域没有广泛的知识？0我们的假设是，我们可以通过为人类操作员提供一个可以应用于不断增长的本体的“假设如果”推理工具来实现这个目标。根据[12]和[13]，“假设如果”推理，也称为概念模拟或疑问模型，是科学发现中最常用的推理方法之一，当精确的定量信息不可用时，以及当科学家试图开发对系统的一般或高级理解时，可能是有用的。与基于心理模型的定性推理的其他形式一样，“假设如果”推理允许人们在部分知识（无论是不完整还是不精确）的基础上进行推理，从而适应不确定性情况中的歧义[14]。“假设如果”推理还允许构建多个替代方案，这在科学家缺乏原则性知识时可能是有用的，这些替代方案可以使他们在推理中以某种确定性进行。0在[13]中，“假设如果”推理被描述为一种疑问的游戏。0这种游戏由一些陈述定义，这些陈述是前提条件（我们假设为真的内容）和结论（我们想要验证的内容）。游戏的参与者是询问者和神谕。询问者必须验证结论，从前提条件开始，并查询神谕，而神谕总是根据其知识返回真值。0从前提条件开始，通过查询神谕得出结论，而神谕总是根据它的知识返回真值。询问者可以进行两种类型的移动：0疑问移动和逻辑推理移动。0我们将这个模型转化为本体学习过程，使用不确定的陈述作为前提条件。结论是根据前提条件应该为真的陈述的集合。在之前的知识的视角下，必须验证它们的一致性。询问者是用户，而神谕是一个定制的三元组存储，如下一节所述。用户的移动由SPARQL查询（疑问移动）表示，而逻辑推理移动由用户进行的推理步骤表示，这应该让他验证前提条件。在第5节中，我们将展示如何在我们的系统中实现这个模型。0图1：IDRA架构0Track: Augmenting Intelligence with Humans-in-the-Loop WWW 2018, 2018年4月23日至27日，法国里昂 . 115004 我们的方法0本文介绍的工具LAM（Learned AxiomsManager）是IDRA（Inductive Deductive ReasoningArchitecture）[15]框架的一部分（图1）。0它旨在改进本体学习过程，同时使用归纳和演绎推理技术。04.1 IDRA0IDRA是一个通用架构，可以实例化为专注于特定领域的本体学习系统。因此，构成架构的模块可以分为领域相关组件和领域无关组件。前者主要由模块组成，利用UIMA[16]框架从异构源中提取信息，称为分析引擎。每个引擎都提供了从特定源提取信息所需的算法，因此如果源是自然语言文档，则可以是NLP分析引擎，如果要提取的信息以表格形式存在或者是多媒体文档，则可以是特定的解析器。分析引擎的输出是与源文档相关的一组注释，所有注释都采用CAS3格式。这一步使IDRA能够统一来自不同源的输入。在下一步中，注释由IDRA的另一个模块StatementsGenerator（SG）处理，该模块利用CODA[17]库从注释中提取RDF三元组。三元组被注入到我们将在下一节中详细描述的定制三元组存储中，该存储为用户提供了“假设如果”推理功能。0从分析引擎开始管理提取语句的不确定性。每个注释都附带一个置信度水平（在区间[0,1]的实数），由SG传递给相应的三元组。置信度水平可以根据分析引擎的实现与多个因素有关。它可能与用于分析文档的算法相关，也可能取决于用户对源的可靠性的分配。由于IDRA旨在在有限的文档语料库或不断变化的环境中工作，UIMAAEs和SG组成的子系统可以同时进行单个提取阶段或定期从一组选定的源（RSS订阅源）搜索新信息。来自SG的三元组的目的地是学习公理管理器（LAM）。存储在LAM中的每个三元组的置信度水平不是静态的，而是在提取阶段中已经存储的三元组再次出现时不断更新。04.2 学习公理管理器0LAM在IDRA的架构中起着主要作用。正如我们之前提到的，它负责存储来自SG的三元组。它不断更新每个三元组的置信度水平。03  CAS代表通用分析结构0根据传入的值和先前的出现次数，LAM对三元组进行调制。调制是通过计算相同RDF语句的所有出现的平均值来完成的。根据[1]采用的方法，LAM的主要目标是维护LOM（学习本体模型）。这意味着LAM存储的公理不代表单个本体，而是可能从LOM中提取的所有可能一致的本体。0在我们的方法中，将LOM转换为一致的本体不是利用评估函数的自动过程，而是LAM与人操作员之间的协作过程。与现有解决方案相比，LAM的主要创新之处在于可以根据用户定义的过滤器在LOM的片段上执行SPARQL查询。我们将这个功能称为“假设验证推理”，因为它允许用户对LOM中包含的公理进行假设，并验证对这些假设执行的SPARQL查询结果的演变。正如我们在第5节中所展示的，用户根据对语义领域的了解（即使是部分的）应用不同的策略来验证学习的本体。0LAM由后端和用户界面组成。后端根据APIREST模型实现，并提供一组端点（表1），可以被其他软件模块或用户界面访问。例如，在IDRA的架构中，REST接口允许SG将提取的三元组直接发送到LAM，连续地向其提供数据，无需用户进行任何操作。用户界面不仅实现了后端端点的活动表单，还提供了一组图表，描述了学习本体的实际一致性情况：LOM中存在多少不确定的语句以及它们如何在统计上分布。0在接下来的子章节中，我们详细描述了LAM的后端和前端。04.3 LAM后端：端点和架构0LAM架构的第一层提供了一组端点和标准的OData接口，可用于查询学习本体的元数据（如置信度水平和公理的来源）。0图2：LAM后端架构0Track: Augmenting Intelligence with Humans-in-the-Loop WWW 2018, April 23-27, 2018, Lyon, France 1. { 2. "triplesList": [ 3. { 4. "subject":"", 5. "object": "", 6. "mode":"merge", 8. "confidence": 200, 9. "source": "source1" 10. }, 11. { 12. "subject":"", 13. "object": "", 15. mode:”overwrite”, 16. "confidence": 700, 17. "source": "source2" 18. }, 19. ] 20. } The scope of the importData endpoint is the uploading of an entire ontology in the LAM. The supported format is RDF/OWL. This function is useful when the ontology learning process does not create an ontology from scratch but enriches an already existing one. In this case the confidence level of all the triples included in the ontology is set to the maximum value. Moreover, depending on the mode parameter called ONTOLOGY_EVOLUTION is possible to consider the initial statements as static: their confidence level cannot be changed by incoming equals triples, or non-static if the statements of the initial ontology can be affected by incoming ones. 11510saveTriples端点用于SG模块向LAM发送一组三元组。它需要进行POST请求，请求的body中包含包含要插入LAM的三元组数组的JSON。使用saveTriples端点的正确JSON示例如下：07."predicate":"http://www.w3.org/2000/01/rdf-schema#subClassOf",014."predicate":"http://www.w3.org/2000/01/rdf-schema#subClassOf",0图3：LAM数据模型。0主语、谓语和宾语（第4行、第5行、第6行、第12行、第13行、第14行）必须遵循标准的OWL2语法4，用于表示IRI资源、字面量和空白节点（在OWL2中称为匿名个体）。模式（第6行和第15行）属性允许将端点用于三元组的调制或验证。置信度（第8行和第16行）标记为“overwrite”模式的三元组的置信度水平，如果这些三元组已经存在于LAM中，将被替换为新值。标记为“merge”模式的三元组的置信度水平将通过计算分配给特定三元组的所有置信度水平的平均值来调制。04 https://www.w3.org/TR/owl2-syntax/0importData端点的范围是将整个本体上传到LAM中。支持的格式是RDF/OWL。当本体学习过程不是从头开始创建本体，而是丰富已有的本体时，此功能非常有用。在这种情况下，包含在本体中的所有三元组的置信度水平都设置为最大值。此外，根据名为ONTOLOGY_EVOLUTION的mode参数，可以将初始语句视为静态：它们的置信度水平不会受到传入的相等三元组的影响，或者将其视为非静态，如果初始本体的语句可能受到传入的语句的影响。0置信度水平用一个整数表示，取值范围为[0,1000]。源（第9行和第17行）属性保存三元组的来源。它可以与置信度水平一起用于过滤“假设”SPARQL查询中的三元组。0表1 LAM端点。0端点  范围  用途0保存三元组集合。0此端点需要进行POST请求，请求的body中包含三元组数组的JSON。不需要额外的参数。0导入数据，加载一个RDF/OWL本体。0此端点需要进行POST请求，请求的body中包含RDF/OWL文件，还需要ONTOLOGY_URL附加参数，用于发送加载的本体的IRI。通过名为ONTOLOGY_EVOLUTION的第二个布尔参数，用户可以选择是否固定本体中语句的置信度水平。0执行Sparql查询。0执行“假设”SPARQL查询。0此端点需要进行GET请求。请求时需要同时发送两个参数：sparql查询和odata过滤器。0executeSparqlQuery端点允许执行SPARQL查询。必须提供给端点的两个参数是SPARQL查询和一个过滤器。0Track: Augmenting Intelligence with Humans-in-the-Loop WWW 2018, April 23-27, 2018, Lyon, France . 11520根据odata标准5，过滤器可以应用于数据模型中包含的任何实体类型和属性。使用过滤器，可以选择一组语句作为本体的一部分进行查询，因此它们将被假定为真实，而不管它们当前的置信度水平如何。正如我们将在接下来的章节中看到的，用户可以根据置信度阈值过滤语句，假设超过该阈值的语句为真实的，但他也可以假设来自某个特定来源的所有语句为真实，或者他可以允许将查询执行到本体的分类部分，只包括具有rdfs:subClassOf谓词的语句，等等。0第二级包括语句调节器（SM），它是负责计算重复三元组的置信度水平和基于RDF4J框架的SPARQL查询解析器的模块。它处理SPARQL查询的执行。SPARQL查询解析器还包括一些演绎推理功能。0LAM的底层技术位于图2的最后一级，它是一个高速内存图数据库，实现了图3中描述的数据模型。0模型的主要实体是三元组，其中包括收集一些元数据所需的属性，这些属性对于人工操作员验证三元组非常重要。我们想强调其中的三个属性，即置信度水平、出现次数和来源，因为它们对于验证三元组非常重要。第一个属性存储了由SM计算的三元组的置信度水平。如果从分析文档中提取出三元组的单个实例，则SM将为该三元组分配与SG相同的置信度水平，否则它将计算置信度水平的平均值并增加出现次数。这个值在验证过程中也是用户评估的一个重要方面，因为它显示了三元组描述的事实在语料库中出现的频率。最后一个参数是三元组的来源，即三元组所提取自的文档的URI。在设置“假设”SPARQL查询时，这一点非常重要，因为它可以让用户假设来自某个特定来源的所有三元组都是真实的。05  http://www.odata.org/0来自某个被认为比其他来源更可靠的来源。0实体类型Triple还有三个导航属性6，将其与三个实体类型Subject、Predicate和Object连接起来。这些实体类型的目的只是为了将每个资源、字面量或bnode正确连接到一个三元组，并避免在存储库中重复资源。模型的最后一个实体类型是IRI_RESOURCES，它包括所有提供了IRI的资源，LITERALS和BNODES。0选择将内存图数据库用于三元组存储的实现是因为我们希望LAM在本体表示方面具有的灵活性。与传统的关系型数据库相比，图数据库的主要优势是无结构环境，可以根据用户的需求重新排列实体。从图3中显示的基本数据模型开始，可以根据用户的需求扩展运行时数据模型并重新排列它。例如，如果处理的本体是强分类的，可以通过在rdfs:subClassOf谓词上重新排列资源来扩展数据模型。这可以简化“假设”SPARQL查询中本体子树的选择。04.4 用户界面0APIREST架构为LAM提供了很大的灵活性，但另一方面，为了使人类参与更容易，我们开发了一个使用所有端点并利用底层技术支持的OData接口为用户提供额外信息的UI。通过UI，用户可以：0��上传要丰富的领域本体0��添加单个或一组不确定的陈述0��进行“假设”SPARQL查询（图4）0��批准/拒绝陈述（图5）06导航属性是实体类型上的可选属性，允许从关联的一端导航到另一端。与其他属性不同，导航属性不携带数据。7此功能主要是为了测试目的而添加的，因为SR的陈述供应应通过SG进行。0图4：用于进行“假设”SPARQL查询的LAM界面0图5：用于验证三元组的LAM界面0主题：增强人机智能的WWW 2018，2018年4月23日至27日，法国里昂 11530除此功能外，UI还提供了一些图表，显示了不确定性在不断增长的本体中的分布以及根据应用的过滤器在SPARQL查询中包含的确定和不确定陈述的配额。0图6：用例05 用例0在本节中，我们提供一个简单的示例，展示用户如何从“假设”SPARQL查询中受益。在图6中，我们展示了一个表示本体的一部分的图形，该图形可能是本体学习过程的结果。节点是rdf语句的主体/对象，而边表示谓词。绿色节点是已经是初始本体的一部分，而蓝色节点是通过学习过程获得的。节点布什1、布什2等表示一组被认为与乔治∙W∙布什相似的实体，因此SG在乔治∙W∙布什和这些实体之间创建了一组sameAs语句。由于来自真实本体学习过程的真实图可能非常复杂，我们应该为用户提供工具，以识别和验证正确的陈述或拒绝错误的陈述，而无需了解图的结构和内容，只需执行SPARQL查询。假设用户对乔治∙W∙布什有一些了解。他知道他是美国总统，但不知道他是德克萨斯州州长。他知道他发动了第二次海湾战争，但没有参加第一次，但他不知道他是乔治∙布什的儿子。根据他所知的情况，0关于乔治∙W∙布什并开始验证用户想要询问的陈述：“乔治∙W∙布什一生中有哪些工作？”一开始，用户可以尝试执行考虑整个本体的查询。这是第一个“假设”查询：“如果我考虑整个本体，结果会是什么？”使用IDRAUI，他应该考虑整个置信水平区间，即不过滤任何陈述，并设置以下SPARQL查询：SELECT ?job WHERE { GeorgeWBush hadJob?job }。根据收集的所有陈述，此查询将返回GWB拥有以下工作：0��美国总统0��德克萨斯州州长0��佛罗里达州州长0��足球运动员0通过分析结果，用户可以从他的部分知识推断出，在不完整的本体中可能存在不一致性，因为查询返回了一些不属于乔治∙W∙布什的工作。演绎推理器还将检测到另一个不一致性：乔治∙W∙布什不能同时是布什1和布什2或布什3和布什2，因为这些元素之间存在一个不是自反的isSonOf关系。为了改进结果，用户可以使用相同的SPARQL查询进行另一个“假设”查询，但将区间缩小到最可信的语句[0.8,1.0]，通过对置信水平应用过滤器。结果现在将只包括前一个答案的前两个项目：PresidentOfUSA和GovernorOfTexas。此外，由于isSonOf关系引起的不一致性现在应该仅限于将布什1与布什2连接起来的陈述，即这两个陈述：0��   0��   0现在用户可以交替假设其中一个语句为真，另一个为假，反之亦然，以验证哪种假设根据其知识产生最佳结果。在这种情况下，假设第一个语句为真，第二个语句为假，GeorgeWBush参与了第二次海湾战争，而在第二种情况下，他没有参与。0所提供的示例可以使用IDRA轻松执行，展示了本体学习过程产生的语句的验证过程如何得到改进，为用户提供了一个工具，让他对获取的语句进行假设并根据自己的知识验证结果。此外，用户不需要对领域有全面的了解，部分知识足以识别不一致的线索。06 结论和未来工作0跟踪：增强人机智能的WWW 2018，2018年4月23日至27日，法国里昂 . 11540在本文中，我们介绍了一种管理本体学习过程中不确定性的新方法。我们采用的方法的特点是为本体的每个公理分配置信度级别。置信度级别是本体学习过程中使用的算法的固有部分。与[1]一样，它不包含在本体中，而是作为元数据维护。不确定性管理的一部分已经转移到基础设施（三元组存储）中，其中存储并不断更新由学习过程提取的所有语句。通过人工操作员与系统之间使用“如果”查询进行学习本体的验证，让用户验证其对不确定语句的假设的影响。结果中的不一致性可以引导用户在不需要了解整个提取的本体的情况下识别错误的语句，也可以在对领域的不完全了解的情况下进行。用户对语句的接受或拒绝会影响它们的置信度级别，从而影响后续查询的结果。0系统的未来工作将集中在对“如果”查询策略的形式化上，以便快速检测不一致性。这应该有助于尽可能减少人工支持，让系统根据用户提供的领域本体自动评估查询结果。07 参考文献0[1]  P. Haase和J. Volker，"本体学习和推理-处理不确定性和矛盾"0不确定性和矛盾，在不确定性推理的语义WebI，Heidelberg，Springer-Verlag，2008年，第366-384页。0[2]  J. Huber，M. Niepert，J. Noessner，J. Schoenfisch，C. Meilicke和H.0Stuckenschmidt，"用于Web本体的概率推理基础设施"，语义Web杂志，第1256-2468页，2015年。0[3]  F. Bobillo和U. Straccia，"使用OWL 2的模糊本体表示"0国际近似推理杂志，第52卷，第7期，第1073-1094页，2011年。0[4]  U. S. T Lukasiewicz，"在描述中管理不确定性和模糊性"0语义Web杂志，第6卷，第4期，第291-308页，2008年。0[5]  S. F. Pileggi，"概率语义"，在ICCS 2016中。国际0计算科学会议，美国圣地亚哥，2016年。0[6]  FernandoBobillo和UmbertoStraccia，"模糊本体推理器"0fuzzyDL，知识基础系统，第95卷，第12-34页，2016年。0所在文献：WI '17国际网络智能会议论文集，莱比锡，德国，第65-72页。0[8] G. Wohlgenannt，M. Sabou和F. Hanika，“基于众包的本体工程”，所在文献：0[6] G. Wohlgenannt，M. Sabou和F. Hanika，“使用uCompProtege插件的工程”，所在文献：0[9] M. JM，M. MA和N. NF，“众包验证本体关系”，所在文献：0所在文献：AMIA年度研讨会论文集，华盛顿特区，2013年。0[10] K. Siorpaes和M. Hepp，“语义Web的游戏”，所在文献：0所在文献：IEEE智能系统杂志，第23卷，第3期，2008年，第50-60页。0[11] T. Mitchell，W. Cohen，E. Hruschka，P. Talukdar，J. Betteridge，A. Carlson，B. 所在文献：0Dalvi，M. Gardner，B. Kisiel，J. Krishnamurthy，N. Lao，K. Mazaitis，T.Mohamed，N. Nakashole，E. Platanios，A. Ritter，M. Samadi，B. Settles，R.Wang，D. Wijaya和A. Gupta，“无止境学习”，所在文献：0[12] S. B. Trickett和J. G. Trafton，““如果……”：概念模型的使用”，所在文献：0所在文献：《认知科学》，第31卷，第843-875页，2007年。0[13] J. Hintikka和J. Bachman，“如果……怎么办？迈向卓越推理”，所在文献：0[14] K. Forbus，“常识理解的定性建模”，所在文献：0所在文献：认知科学学会虚拟学术研讨会系列，来源：0http://www.cognitivesciencesociety.org/，2002年。0[15] R. Enea，“IDRA：一个基于本体的认知计算系统”，所在文献：0第16届国际语义网会议（ISWC 2017）博士生论坛论文集，维也纳，2017年。0[16] D. Ferrucci，“非结构化信息管理架构（UIMA）”，所在文献：0版本1.0，《OASIS标准》，2009年。0[17] M. Fiorelli，A. Stellato，M. T. Pazienza和A. Turbati，“CODA：计算机辅助的数据分析”，所在文献：0本体发展架构，《IBM研究与发展杂志》，第58卷，第2期，2014年，第1-12页。0“增强智能与人机协同的WWW 2018”跟踪会议，2018年4月23-27日，法国里昂