DL-Learner-语义Web上的结构化机器学习

4670DL-Learner -语义Web数据上的结构化机器学习0Lorenz BühmannSDA研究小组应用信息学研究所，莱比锡大学莱比锡，德国buehmann@informatik.uni-leipzig.de0Jens Lehmann企业信息系统，弗劳恩霍夫IAIS应用计算机科学研究所，波恩大学圣奥古斯丁，德国和波恩，德国jens.lehmann@cs.uni-bonn.de0Patrick WestphalSDA研究小组应用信息学研究所，莱比锡大学莱比锡，德国patrick.westphal@informatik.uni-leipzig.de0Simon BinSDA研究小组应用信息学研究所，莱比锡大学莱比锡，德国sbin@informatik.uni-leipzig.de0摘要0下面的论文是期刊论文[5]的扩展摘要。在这篇系统论文中，我们描述了DL-Learner框架。它在各种数据和模式分析任务中都很有益，适用于不同的标准机器学习场景，例如生命科学，以及本体学习和丰富等语义Web特定应用。自2007年创建以来，它已成为主要的基于OWL和RDF的监督结构化机器学习软件框架，并包括多种算法实现、使用示例和基于该框架的应用。0CCS概念0•信息系统→Web本体语言（OWL）；资源描述框架（RDF）；•计算方法学→结构化输出；归纳逻辑学习；通过分类进行监督学习；统计关系学习；规则学习；基于实例的学习；0关键词0系统描述，机器学习，监督学习，语义Web，OWL，RDF0ACM参考格式：Lorenz Bühmann，Jens Lehmann，Patrick Westphal和SimonBin。2018年。DL-Learner-语义Web数据上的结构化机器学习。在WWW '18Companion：2018年万维网会议伴侣，2018年4月23日至27日，法国里昂，Claudiad'Amato，Francesco Marcelloni和RudiStuder（编辑）。ACM，纽约，美国，5页。https://doi.org/10.1145/3184558.31862350本文发表在知识共享署名4.0国际许可证（CC BY4.0）下。作者保留在其个人和公司网站上传播作品的权利，并附上适当的归属。WWW '18Companion，2018年4月23日至27日，法国里昂。©2018IW3C2（国际万维网会议委员会），根据知识共享CC BY 4.0许可证发布。ACM ISBN978-1-4503-5640-4/18/04。https://doi.org/10.1145/3184558.318623501 引言0在过去的二十年里，数据和知识在我们的社会中变得更加重要。研究面临的一个主要挑战是分析这个不断增长的信息量，以获取对潜在问题的洞察，例如在[7]和[18]中。在许多情况下，特别是在生命科学中，使用能够利用可用背景知识的复杂结构来学习假设的方法是有益的。DL-Learner1是一个开放的软件框架，其中包含几种这样的方法。它的主要目标是作为一个平台，用于实现和评估使用语义背景知识的监督结构化机器学习方法。关于DL-Learner的先前系统论文发表在2009年的《机器学习研究杂志》[12]上。与该系统描述相比，主要变化包括：•框架设计：该框架已从专注于使用OWL本体论作为背景知识来学习OWL类表达式的状态转变为更通用的监督结构化机器学习框架。组件通过Java Beans和JavaSpring框架进行集成，这允许它们之间进行更精细和更灵活的交互。此外，算法还根据接收到的功能请求不断扩展选项。同样，新的API和推理器也在不断升级。•学习SPARQL查询的新算法（作为问答中的反馈组件），模糊描述逻辑表达式，并行OWL类表达式学习的特殊目的算法，用于EL描述逻辑的两个算法，以及从SPARQL端点中几乎所有OWL2公理进行知识库丰富的算法以及将归纳学习与自然语言处理相结合的算法已经集成。•可扩展性增强：现在有统计抽样方法可用于处理大量示例，以及处理大型知识库的不同知识库片段选择方法。01 http://dl-learner.org，https://github.com/SmartDataAnalytics/DL-Learner0论文跟踪：Journal Papers WWW 2018，2018年4月23日至27日，法国里昂merge, transformuse...ReasonerAlgorithmLearningOperatorLearningProblem Source Knowledge- OCEL- CELOE- ELTL- ...- Class Learning Problem- Pos/Neg Learning Problem- Fuzzy Pos/Neg Learning Problem- Pos Only Learning Problem- Upward/Downward Refinement- Different OWL Profiles- Ontology File- SPARQL Endpoint- Pellet- HermiT- ELK- OWLlinkJava SpringConfiguration4680领域知识0领域专家0集成的综合知识0学习系统0监督学习问题0知识库0符号分类器和准确性评估0图1：通用学习工作流程。0本文结构如下：第2节描述了DL-Learner旨在解决的问题。随后，在第3节中描述了软件框架。我们在第4节中总结了DL-Learner中实现的核心算法。第5节涵盖了DL-Learner在不同问题领域的应用案例。有关实施和扩展的注释以及相关和未来工作在期刊文章[5]中进行了讨论。02 学习问题0在逻辑中学习的过程，即试图为给定的数据找到高级解释，也称为归纳推理，与推理或演绎推理相对应。与我们将要分析的类似的学习问题已经在归纳逻辑编程中进行了研究。DL-Learner的目标是为解决这些归纳问题提供一个结构框架和可重用组件。图1描述了用户视角的典型工作流程。在左侧，有几个知识库，它们共同形成给定任务的背景知识。在该背景知识中，选择一些资源作为正例，选择其他一些资源作为负例。在医疗环境中，资源可以是对治疗做出反应的患者（正例）和对治疗不做出反应的患者（负例）。然后，这些资源由监督机器学习算法处理，并返回（在大多数情况下在DL-Learner中）一个符号分类器。该分类器是可读的，以逻辑形式表示，例如作为复杂的描述逻辑概念或SPARQL查询。它具有两个目的：首先，由于其逻辑表示，它应该深入了解潜在问题，显示哪些概念与区分正例和负例相关。此外，结果还可以用于对未见资源进行分类。在DL-Learner中，以下学习问题是相关的：标准监督学习，让背景本体的名称为O。这个学习问题的目标是找到一个OWL类表达式C，使得所有/许多正例是C相对于O的实例，而没有/很少负例是C相对于O的实例。仅有正例学习，如果只有正例可用，希望找到一个类表达式，它覆盖正例，同时仍然具有足够好的泛化能力（通常在未标记的数据上测量）。类学习，在类学习中，您会得到一个本体O中的现有类A，并希望对其进行描述。这与前一个问题类似，因为您可以使用类的实例作为正例。但是，您可以利用本体中关于A的现有知识（显然，A本身不应该是一个解决方案）。此外，上述学习问题有不同的细微差别，这取决于如何处理负知识（与描述逻辑中的开放世界假设相关）。DL-Learner实现了标准的二进制度量，例如预测准确性，F-度量以及[6]中描述的所有三元度量。显然，在大多数情况下，我们不会找到学习问题的完美解决方案，而是一个近似解决方案，其程度由设置适当的阈值来管理，表示对噪声/错误的容忍度，即未覆盖的正例或覆盖的负例的分数。0图2：DL-Learner核心组件概述。0图2：DL-Learner核心组件概述。03 框架概述0DL-Learner框架提供了灵活构建概念学习算法的手段。实现中包括多个（Java）接口、适配器和外部API连接器。图2显示了该结构的主要部分：（1）知识源指定从何处以及如何检索数据。目前支持大多数RDF和OWL序列化格式。数据可以从本地或远程检索。还支持从SPARQL端点检索数据，包括从给定数据中提取片段、过滤和预处理数据的各种选项[8]，以及在性能上有所不同的几种检索策略。单个学习问题可以有多个知识源，包括不同类型的混合源。（2）推理器对知识源进行推理。DL-Learner支持通过OWLAPI、OWLlink以及直接访问Pellet等方式连接推理器，以满足对标准接口未涵盖的高级功能的需求。DL-Learner还实现了自己的近似推理器（不完全和/或不准确），用于高性能的假设测试。需要注意的是，学习算法不需要使用推理，即可以仅基于断言的知识进行工作，但确实可以从推理得到的知识中受益。0Track: Journal Papers WWW 2018, April 23-27, 2018, Lyon, France. . .. . .. . .Track: Journal Papers WWW 2018, April 23-27, 2018, Lyon, France4690owl:Thing00.45 [HE:1]0Car0太弱0Person00.73 [HE:5]0Person和attends一些owl:Thing00.78 [HE:5]0Person和attends一些Talk00.97 [HE:4]0图3：OCEL和CELOE算法中使用的搜索树。0计算复杂性和表达能力之间存在权衡。学习问题定义了要解决的任务（见第2节）。学习算法通常使用学习问题进行假设测试。DL-Learner提供了统计抽样方法，即使在存在大量示例的情况下，也可以进行高效的假设测试[13]。这些方法通过从给定的示例中迭代抽样，直到围绕近似的目标函数值的置信区间足够小来逼近目标函数，如F-measure。细化算子用于遍历可能的假设空间。DL-Learner实现了一组细化算子，可以针对OWL的特定片段进行配置，以及一种针对EL语言的高效算子。学习算法实现了核心学习策略。04 学习算法0在早期的工作中，我们为该领域提供了理论基础，然后我们从归纳逻辑编程和遗传编程中开发了算法[11]。这一工作扩展到了非常表达性的模式[17]和具有大量实例数据的学习问题[8]。后来，我们扩展了学习复杂本体定义[13]、通用模式扩充[3,4]、模糊描述逻辑[9]、轻量级EL描述逻辑[16]以及自然语言处理和概念学习的组合[2]的理论和算法基础。我们将简要描述从这些研究方向得出的算法。0细化算子算法0第一类算法基于所谓的细化算子。这些算法的设计动机是，通常情况下，学习可以被看作是在有序空间（Σ，�）中寻找正确概念定义的搜索。在这样的设置中，可以定义适当的算子来遍历搜索空间。0定义1（细化算子）。给定一个拟序的20搜索空间（Σ，�）02 一个拟序是一个自反和传递关系。0•一个向下细化运算符是一个映射ρ：Σ→2Σ，其中对于Σ中的每个α，ρ(α)�{β∈Σ|β�α} •一个向上细化运算符是一个映射δ：Σ→2Σ，其中对于Σ中的每个α，0直观地说，向下（或向上）细化运算符返回一组更具体（或更一般）的概念。OCEL（OWL类表达式学习器）最初是为描述逻辑ALC中的学习而设计的，但后来扩展到了覆盖OWL的其他部分，例如名词。其一般思想是使用适当和完整的细化运算符构建搜索树，同时使用控制搜索树遍历方式的启发式方法。该算法使用技术来处理冗余和无限性，特别是通过能够多次访问搜索树中的节点并对细化运算符进行增量应用来处理无限性。图3可视化了OCEL的搜索树，从最一般的概念owl:Thing作为根节点开始，到更具体的概念如Person或Person thatattends sometalk。节点带有其分数和扩展次数的注释（由HE值表示）。某些节点太弱，无法最终导致竞争性学习问题的解决方案，即未覆盖的正例数量超过给定阈值。它们永远不会被访问，这使得算法可以忽略搜索空间中的这些部分，从而提高效率。关于CELOE（用于本体工程的类表达式学习）[13]、ELTL（EL树学习器）[16]、ISLE（表达式的归纳统计学习）[2]、OWL模式学习算法[3]和公理模式丰富[4]、QTL（查询树学习）、PARCEL [22]、Fuzzy DLL[9]和遗传算法[11]的摘要可以在期刊版本[5]中找到。05 使用案例：知识库丰富0DL-Learner中包含的学习算法的标准用例是知识库丰富，即基于可用实例数据的模式创建和修订的半自动化。实例数据和模式的组合可以改进查询、推理和一致性检查。例如，考虑一个包含属性birthPlace和该属性三元组中的主体（例如Brad Pitt，Angela Merkel，AlbertEinstein等）的知识库。我们的丰富算法可以建议属性birthPlace可能是功能性的，并且具有域Person，因为它通过以下用ManchesterOWL语法编码的公理来表示：0ObjectProperty：birthPlace特征：Functional 域：Person 范围：PlaceSubPropertyOf：hasBeenAt03 有关Manchester OWL语法的详细信息（例如在Protégé、OntoWiki中使用的语法），请参阅http://www.w3.org/TR/owl2-manchester-syntax/。person has two different birth places (explicitly stated to be not thesame) due to the functionality axiom. Specifically for the DBpediaknowledge base we observed an erroneous statement asserting thata person was born in Lacrosse, the game, instead of Lacrosse, thecity in the United States. Such errors can be automatically detectedwhen schema information such as the range restriction is present(assuming disjointness of the classes Place and Game). 3.) Addi-tional implicit information can be inferred. As an example in theabove case it can be inferred that the birth place of a person isone of the places she stayed at. The main purpose of our researchis to reduce the effort of creating and maintaining such schemainformation.We have shown in [3] that the whole enrichment process canbe described as illustrated in the lower part of Figure 4 and also beapplied to large scale knowledge bases accessible via SPARQL. Thegeneral workflow proceeds in three steps: (1) In the optional firststep, SPARQL queries are used to obtain existing information aboutthe schema of the knowledge base. In particular we retrieve axiomswhich allow to construct the class hierarchy. It can be configuredwhether to use an OWL reasoner for inferencing over the schema orjust taking explicit knowledge into account.4 Naturally, the schemaonly needs to be obtained once per knowledge base and can thenbe re-used by all algorithms and all entities in subsequent steps.(2) The second step consists of obtaining data via SPARQL whichis relevant for learning the considered axiom. This results in a setof axiom candidates, configured via a threshold.(3) In the third step, the score of axiom candidates is computedand the results are returned.In [4], patterns for frequent axioms are mined from more thanA SubClassOf p some (q some B)A EquivalentTo B and p some CA SubClassOf p value aSong EquivalentTo MusicalWork and (artist someAgent) and (writer some Artist)orConifer SubClassOf order value Pinales5http://dl-learner.org/community/protege-plugin/4700图4：知识库丰富及其基于模式的扩展的一般工作流程：在各种本体门户中检测并将频繁的公理模式转换为SPARQL查询模式（上部分）。然后将这些模式应用于其他数据集，以进一步丰富它们的公理（下部分）。04注意，OWL推理器仅加载知识库的模式，因此，在使用HermiT推理器进行实验时，即使在几十万个类的情况下，该选项也有效。0一千个本体然后用于在DBpedia数据集上进行学习。正如人们所期望的那样，最常见的公理模式是 A  SubClassOf  B，但在前15个中，我们还发现了以下模式0这些模式已被应用于在DBpedia上搜索有前途的实例，并导致了如下的公理0非作者专家对2154个提议的公理进行了手动评估，结果显示48.2%的这些公理对于扩展知识库是有用的。这显示了希望，但也明确表明需要人工专家来确保高质量。更多的用例，如生命科学问题[21]，如癌症发生预测，本体修复（ORE [14]，RDFUnit[10]），本体编辑器建议5，知识探索[15]，情感分析[20]或医院工作流管理[1]在期刊版本[5]中有总结。0致谢0本工作得到了欧盟FP7计划GeoKnow项目（GA no.318159）的资助，以及德国研究基金会项目GOLD和德国经济事务和能源部项目SAKE（GA no.01MD15006E）以及欧洲联盟的Horizon2020研究和创新计划SLIPO项目（GA no. 731581）的资助。0论文跟踪: Journal Papers WWW 2018, 2018年4月23日至27日，法国里昂[1] Pieter Bonte, Femke Ongenae, and Filip De Turck. 2016. Learning Semantic Rulesfor Intelligent Transport Scheduling in Hospitals. In Proc. of the 5th Workshop onData Mining and Knowledge Discovery meets Linked Open Data.[2] Lorenz Bühmann, Daniel Fleischhacker, Jens Lehmann, Andre Melo, and JohannaVölker. 2014. Inductive Lexical Learning of Class Expressions. In KnowledgeEngineering and Knowledge Management (LNCS), Vol. 8876. Springer InternationalPublishing, 42–53.[3] Lorenz Bühmann and Jens Lehmann. 2012. Universal OWL Axiom Enrichmentfor Large Knowledge Bases. In Proc. of EKAW 2012. 57–71.[4] Lorenz Bühmann and Jens Lehmann. 2013. Pattern Based Knowledge BaseEnrichment. In 12th International Semantic Web Conference, 21–25 October 2013,Sydney, Australia. 33–48.[5] Lorenz Bühmann, Jens Lehmann, and Patrick Westphal. 2016. DL-Learner – Aframework for inductive learning on the Semantic Web. Web Semantics: Science,Services and Agents on the World Wide Web 39 (2016), 15–24.[6] Claudia d’Amato, Nicola Fanizzi, and Floriana Esposito. 2008. A Note on theEvaluation of Inductive Concept Classification Procedures. In Proc. of the 5thWorkshop on Semantic Web Applications and Perspectives (SWAP2008), Rome, Italy,2008, Vol. 426. CEUR-WS.org.[7] Thomas Dietterich, Pedro Domingos, Lise Getoor, Stephen Muggleton, and PrasadTadepalli. 2008. Structured machine learning: the next ten years. MachineLearning 73, 1 (October 2008), 3–23.[8] Sebastian Hellmann, Jens Lehmann, and Sören Auer. 2011. Learning of OWLClass Expressions on Very Large Knowledge Bases and its Applications. InSemantic Services, Interoperability and Web Applications: Emerging Concepts. IGIGlobal, 104–130.[9] Josué Iglesias and Jens Lehmann. 2011. Towards Integrating Fuzzy Logic Capab-ilities into an Ontology-based Inductive Logic Programming Framework. In Proc.of the 11th International Conference on Intelligent Systems Design and Applications(ISDA). 1323–1328.[10] Dimitris Kontokostas, Patrick Westphal, Sören Auer, Sebastian Hellmann, JensLehmann, Roland Cornelissen, and Amrapali Zaveri. 2014. Test-driven Evaluationof Linked Data Quality. In Proc. of the 23rd International Conference on WorldWide Web (WWW’14). 747–758.4710参考文献0[11] Jens Lehmann. 2007. 混合学习本体类.机器学习和数据挖掘MLDM国际会议论文集，第4571卷. Springer，883–898. [12] JensLehmann. 2009. DL-Learner: 学习描述逻辑中的概念.机器学习研究杂志（JMLR）10（2009），2639–2642. [13] Jens Lehmann，SörenAuer，Lorenz Bühmann和Sebastian Tramp. 2011. 本体工程的类表达式学习.Web语义学杂志9（2011），71–81. [14] Jens Lehmann和Lorenz Bühmann. 2010. ORE– 修复和丰富知识库的工具. 第9届国际语义Web会议（ISWC2010）论文集.Springer，177–193. [15] Jens Lehmann和Lorenz Bühmann. 2011. AutoSPARQL:让用户查询您的知识库. ESWC 2011论文集. 63–79. [16] Jens Lehmann和ChristophHaase. 2009. EL描述逻辑中的理想向下细化. 归纳逻辑编程，第19届国际会议，ILP2009，比利时鲁汶. 73–87. [17] Jens Lehmann和Pascal Hitzler. 2010.使用细化算子的描述逻辑中的概念学习. 机器学习杂志78，1-2（2010），203–250. [18]Stephen Muggleton，Luc De Raedt，David Poole，Ivan Bratko，PeterFlach，Katsumi Inoue和Ashwin Srinivasan. 2012. ILP turns 20.机器学习86，1（2012），3–23. [19] Shan-Hwei Nienhuys-Cheng和Ronald deWolf（编辑）。1997. 归纳逻辑编程基础. LNCS，第1228卷. Springer. [20] AlbertoSalguero和Macarena Espinilla. 2016. 情感分析和本体工程：计算智能环境.章节描述逻辑类表达式学习应用于情感分析，93–111. [21] A. Srinivasan，R. D. King和D.W. Bristol. 1999. 对预测毒理学评估挑战的提交的评估.第16届国际人工智能联合会议论文集-第1卷（IJCAI'99）. 270–275. [22] An C. Tran，JensDietrich，Hans W. Guesgen和Stephen Marsland. 2012. 并行类表达式学习的方法.第6届Web规则研究与应用国际会议论文集（RuleML'12）.Springer-Verlag，柏林，海德堡，302–316.0Track: Journal Papers WWW 2018, 2018年4月23日至27日，法国里昂