沙特国王大学学报基于元信息和逻辑规则增强的王玲，陆继仓，孙业鹏信息工程大学数学工程与高级计算国家重点实验室，郑州450001阿提奇莱因福奥文章历史记录：2023年1月19日收到2023年3月13日修订2023年3月17日接受2023年3月22日在线提供保留字：知识图表示学习元信息逻辑规则增强知识嵌入A B S T R A C T现有的知识图表示学习模型依赖于三元结构的显式语义信息为了提高KGRL模型的性能和准确性，弥补现有研究的不足，提出了一种新的KGRL模型Melo（Meta-information and Logical rules），该模型充分利用了实体和关系的元信息和逻辑规则。Melo首先利用实体的邻域结构获取Meta信息和本体信息，然后从KG中挖掘逻辑规则，推断出高置信度的三元组并扩展训练样本。最后，Melo借助Meta、逻辑和三重结构信息实现了实体和关系的准确可靠表示在规则和稀疏数据集上的实验结果表明，与基线相比，该算法在多个评价指标方面具有更好的性能。可视化方法也被用来演示Meta信息、逻辑规则和三元结构如何相互和单独地增强训练。版权所有2023作者。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍知识图是一个包含实体（节点）、关系（边）和三元组的大型图结构数据库，反映了数据库中的各种连接。尽管它在研究中取得了成功并显示出了潜力，但在它得到更广泛的应用之前，仍必须解决一些问题，如数据丢失和语义错误。这些问题将限制幼儿园在后续应用中的有效性。因此，完善和优化知识图谱中的信息成为提高知识图谱质量的重要任务。KG表示学习（KGRL）是最常用的方法之一（Liu等人，2016年）。它是通过学习知识库中元素的语义特征，使知识库中的实体和关系可以用神经网络训练表示为低维连续数值嵌入的过程。然而，简单地基于三元结构的KGRL模型很难充分学习KG实体和关系的深层语义特征。目前大多数方法只考虑实体的实例级信息缩写：KG，知识图; KGRL，知识图表示学习; Melo，Meta信息和逻辑规则; MR，平均秩; MRR，平均倒数秩; t-SNE，t分布随机邻居嵌入。*通讯作者。电子邮件地址：lujicang@sina.com（J. 鲁）。关系，它忽略了实体的关键本体信息。 例如，人实体可以进一步被分类为许多本体类（例如，“演员”或“医生”）。值得注意的是，如果这种额外的特征可以由KGRL模型充分表示，该模型将在以下应用中具有更好的性能。为此，嵌入空间中的实体的嵌入的位置可以用于关联各种逻辑上的类别。也就是说，一组紧密的实体可能属于相同的本体论类别。此外，显著地难以用具有低频率和很少相关三元组的稀疏实体来充分训练KGRL模型，因此简单地使用三元组结构使得模型的整体性能变差（Zhang等人，2019a，2019b），导致培训效果不佳分布式表示学习模型在很大程度上依赖于神经网络，由于其从KG中挖掘规则并改进关系的使用的过程可以帮助减轻这种现象。然而，挖掘过程需要大量的人工标记和专家数据判断，导致财务和计算上的不合理费用。 此外，模型依赖于巨大的标记数据集，这些数据集具有可扩展性和可推广性限制，这些限制只会随着KG的增长而恶化。https://doi.org/10.1016/j.jksuci.2023.03.0081319-1578/©2023作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comL. Wang，J.Lu和Y.孙沙特国王大学学报113显然，模型的可靠性和效率都必须进一步提高。为了帮助完成这些任务，我们提出了一个改进的KGRL模型Melo，利用增强的Meta信息和逻辑规则的方法来实现实体和关系的语义增强具体地说，Melo为每个实体分配一个Meta信息嵌入，以学习其一跳关系信息，从而获得实体的本体知识。与此同时，Melo通过分布式关系表示对逻辑规则进行评估和评分，以推断新的三元组-这是一种对稀疏数据集特别有用的活动本文的主要贡献如下：我们提出了一种新的KGRL模型Melo，它在不需要外部信息的情况下学习深层语义特征（实体Meta信息和逻辑规则信息）Melo实现了实体和关系的双重语义增强，有效地提高了KGRL的推理性能和预测效率。Melo可以获取实体的本体Meta信息，使模型能够准确区分不同本体类别的实体，提高了模型对实体的表示能力。Melo还可以使用分布式表示来对规则进行评分，并使用从KG中挖掘的逻辑规则来推断新的三元组，以提高效率并降低成本。Meta信息和推断三元组都可以弥补传统模型难以准确学习稀疏实体特征的缺点我们在多个标准数据集和稀疏数据集上进行了大量的实验，结果表明我们的改进模型取得了更好的链接预测结果。我们还进行了参数分析和消融研究。此外，模块验证清楚地展示了我们的Meta信息和逻辑规则理论如何有效地提高实体和关系的语义表示2. 相关作品知识图谱在学术界和工业界都具有重要的研究价值，并广泛应用于智能搜索引擎等应用中（Xiong et al.，2017），推荐系统（Zhang etal.，2016）、智能问答（Hao等人，2017年）及其他。代表性的KG包括Freebase（Bollacker等人，2008）、YAGO（Suchanek等人，WordNet（Miller，1995）等。为了进一步提高幼儿园的成效，表征学习的重要性逐渐增加。根据KG中信息的不同用途，将其分为三类：KGRL模型、Meta学习模型和逻辑规则模型。2.1. KGRL模型近年来，KGRL模型取得了巨大的成功。最著名的模型可以分为平移距离模型、旋转模型和张量分解模型。翻译距离模型起源于TransE（Bordes等人，2013），其将头和尾实体之间的关系视为表示空间的平移。随后，TransH（Wang等人，2014）、TransR（Lin等人，2015）和TransD（Ji等人，2015）模型被提出来支持更复杂的关系（例如，1受欧拉公式启发的基于旋转的模型包括RotatE（Sun等人，2019），其将语义三元组视为从其头部实体到尾部实体的旋转。该方法可以唯一地处理自反、对称和传递关系范畴。MRotatE（Huang等人，2021年）引入单独的实体和关系旋转，将从两个旋转中得分三元组。QuatE（Zhang等人，2019 a，2019 b）和DualE（Cao et al.， 2021）将实体旋转的表示空间从复数扩展到四元数类型，使得对三重结构语义信息的语义理解更加深入。基于张量分解的模型，例如DistMult（Yang 等人， 2015 ）、ComplEx（Trouillon 等人， 2016）和ANALOGY（Liu等人，2017年），使用三维张量来表示三元组。三元组这些模型显然完全依赖于KG中的各个三元组，这严重限制了它们表示不同实体的本体信息的能力。此外，当它们面对稀疏实体或具有很少相关三元组的实体时，它们的性能会显着受损。2.2. 具有元学习的元学习的字面意思是“理解如何学习”，这种方法在科学和工业的离散领域取得了巨大的成功。对于神经网络，其想法是快速适应和推广模型以最小的额外训练来适应新任务（Chen et al.，2022年）。元学习KGRL模型通常用于解决广泛存在的长尾分布问题，其中较大的关系群体仅共享少数相关三元组，导致训练效果较差。这些模型主要分为度量学习和Meta学习两类. GMatching（Xiong等人，2018）是一种度量学习模型，它使用邻居编码器学习三元组中的实体表示，并使用匹配处理器来推断它们的相似性。 随后的FSRL（Zhang等人， 2020）和FAAN模型（Sheng等人，2020）通过添加新的和动态的注意机制来改进邻居编码构造。基于Meta学习者的模型包括MetaR（Chen等人， 2019）和Meta-KGR（Lv等人，2019），它们都初始化一组参数以实现包含特定关系的三元组的快速梯度下降拟合。这些策略使该领域更好地理解KG中的长尾分布。然而，由于度量学习或Meta学习器方法都将单独训练每个关系而不重排三元组，因此很难将元学习应用于传统的知识表示学习模型。2.3. 具有逻辑规则的在许多实际的神经网络应用中（例如，智能医疗、金融和运输），模型预测需要非常高的可靠性。然而，就其本质而言，神经网络并不揭示它们为什么以及如何达到预测，无论其精度如何，这反映了例如，2021年，在上一节中提到。值得注意的是，逻辑规则，就其本质而言，是解释的体现。因此，它们与神经网络的结合被认为揭示了它们的内在推理方法。KALE模型（Guo等人，2016）联合嵌入三元组与一阶逻辑规则，使用概率真值函数将三元组和规则分类为真或假。三元组真值由实体和关系表示计算，规则真值由相应规则中的三元组确定。然后通过联合学习使用损失函数融合两个真值RUGE（Guo等人，2018）采用当前实体和关系表示，并使用逻辑规则将真或假标签分配给未标记的新三元组。然后，它根据KG中新标记的和原始的三元组优化表示。IterE（Zhang例如，2019a，2019b）提出了一种基于随机游走、遍历和剪枝方法相结合的规则挖掘方法，以提高规则挖掘的效率。迭代执行IterE●●●L. Wang，J.Lu和Y.孙沙特国王大学学报1142222NeHH不不表示学习、规则置信度计算和通过不断选择高质量的规则生成三元组来改进训练的三元组生成。UniKER（Cheng等人，2021）和Structure（Zhao等人，2020）还通过基于Horn规则将知识完全转移到嵌入式表示来应用逻辑推理和表示学习的迭代过程。这些模型一般只关注与三元组结构相关的逻辑规则，却忽略了本体信息的重要特征，导致实体的区分能力较差。这些模型中的三重结构建模方法存在缺陷，不能表示知识库中的复杂关系。下面的表1直观地示出了现有模型和Melo的KG的表示能力。关系模式指的是对称、反对称 、 反 转 和 组 合 （ Sun 等 人 ， 2019 年 ） 。 transX 包 括 transE 、transH、transR和transD。Meta模型和Log- ical模型包括前面章节中提到的模型。Melo在这三个方面都具有良好的表示能力，有效弥补了现有表示学习模型的不足，进一步提高了性能。3. 该方法3.1. 符号和定义KG表示为KG ^fE; R; Tg，其中E是实体集，R是关系集，T是三元集。对于每个三元组h;r; t，其中h是头实体，t是尾实体，r是关系h; t2 E和r 2 R。我们使用粗体符号表示实体和关系嵌入，h，r和t表示头实体嵌入-ding、关系嵌入和尾实体嵌入，分别为h;r;tRd。d表示实体和关系嵌入的维数。KG中的实体通常包含两个级别的信息：本体和实例。例如，一个人，“佐藤武”，是一个实例，而“人”或“演员”是一个本体论的相应地，Melo明确地将实体的Meta信息emeta定义hon分别用于头实体，ton用于尾实体。Melo使用实体本体信息嵌入来显式表示实体本体特征（2）关系传递信息嵌入。分别用于头实体的h_tr和用于尾实体的t_trMelo使用关系传递信息嵌入来隐式地表示实体的邻域关系。这些嵌入是由模型自动学习的，而不需要添加信息。eon;etr;eMeta其中k是实体Meta信息嵌入。稀疏实体在KG中出现的频率较低;因此，我们使用稀疏性Esparse来评估它们的稀疏性，其中esparse是稀疏性的阈值，其集合是EsparseE。通过逻辑规则获得的三元组表1现有模型和Melo的表示能力推理称为演绎三元组，而推理三元组集则称为T规则。3.2. 拟议框架Melo执行模块化的Meta信息学习、逻辑规则信息学习和训练优化，其总体框架如图所示。1.一、在该图中，Meta信息学习模块学习实体逻辑规则信息学习模块对规则进行评分，并通过预先挖掘的KG规则推理为稀疏实体生成三元组，以提高准确性和可解释性。训练优化模块结合实体Meta信息和逻辑规则信息计算三重评分和模型损失，优化模型参数。每个模块将在以下小节中详细描述。3.3. 元信息学习模块与大多数少镜头Meta学习技术不同，Melo中的元信息学习模块的主要目的是学习实体的本体信息，这将元学习的能力扩展到非少镜头KGRL模型。Meta信息学习模块使用图1所示的框架. 2.，其将EMeta定义为具有两个部分：本体信息嵌入Eon和关系转移信息嵌入Etr。在图中，四个实体与目标实体e相关;因此，我们得到四个三元组。注意，本体信息嵌入是e表示空间中的相邻实体越接近，它们的类别就越接近。血腥是一样的。这个模块为每个实体在Rk上设置e通常，KG中的本体是有限的。因此，一个本体信息嵌入可以表示多个实体共享的本体信息。注意k d，否则可能发生过拟合。基于这个框架，Melo可以比其他模型更好地区分不同的实体，例如“人”和“动物”。然而，我们仍然需要区分本体论的子类别，以便可以理解细微差别的实体信息。例如，通常在知识图谱中，围绕“演员”的关系包括“在电影中表演”，“扮演角色”等，而围绕“科学家”的关系通常包括“研究领域”和“专业技术”。借助这些细节关系，可以实现实体本体的进一步区分。 Melo将只考虑e的直接相邻关系，即，距离不会超过一跳，因为这些关系可以反映实体的本体信息，而超过一跳的关系的相关性将减弱。因此，该模块使用额外的关系传递信息嵌入。KG中的每一个关系都有更多倾向于连接的本体实体。例如，关系“acted in a movie”的头实体倾向于具有“actor”类别。此外，尾部实体很可能是电影的名称通过转移模型关系模式本体信息逻辑规则关于与目标实体的邻居关系的信息，语义范畴可以被隐含地反映出来。为了做到这一点，TransX否RotatE，MRotatE是否否DualE、QuatE是否否DistMult否ComplEx否Meta模型不适用是否逻辑模型是否是Melo是Melo分别为每个关系r设置头和尾实体方向嵌入rh和rt，其中rh;rtRk。e的关系转移信息嵌入由其在相邻关系间的方向嵌入计算关系转移信息嵌入表示如下：etr¼1.r1·· ·rir1· ··rj1L. Wang，J.Lu和Y.孙沙特国王大学学报115不ðÞðÞð·Þ←←图1.一、Melo的整个过程矩形是模型的三个子模块，箭头表示数据流的方向图二.元信息学习模块框架。定义：e，实体; emeta，实体的 元 信 息 ;eo n ， 实 体 的 本 体 信 息 嵌 入 ;et r ， 实 体 的 邻 域 关 系 传 递 ;r ， 关 系 。其中r为和rj是的头和尾方向嵌入，被添加到训练集中用于未来的训练时期，如图所示。的相邻关系，并且Ne是相邻关系的数量e的Meta信息表示（表示为e_meta）通过如下添加本体信息嵌入e_on和关系转移信息嵌入e_tr来计算eMetae上etr2在评价实体Meta信息的质量时兼容性采用余弦相似度，相似度越高，兼容性. C hh;r表示三元组中头实体与关系的相容性，C t t;r 指尾实体和尾关系。的三元组的本体兼容性得分计算如下：Chh;rsimhmeta;rh3Ctt;rsimtmeta;rt4其中hMeta和t_meta分别表示头和尾实体的元信息，并且r_h和r_t表示它们的头。以及关系r的尾方向嵌入。sim**表示余弦相似性，r表示S形激活函数。第10节然后将相容性分数添加到三重分数以计算损失函数。3.4. 逻辑规则信息学习模块该模块对从KG中挖掘的规则进行评分，并基于规则为稀疏实体生成新的三元组新的Triples在图中。3.第三章。KG规则挖掘的执行，以使更准确和interpretable推理。通常，规则表示为头部体，其中头部表示规则头部，而体表示规则体，以便头部中的信息可以从体中推导出来。早期的知识图规则挖掘技术依赖于领域专家对规则进行评价，虽然可以保证准确性，但需要大量的时间和人力成本。因此，根据（Zhang et al.，2019年a，2019年b），我们采用了自动规则挖掘，以节省劳动力成本。我们遵循Web Ontol- ogy Language分类方法，并选择五种规则类型，如表2所示，其中xi、yj和zk是实体，ri是关系。我们以SymmetricOP（r）中的“同事”为例。根据相应的三元表达式，我们应该找到（x，同事，y）（y，同事，x）。因此，如果KG中存在三元组（Paul，college，James），则可以通过规则体推导出（James，college，Paul）KG中的所有挖掘规则形成规则池，称为池逻辑。对于自动挖掘的规则，其中一些可能是不合理的-能或不正确。一方面，KG的构造过程存在不完善之处，从中挖掘出的规则可能存在错误;另一方面，挖掘出的规则可能不能广泛适用于其他实体。推断的三元组将是错误的。使用Melo为此，我们设计了一个函数，该函数基于关系表示自适应地计算不同类型规则的规则得分。根据（Sun等人，2019）中，三元组h; r; t中 头部 实体 的旋 转过 程 表示为h·r。因此，在本发明中，HL. Wang，J.Lu和Y.孙沙特国王大学学报116..规- -d¼D表2KG中可发现的逻辑规则类型图三. 逻辑规则学习模块框架。定义：e，实体;r，关系。情况1：hr<$r2-hr12kp;r<$r-11·r29k p情况2：hrhr1hr2<$2kp;r<$r-11·r2-1<$10kp规则类型关系模式对应三元组表达式情景3：hr<$hr1hr2 2kp;r<$r1·r211kp对称OP（r）对称性<$y;r;x<$x;r;y<$<$可传递OP（r）可传递x;r;z场景4：h¼h-h2kp;r<$r·r-1，12，14，16，18，19EquivalentOP（r1，r2）EquivalentOP（r1，r2）EquivalentOP（r1，r2）Equivalentr r1r 2 1 2InverseOP（r1，r2）求逆运算<$y;r2;x <$<$← <$x;r1;y<$我们为每个规则计算一个分数来评估其合理性，SubOP（OPChain（r1，r2），r）组合物y0;r;y2得分越高，合理性越高。我们首先计算方程左项和右项之间的L1距离注：xi、yj和zk是实体，ri是关系。任何关系表示的条件必须满足以下条件之一：对于SymmetricOP（r），当对对称关系模式进行建模时，嵌入空间中从关系的头到尾实体的旋转角度为hr/kp，其中k为奇数表示为d规则：drule¼vleft-vright113其中v _left和v_right分别表示等式2中的左值和右值（5）考虑到每个类别的规则得分的数值范围存在很大差异，每个规则类别内的距离将被归一化如下，表示为dnorm：使得DMaxr·r¼1ð5Þ规范规则规则d个规则规则最小值-规则ð14Þ其中r是关系r的嵌入，·表示元素-其中dmax和dmin分别表示最大值和最小值。智慧产品下文。规则规则对于TransitiveOP（r），当对传递关系模式建模时，嵌入空间中关系的旋转角度计算出的L1距离在对应关系类别中的最大值。归一化后，Melo计算规则scorescore规则如下：是hr1/2kp，使得分数规则1维范数ð15Þ●●L. Wang，J.Lu和Y.孙沙特国王大学学报117规⊂ð Þ-freq-maxfreqeeð Þr·r¼r6对于EquivalentOP（r1，r2），当对等价关系模式进行建模时，嵌入空间中的关系的旋转角度为hr1 1/4hr2/2kp，使得分数大于阈值e公理的规则是有效规则，所有有效规则形成PoolvalidPool规则。模块接下来根据有效规则为稀疏实体生成三元组。稀疏性取决于一个实体出现在三元组中的频率，r1¼r2ð7Þ被憎恨的频率。计算实体的稀疏度e如下所示对于InverseOP（r1，r2），当对反演关系模式进行建模时，嵌入空间中的关系的旋转角度为hr1¼ -hr2<$2kp，使得稀疏度minfreqe-freqmineMaxð16Þr1½r-21ð8Þ其中freqe频率e是最小和最大稀疏度的实体，分别。稀疏性e越接近是一个，稀疏度越大。接下来，模块过滤稀疏的实体，对于SubOP（OPChain（r1，r2），r），很难找到一个通用的公式来反映关系模式;然而，它可以被建模为进一步细分为四种情况的组合关系模式。示意图如图4所示，其中圆圈表示实体，箭头表示关系。在图4中，h和t分别表示头部和尾部实体，并且e是临时过渡实体。每种情况都应满足以下情况要求：ties大于esparse以构建稀疏实体集Esparse_E。然后生成稀疏实体三元组第一，模块化改造--与规则相反，并且对于每个规则，新的三元组基于已知的三元组被实例化，如下所示：h;r;t需要←其中，hi;ri;ti是KG中的已知三元组，而h;r;tente是推导出的三元组。Melo还可以在评估时节省大量的人力成本●●●L. Wang，J.Lu和Y.孙沙特国王大学学报118X-ðÞ联系我们·- -¼¼ðÞðÞðÞ见图4。 四种可能的组合关系情况示意图。证明了所推导的三元组具有分布嵌入的合理性。每个规则可以推断出大量的三元组。利用Melo中已有的实体表示和关系表示，可以直接计算三元组的得分，排除得分低的三元组。只有三个人的高度一致-可以保留证据以辅助模型训练。我们设定了阈值对于最终损失函数，c是用于区分正样本和负样本的边缘超参数，r是S形激活函数，p是负样本的自对抗采样率。L¼-loggrc-dh;r;te规则以确定保留三元组的数量n1/1p.h0;r;t0为零。-cd.h0;r;t020接着，判断头实体和尾实体是否属于稀疏实体集合。Melo保留具有至少一个稀疏实体的三元组，以创建稀疏三元组集合，Trule<$fh;r;tentailg，其中h2Esparse或t2Esparse e。最后，三个作为已知的三元组添加到训练集中，即，T列车2T[ T]规则。Melo模型在算法1中描述。算法1（Melo模型）。输入KG¼ fE;R;Tg，预挖掘规则池池逻辑共计3.5. 训练和优化模块该模块基于Meta规则和逻辑规则信息，优化元信息表示，并选择必要的逻辑规则来优化整个模型。随机初始化模型嵌入，并根据这些嵌入计算规则分数但由于时间较早，嵌入的不准确性，规则评分没有参考价值。因此，模型必须在生成相关三元组之前再进行几个时期。Melo设置预训练时期Npre，仅基于三元结构及其实体Meta信息来训练模型此外，由于两个相邻时期之间的参数调整相当小，因此在两个连续时期中生成的三元组的差异将不会有很大差异。因此，如果在每个时期期间执行规则评分和三重因此，我们将模型设置为每N个更新时期执行规则评分和三元组生成。对于每个三元组h;r;t，其三元组结构得分表示为dh;r;thrt. 分数越小，头实体的结果通过关系旋转越接近尾实体，其可靠性。更高的本体相容性意味着关系和头尾实体之间更高的类型相关性，这也意味着更高的三重可靠性。因此，三元组的最终得分函数表示为：dh;r;td0h;r;t-kChh;rCtt;r18其中k是权重参数。d h;r;t越小，三重真值的概率越高。在模型训练期间，所有样本被分成样本批次。Melo使用了一种自对抗的负采样方法为了从下面的分布中产生错误的三元组，即，负样本，表示为αh0;r;t0α，其中a是采样率，frh0j;t0j-dh0j;r;t0j。.exp afJJ我expafrh0j;t0j训练时期N、表示预训练时期Npre、规则评分、三代间隔时期Nupdate、稀疏实体集Esparse以及其他参数。输出实体表示e、关系表示r、实体Meta信息表示eon、etr和emeta。1初始化实体和关系表示：e，r，eon、rh和rt2对于时期1到N，3用公式计算Meta信息（1）和（2）4如果epoch≤Npre5T型列车6用公式计算d h;r;t和L。（3）、（4）、（18）-（20）7更新e、r、eon和etr8其他9如果epoch%N更新10用公式计算d h;r;t和L。（3）、（4）、（18）-（20）11更新e、r、eon和etr12其他13Poolvalid14对于池逻辑中的规则，15用公式计算规则得分。（5）-（15），在Poolvalid中增加高分规则16基于池值生成T规则，公式如下（十六）（十七）17T型列车，T型规则，T型规则18用公式计算d h;r;t和L。（3）、（4）、（18）-（20）19更新e、r、eon和etr20end if21end if22端ph0;r;t0jfhi;ri;tig¼expPRJJð19ÞL. Wang，J.Lu和Y.孙沙特国王大学学报1194. 实验和分析4.1. 数据集和评价指标FB15K（Bordes等人，2013）和WN18（Lao等人，2011）数据集最初由来自Freebase的实体和关系构建（Bollacker等人，2008）和WordNet（Miller，1995）。这些数据集包含丰富的三元组信息，FB15K和WN18中存在许多逆关系，这导致在几个模型实验中具有更好的性能。 因此，通过去除逆关系，FB 15 K-237（Toutanova和Chen，2015）和WN 18 RR（Dettmers等人，2018年）建成。在KG中，实体越稀疏，实体出现的频率越低，相关三元组链接预测的精度越低。根据Zhang et al.（2019 a，2019 b），稀疏度高于0.995的实体是“稀疏的”。为了进一步最大化数据集的稀疏性，Zhang等人（2019 a，2019 b）删除了标准数据集中缺少至少一个稀疏实体的所有三元组，从而产生了FB 15 K-稀疏，WN 18-稀疏，FB 15 K-237-稀疏和WN 18RR-稀疏数据集。每个数据集分为训练，验证，以及根据表3中所列的测试集。本文的研究重点不是规则挖掘方法的改进，而是如何发现和利用规则中的知识。因此，我们直接使用Zhang等人提出的规则挖掘方法。（2019 a，2019 b）获得Pool逻辑，每个数据集中挖掘的规则数量如表4所示。当使用逻辑规则来生成三元组时，Melo倾向于生成具有与原始数据集类似的分布的关系。Melo限制了生成的三元组的数量，同时包括尽可能多的关系，以提高质量，同时减少噪音。由于生成的三元组中至少包含一个稀疏实体，因此Melo成功地在稀疏实体上执行了数据增强任务。本 文 中 使 用 的 评 估 指 标 包 括 平 均 秩 （ MR ） 、 平 均 倒 数 秩（MRR）和HITS@N，其中N = 1、3和10。MR反映了链接预测任务的正确三重排序的平均值;越小越好。MRR反映了基于正确三重排序的平均倒数值的模型性能，HIT@N反映了正确前N重排序的比例对于MRR和HITS@N，越大越好。4.2. 基线和参数设置我们选择了几个流行的基线模型进行比较：(1)基于平移距离和旋转的模型，包括TransE（Bordes等人，2013）和RotatE（Sun等人，2019）;（2）基于张量分解的模型，包括DistMult（ Yang 等 人 ， 2015 ） 、 ComplEx （ Trouillon 等 人 ， 2016 ） 和ANALOGY（Liu等人， 2017）;（3）具有逻辑规则的模型，包括IterE （ Zhang et al. ， 2019 a ， 2019 b ） ， 结 构 （ Zhao 等 人 ，2020）、KALE（Guo等人，2016）、RUGE（Guo等人，2018）和BoxE（Abboud等人， 2020年）。一些结果已经发表，因此我们在下面的报告中直接引用了它们。为了确保公平的测试环境，我们在相同的硬件和软件配置上运行所有型号，其中CentOS 7操作系统在具有Intel（R）Xeon（R）Gold 6348 CPU@2.60 GHz、Tesla V100 GPU和32 GB内存的计算机上运行。 在选择最佳参数的过程中，由于Melo本质上是基于旋转的模型，因此我们首先参考了RotatE的最佳参数（Sun等人， 2019年），这也是一个基于旋转的模型。然后进一步进行网格搜索，得到最优的Melo参数在模型训练期间，FB 15 K和FB 15 K-Sparse的最佳参数包括批量大小= 1，024，负批量大小= 256，嵌入维数d= 1，000，k= 50，余量c= 24，a= 1.0，学习率= 0.0001，e规则 = 0.7。对于WN 18和WN 18-稀疏，批量大小= 1，024，负批量大小=512，嵌入维度d= 500，k= 25，余量c= 12，a= 0.5，学习率=0.0001，e规则= 0.9。对于FB 15 K-237和FB 15 K-237-稀疏，批量大小= 1，024，负批量大小= 256，嵌入维数d= 1，000，k= 50，marginc = 9，a= 1.0，学习率= 0.00005，e规则= 0.65。对于WN 18 RR和WN 18 RR-稀疏，批量大小= 1，024，负批量大小= 512，嵌入维度d= 500，k= 25，余量c= 6，a= 0.5，学习率=0.0001，e规则= 0.9。4.3. 链接预测链接预测分为实体和关系预测子任务。我们专注于实体预测，给定（h，r，？）或（？，r，t），以分别预测相应的缺失尾部或头部实体。表5列出了Melo和其他基线模型在四个标准数据集上的比较结果。一般来说，在KG中建模三元结构的具体方法决定了表征学习的有效性具有Meta信息和逻辑规则的模型与其他基线模型之间的比较表明，学习KG潜在信息而不是三元结构的能力的提高提高了整体性能。因此，Melo在四个标准数据集的大多数指标上都取得了更好的性能。与传统的表示学习链接预测模型相比，Melo模型具有很强的竞争力，这说明通过学习实体的Meta信息和从KG中挖掘出的逻辑规则，提高了模型的表示学习此外，由逻辑规则生成的三元组没有明显的噪声。在FB 15 K和WN 18数据集上，与最佳基线模型相比较，Melo显示出较小的改进，因为数据集很大并且包含大量信息;因此，Meta和逻辑规则信息增强没有提供显著的改进。在FB 15 K-237和WN18 RR两个与最佳基线模型相比，Melo在MRR方面实现了3.6%的改善，表3数据集参数。数据集#实体#关系#培训有效数量测试次数FB15K14,9511,344483,14250,00059,071FB 15 K-稀疏18,54422,013公司简介40,94318141,4425,0005,000WN 18-稀疏3,6243,590FB15K-23714,541237272,11517,53520,466FB 15 K-237-稀疏10,67112,454WN18RR40,9431186,8353,0343,134WN 18 RR-稀疏型1,6091,661L. Wang，J.Lu和Y.孙沙特国王大学学报120表4测试数据集中的规则数。对称tra.当量aginv.附属（茶）公司简介3121972WN18RR311322FB15K94521,8722,74359,709FB15K-23730271971925,071FB 15 K-237的HITS@1改善，WN 18 RR分别改善0.8和0.9%当模型使用关系转移嵌入计算Meta信息或通过挖掘逻辑规则生成三元组时，由于WN 18 RR只包含11个关系，效果不如FB 15 K-237。因此，WN 18 RR的数据增强不如FB 15 K-237明显通过与基于逻辑规则的KALE、RUGE和BoxE模型的比较，我们发现，由于Melo的旋转三重结构建模过程的合理性表7消融研究结果。模型FB15K-237MRR命中率@1命中率@3命中率@10Melo0.3500.2560.3870.539Melo-m0.3480.2550.3840.538Melo-l0.3400.2420.3770.533在训练过程中，逻辑规则和三重结构之间的一致性使梅洛取得了优异的成绩。这也证实了在KGRL期间，仅逻辑规则信息不能提供最好的结果。该模型还需要先进的三层结构建模方法，以及Meta信息和逻辑规则。为了进一步验证模型在稀疏实体上的链接预测效果，我们在四个稀疏数据集上进行了相同的实验。表6列出了比较结果。一般来说，在稀疏数据集上，所有模型都受到影响，这表明实体的稀疏性阻碍了表示学习，表5标准数据集上的链接预测结果，模型FB15KFB15K-237先生MRR命中率@1命中率@3命中率@10先生MRR命中率@1命中率@3命中率@10TransE*–0.4630.2970.5780.7493570.294––0.465DistMult*420.798––0.8932540.2410.1550.2630.419ComplEx*–0.6920.5990.7590.8403390.2470.1580.2750.428RotatE*400.7970.7460.8300.8831770.3380.2410.3750.533卡莱 **––––––0.2300.131–0.424RUGE**––––––0.1910.098–0.376BoxE**––––––0.337––0.538Melo模型40WN18MR0.796MRR0.744命中率@10.830命中率@30.883命中率@10173WN18RRMR0.350MRR0.256命中率@10.387命中率@30.539命中率@10TransE*–0.4950.1130.8880.94333840.226––0.501DistMult*6550.797––0.94651100.4300.3900.4400.490ComplEx*–0.9410.9360.9450.94952610.4400.4100.4600.510RotatE*3090.9490.9440.9520.95933400.4760.4280.4920.571卡莱 **––––––0.1720.032–0.353RUGE**––––––0.2800.251–0.327BoxE**––––––0.451––0.541Melo2390.9510.9470.9530.96031500.4800.4320.4960.577注：最佳结果用粗体表示; * 表示结果来自（Sun et al.，2019）; ** 表示结果来自（Cheng et al.， 2021年）。表6标准数据集上的链接预测结果。模型FB 15 K-稀疏FB 15 K-237-稀疏MR MRR命中率@1命中率@3命中率@10MR MRR命中率@1命中率@3命中率@10TransE*–0.2580.4860.645–0.1640.2610.385DistMult*–0.6180.6510.759–0.1280.2260.362ComplEx*–0.5400.6570.761–0.1200.2170.354RotatE*85 0.6690.6160.6880.771245 0.3100.2260.3430.474IterE*–0.5290.6620.767–0.1310.2280.362类比 *–0.5430.6610.763–0.1230.2140.349结构 **–0.5520.6710.771–0.1760.2660.399Melo73 0.7720.7290.7970.850233 0.3320.2490.3670.497模型WN 18-稀疏MR MRR命中率@1命中率@3命中率@10WN 18 RR-稀疏型MR MRR命中率@1命中率@3命中率@10TransE*–0.1020.7110.847–0.0340.2470.288DistMult*–0.5930.8750.931–0.2380
我的内容管理
展开
