基于语义层次的知识图谱嵌入及其对链接预测和三元组分类的改进

0认知机器人学2（2022）147-1540ScienceDirect提供目录0认知机器人学0期刊主页：http://www.k eaipublishing.com/en/journals/cogniti ve-robotics/0基于语义层次的知识图谱嵌入0范琳娟，孙永勇，徐飞，周航航0西安工业大学计算机科学与工程学院，中国西安0文章信息0关键词：知识图谱 知识图谱嵌入极坐标系 知识图谱链接预测 三元组分类0摘要0鉴于当前知识图谱嵌入主要侧重于对称/对立、倒置和关系模式的组合，并没有充分考虑知识图谱的结构。我们提出了一种基于语义层次的知识图谱嵌入（SHKE），它通过融合知识图谱的语义信息和层次信息充分考虑了知识图谱的信息。知识图谱被映射到极坐标系中，同心圆自然地反映了层次结构，实体可以被划分为模数部分和相位部分，然后通过关系向量将极坐标系的模数部分映射到关系向量空间，因此模数部分考虑了知识图谱的语义信息，相位部分考虑了层次信息。实验证明，与其他模型相比，所提出的模型将知识图谱链接预测指标Hits@10%提高了约10%，三元组分类实验的准确性提高了约10%。01. 引言0近年来，信息技术的不断发展已经在人们的生活中带来了巨大的变化，伴随着信息互联，也产生了大量的用户信息和交互信息等各种数据。为了实现更智能、更快速的搜索引擎，谷歌的相关研究人员在2012年提出了知识图谱的概念[1]。然而，随着对知识图谱的研究深入以及知识图谱在各个领域的应用，但知识图谱的覆盖范围和内容仍然远远不够全面和完整，限制了其扩展应用的发展，研究人员发现在知识图谱的应用过程中仍然存在一些需要解决的问题。(1)由于知识图谱的不完整，使用知识图谱存在巨大的局限性，这极大地限制了知识图谱对检索和推理的准确性。因此，与知识图谱的完善相关的研究工作是知识图谱技术的关键问题之一。作为完善知识图谱的手段之一，链接预测是当前研究的重点。(2)知识图谱的三元组在结构化数据的表示上更加有效，但它们潜在的符号属性往往使得知识图谱很难真正融入实际应用[2]。为了解决这些问题，提出了知识图谱嵌入（KGE）的概念。其核心思想是将知识图谱中的实体和关系嵌入到连续空间中，获得相应的嵌入表示，提高了表示知识的能力。这种方法主要具有以下特点：0（1）使用向量表示可以提高应用的计算效率。知识图谱的实体和关系被映射到向量空间中，实现了诸如语义相似度计算等复杂操作，计算效率得到了显著提高，数据稀疏性的问题得到了有效解决。0�通讯作者。0电子邮件地址：1530196267@qq.com（F. Linjuan）。0https://doi.org/10.1016/j.cogr.2022.06.002 收稿日期：2022年6月8日；修订日期：2022年6月27日；接受日期：2022年6月27日 在线发表日期：2022年6月29日2667-2413/© 2022 The Authors. Publishing Services by Elsevier B.V. on behalf of KeAi Communications Co. Ltd. 本文是根据CCBY-NC-ND许可协议（http://creativecommons.org/licenses/by-nc-nd/4.0/）的开放获取文章。148 0F. Linjuan，S. Yongyong，X. Fei等人。《认知机器人学》2（2022）147–1540（2）增加下游应用设计的多样性。经过向量表示后，知识图更适合当前流行的机器学习算法，例如神经网络和其他方法。因为下游应用不再输入符号，所以可以考虑的方法不再局限于图算法。0（3）KGE被用作下游应用的预训练向量输入，使得输入信息不再是不包含语义信息的孤立符号，而是经过训练并包含一定信息的向量，并且还可以用于监督神经网络的训练过程。0总之，由于当前现有的知识图嵌入方法主要侧重于对称/对立、倒置和组合关系建模，但从宏观角度看，知识图由多个树组成，而树是“层次”关系。受到HAKE和TransD模型的启发，我们提出了基于语义层次的知识图嵌入（SHKE），它分别从三元组之间的语义和层次关系嵌入知识图。(1)对于层次关系，SHKE将知识图映射到极坐标系中，将实体分为模量部分和相位部分。(2)对于语义关系，SHKE将极坐标系的模量部分通过关系向量映射到关系向量空间，这是关系模量部分。极坐标系的相位部分与关系向量空间的关系模量部分相结合，即知识图嵌入。02. 相关工作0近年来，互联网数据迅速增长并呈现不同形式，作为知识图领域的重要研究之一，知识图嵌入取得了许多成就。这些嵌入模型可以分为：翻译模型、语义匹配模型、神经网络模型、几何模型。以下是对这些模型的详细描述。02.1. 翻译模型0Bordes[3]等人提出了经典的翻译模型TransE。将实体和关系表示为相同空间的向量嵌入知识图，但这种方法无法处理实体之间的一对多、多对一和多对多等复杂关系。Wang Z [4]等人提出了TransH模型。该模型使用关系向量作为关系的超平面上的平移向量，以找到具有特定关系的头部和尾部实体。Y. Lin[5]等人提出了TransR模型。该模型将实体和关系嵌入到不同的语义空间中，然后在关系的嵌入空间中从起始实体到尾部实体建立翻译关系。这两个模型都是从知识图中复杂关系的角度建模的，而没有考虑知识图的结构关系。02.2. 语义匹配模型0语义匹配模型使用基于相似性的评分函数通过匹配实体的潜在语义和向量空间表示中体现的关系来衡量事实的合理性。Nickel M[6]等人提出了RESCAL模型。其学习过程通常通过张量分解完成。然而，该方法容易过拟合。Kazemi S M[7]等人提出了SimpiE模型。该模型使用关系的倒数将对称项添加到三元组评分函数中，使得每个实体的两个向量依赖学习，并且SimplE的复杂度与嵌入维度呈线性关系。然而，这种方法计算密集且数据冗余。02.3.神经网络模型0ConvE [8]是一种基于CNN的方法，通过将头实体、关系对作为特征图来建模实体和关系之间的交互（�，�，�）。CapsE[9]模型假设不同的嵌入向量在相同位置编码同源信息，并使用胶囊神经网络来学习实体和关系表示。这两种方法不能建模实体的层次性质和知识图谱中关系的多样性，而只能获得关于实体和关系的深层交互信息，而没有解释。02.4.几何模型0RotatE[10]将实体和关系建模为复杂空间，并将关系描述为复杂域空间的旋转变换，正确模拟了许多关系模式，如对称/对立、倒置和组合。但该方法使用旋转特性来解决知识库中的对称/对立、翻转和组合关系，但知识库中不仅有这些关系，而且关系建模并不完全考虑。 HAKE[11]还考虑了从研究实体之间的语义层次的角度，以极坐标系表示实体和关系。这从结构上对知识图谱进行了建模，但没有考虑实体之间的对称/对立、倒置和组合等关系模式。总之，我们提出了HAKE模型，它不仅考虑了知识图谱的语义信息，还考虑了知识图谱的结构信息。ℎ 𝑚 ◦𝑟 𝑚 = 𝑡 𝑚 (1) 149 0F.林娟，S.永勇，X.飞等。认知机器人学2（2022）147-1540图1.基于语义层次模型框架的知识图谱嵌入。03.我们的模型0为了充分考虑知识图谱的层次特征和实体之间的关系，知识图谱的嵌入模型可以区分实体的两种属性类型：0A不同层次中的实体和关系。例如：“姚明”和“叶莉”的关系是“配偶”，“上海”和“6340平方公里”的关系是“面积”。实体之间的关系是一对多、多对一和多对多。例如：“姚明”、“叶莉”和“上海”的关系是“出生地”，“姚明”和“叶莉”的关系是“配偶”，“姚明”和“上海”的关系是“出生地”。0B实体和关系在同一层次结构中。例如，“叶莉”和“上海”的关系是“出生地”。0我们提出了基于语义层次的知识图嵌入（SHKE）模型，该模型将知识图映射到极坐标系，实体分为模量部分和相位部分，然后将模量部分通过关系向量映射到关系向量空间，实体与极坐标系的相位部分相结合，得到知识图嵌入。模型图如图1所示，在极坐标系中，� �表示极坐标系相位部分的头实体嵌入，��表示极坐标系相位部分的关系嵌入，� �表示极坐标系关系嵌入。在关系特征向量矩阵中，� � m表示关系映射矩阵，� �表示极坐标系模量部分的头实体嵌入，��表示极坐标系模量部分的尾实体嵌入，� ��表示关系向量空间的头实体嵌入，���表示关系向量空间的尾实体嵌入：基于语义层次的知识图嵌入（SHKE）是对实体和关系进行建模，为了区分不同实体的嵌入，本文使用���（e可以是h或t）和� �表示实体嵌入和关系嵌入的模量部分，使用� �（e可以是h或t）和��表示实体嵌入和关系嵌入的相位部分。SHKE由两部分组成：关系模量部分和相位部分。03.1. 关系模数0关系模数模块旨在对层次结构中不同级别的实体和实体之间的语义关系进行建模。由于知识图由多个树组成，并且树是“层次”关系，知识图的实体首先映射到极坐标系，然后映射到关系向量空间，这样可以考虑知识图的层次关系和实体之间的语义关系。假设极坐标系空间中每个实体对(h, r,t)的向量表示为� �和� �，对于给定映射矩阵� ��的每个关系r，极坐标系空间的实体通过关系映射矩阵� ��映射到关系向量空间，即实体表示为� �，���。关系模数的计算公式如下：极坐标系空间:0其中� �表示极坐标系中模数部分的头实体嵌入，� �表示极坐标系关系嵌入，� �表示极坐标系中模数部分的尾实体嵌入。F. Linjuan, S. Yongyong, X. Fei et al. Cognitive Robotics 2 (2022) 147–154 ℎ 𝑟𝑚 = ℎ 𝑚 𝑀 𝑟𝑚 𝑡 = 𝑡 𝑀 (2) 𝑡 𝑟𝑚 = 𝑡 𝑚 𝑀 𝑟𝑚 = ℎ 𝑚 ◦𝑟 𝑚 𝑀 𝑟𝑚 (3) 𝑑 𝑟,𝑚 ( ℎ 𝑟𝑚 , 𝑡 𝑟𝑚 ) = ℎ 𝑟𝑚 ◦𝑟 𝑚 − 𝑡 𝑟𝑚 2 (4) ( ℎ 𝑝 + 𝑟 𝑝 ) mod 2 𝜋 = 𝑡 𝑝 (5) 𝑑 𝑟,𝑝 ( ℎ 𝑝 , 𝑡 𝑝 ) = sin ( ℎ 𝑝 + 𝑟 𝑝 − 𝑡 𝑝 ) 1 (6) 150 0关系向量空间:0这可以变成:0其中� �，� �∈  � �，� �∈  � � +，� ��表示关系向量空间中的头实体嵌入，� ��表示关系向量空间中的尾实体嵌入，� �表示极坐标系中模数部分的头实体嵌入，��表示极坐标系中模数部分的尾实体嵌入，� � m表示关系映射矩阵。相应的距离函数:0其中� ��表示关系向量空间中的头实体嵌入，� ��表示关系向量空间中的尾实体嵌入，��表示极坐标系中模数部分的关系嵌入，◦是Hadamard乘积。如果只使用模数部分来嵌入知识图，则类别B中的实体具有相同的模数。因此，需要一个新的模块来对同一级别的实体进行建模，即相位模块。03.2. 相位模块0相位模块旨在对语义层次结构中的同一级别的实体进行建模。因为同一级别的实体具有相同的模数但具有不同的相位，本文使用相位来区分B类别中的实体。具体而言，和� �的每个项，即[ � � ] �和[ � � ] �被视为一个相位，� �的每个项，即[ � � ] �作为头实体到尾实体的相位转移，相位模块计算如下：0其中� �，� �，� � < [0 , 2 � )，� �表示极坐标系中相位部分的头实体嵌入，� �表示极坐标系中相位部分的关系嵌入，� �表示极坐标系中相位部分的尾实体嵌入。0相应的距离函数:0其中sin(.)是一个将正弦函数应用于输入的操作，� �表示极坐标系中相位部分的头实体嵌入，� �表示极坐标系中相位部分的关系嵌入，��表示极坐标系中相位部分的尾实体嵌入。0结合模量和相位部分，SHKE首先将实体映射到极坐标系，然后通过关系向量将极坐标系的模量部分映射到关系向量空间，即SHKE将实体h映射到[ � �� ∶ � �]，其中� ��和� �分别由模量部分和相位部分生成。SHKE的计算如下:0{ � �� ◦ � � = � �� ( � � + � � ) mod 2 �  = � � (7)0其中� �，� � ∈  � �，� � ∈  � � +，� �，� �，� � ∈ [0 , 2 � ) �，� ��表示关系向量空间的头实体嵌入，� ��表示关系向量空间的尾实体嵌入，��表示极坐标系中模量部分的关系嵌入，� �表示极坐标系中相位部分的头实体嵌入，� �表示极坐标系中相位部分的关系嵌入，��表示极坐标系中相位部分的尾实体嵌入。0相应的距离函数:0� � ( �, � ) = � �,� ( � �� , � �� ) + �� �,� ( � � , � � ) (8)0其中，� ��表示关系向量空间的头实体嵌入，� ��表示关系向量空间的尾实体嵌入，� �表示极坐标系中相位部分的头实体嵌入，��表示极坐标系中相位部分的尾实体嵌入，�  ∈  �是模型学习的参数。也就是说，模型的评分函数是:0� � ( �, � ) = � � ( �, � ) = − � �,� ( �, � ) − �� �,� ( �, � ) (9)0本文中，关系模量和相位的训练采用了负样本训练方法，例如:实体h和�1之间存在关系r，如果实体h和�2之间没有关系，则( �, �, �1 )是正样本，( �, �, �2)是负样本。本文的目标是最小化� � ( �, �, �1 )并最大化� � ( �, �, �2 )，使正负样本的向量清晰区分，对于正样本，因为[ � � ] � > 0，[ � ] �和[ � 1 ]�的向量符号相同，对于负样本，如果我们初始化它们的向量，[ � � ]和[ � 2 , � ] �的向量是不同的。因此，� � ( � � , � 2 , � )大于� � ( � � , � 1 ,�)。最后，因为层次结构中较高的实体更接近树的根部，所以较高的实体具有较小的模量。𝑀𝑅𝑅 = 1 𝑄 𝑄 ∑𝑖 =1 1 𝑞 𝑖 𝑀𝑅 = 1 𝑄 𝑄 ∑𝑖 =1 𝑞 𝑖 𝐻𝑖𝑡𝑠 @𝑁 = 𝑁 𝑟 𝑄 151 0F. Linjuan, S. Yongyong, X. Fei et al. Cognitive Robotics 2 (2022) 147–1540本文使用的数据集统计信息如表1所示。0数据集 #Rel #Ent #Train #Valid #Test0WN18RR 11 40934 86835 3034 31340FB15K-237 237 14541 272115 17535 2046604. 实验04.1. 数据集0本文利用链接预测任务来评估SHKE模型。本文使用了两个真实世界的知识图作为基准数据集: WN18RR，FB15K-237，如表1所示。04.2. 比较方法0为了验证模型的性能，本文选择了一些典型的基准方法进行比较，如下:0(1) TransE [12]将实体和关系系统嵌入到低维特征空间中，将关系视为头实体和尾实体之间的平移向量。0(2) TransR [13]将关系特定的超平面扩展到关系特定的空间，定义了从实体向量到关系空间的投影矩阵。0(3) DistMult [14]通过在嵌入空间中匹配潜在的语义信息来计算三元组的概率。(4) ConvE[15]使用多层卷积神经网络来捕获实体和关系之间的潜在语义信息。0(5) (5)TorusE [16]将映射空间从普通向量空间转换为李群，解决了多个实体对共享相同关系的问题。0(6) (6)TransET [17]使用实体和实体类型嵌入的循环卷积将头部和尾部实体映射到类型特定的表示，然后使用基于平移的评分函数来学习表示三元组。04.3. 链接预测实验结果0链接预测（LP），也称为知识图补全（KGC），是基于已知知识图中的知识，生成新知识的过程。也就是说，给定一个知识图 � = { �, �, � }，链接预测任务是分配给三元组（ �, �, � ）中的两个，预测最有可能的三元组，最有可能成为知识图G中的三元组集合 � ′ = {( �, �, � ) | � ∈  �, � ∈ �, � ∈  �, ( �, �, � ) �  �}。根据任务的不同，链接预测可以分为头部、关系和尾部实体预测。04.3.1. 评估指标 实验评估指标使用知识图推理中常用的三个指标：平均倒数排名（MRR），平均排名（MR），以及前N个正确实体的比例Hits@N，N =1,3,10。对于测试三元组，将所有候选实体一次性替换为头部或尾部实体，计算得分，进行降序排列，正确实体的平均倒数排名是MRR，可以表示为：0其中，Q代表预测结果的总数，� � 代表第i个预测结果在排序中的排名，如果分数按升序排序，则正确实体的平均排名是MR，可以写成：0正确实体排名越高表示模型性能越好，那么在前N名中正确实体的比例可以表示为：0其中，� � 代表排名在前N位的正确实体数量。F. Linjuan, S. Yongyong, X. Fei et al. Cognitive Robotics 2 (2022) 147–154 TransE 0.284 3285 0.460 TransR - - DistMult 0.423 5109 0.483 ConvE 0.425 4089 0.503 TorusE 0.435 3856 0.511 TransET 0.442 3556 0.531 SHKE 0.452 3205 0.540 TransE 0.223 325 0.453 TransR 0.231 223 0.435 DistMult 0.245 252 0.470 ConvE 0.325 244 0.501 TorusE 0.336 214 0.492 TransET 0.340 195 0.526 SHKE 0.352 186 0.543 TransE 75.3 80.2 77.6 TransR 85.4 82.3 83.9 DistMult 84.7 85.6 85.2 ConvE 85.8 86.9 86.4 TorusE 86.2 86.7 86.5 TransET 86.9 87.0 87.0 SHKE 87.2 87.3 87.3 152 0表2在WN18RR数据集上进行链接预测任务的不同模型的实验比较结果。0模型 MRR MR Hits@10%0表3在FB15K-237数据集上进行链接预测任务的不同模型的实验比较结果。0模型 MRR MR Hits@10%0表4 不同模型三元组分类准确率结果。0模型 WN18RR FB15K-237 平均值04.3.2. 实验结果 从表2和表3可以观察到：0（1）对于仅使用三元组的嵌入模型，本文提出的方法在大多数指标上表现良好，上述结果验证了模型的有效性。0（2）与TransE和TransR方法相比，充分考虑知识图的结构信息可以提高模型的性能。主要原因是SHKE不仅考虑了知识图的语义信息，还考虑了知识图的结构信息，丰富了实体和关系的信息表示。04.4. 三元组分类0三元组分类也是用于评估嵌入模型性能的任务。目标是确定给定的三元组（h，r，t）是否成立，这本质上是一个二元分类问题。04.4.1. 评估指标给定一个测试三元组（h，r，t），使用得分函数��（h，t）计算其得分。如果得分低于阈值，则对位置为负，否则为正。本文使用准确性作为此任务的度量。04.4.2. 实验结果 在三元组分类实验中，本模型和其他模型的实验结果配对如表4所示。0和图2。153 0F. Linjuan, S. Yongyong, X. Fei等人。认知机器人学2（2022）147-154。0图2. 对不同模型三元组分类准确性结果的图形表示。0从图2可以看出，结果如下：与传统的基于翻译的嵌入模型（例如TransE）相比，WN18RR和FB15K-237的准确率分别提高了11.9%和7.1%。这证明了所提出的模型对嵌入知识图是有效的。05. 结论0本文研究了基于语义层次的知识图嵌入方法。通过将知识图映射到极坐标系以考虑其层次信息，然后模量部分通过关系向量映射关系向量空间考虑其语义信息，既考虑了知识图的层次结构，又考虑了知识图的语义结构。实验结果表明，通过将模型通过链接预测和三元组分类任务进行评估，结果表明所提出的方法取得了显著改进，并且优于以前的模型。在随后的研究中，SHKE模型的实体和关系预测都比典型的嵌入模型更准确。下一步是研究将实体和关系集成到邻域信息中，改进实体和关系之间的交互，并进一步提高知识图的完整性。0竞争利益声明0作者声明他们没有已知的竞争性财务利益或可能影响本文报道工作的个人关系。0参考文献0[1] Heiko. Paulheim，知识图细化：方法和评估方法的调查，语义网8（3）（2017）489-502。[2] M Nickel，V Tresp，H-PKriegel，多关系数据集上的集体学习的三方模型，第28届国际机器学习大会，美国华盛顿州贝尔维尤（2011）809-816。0[3] A Bordes, N Usunier, A Garcia-Duran, 等人，用于建模多关系数据的翻译嵌入，神经信息处理系统（NIPS）（2013）1-9。[4] Z Wang, J Zhang, J Feng,等人，通过在超平面上进行翻译的知识图嵌入，AAAI人工智能大会28（1）（2014）。[5] Y. Lin, Z. Liu, M. Sun,等人，学习实体和关系嵌入以完成知识图，第二十九届AAAI人工智能大会（2015）2181-2187。0[6] M Nickel，V Tresp，H P Kriegel，用于多关系数据集体学习的三方模型，第28届国际机器学习大会（2011）809-816。[7] S M Kazemi，D.Poole，知识图链接预测的SimplE嵌入，第32届国际神经信息处理系统大会（2018）4289-4300。[8] T Dettmers，P Minervini，PStenetorp等人，二维卷积知识图嵌入，在：AAAI人工智能大会论文集，32，2018年。0[9] T Vu，T D Nguyen，D QNguyen等人，基于胶囊网络的嵌入模型用于知识图完成和搜索个性化，在：2019北美计算语言学协会会议论文集：人类语言技术，2019年，第2180-2189页。卷1（长篇和短篇论文）。0[10] 孙Z，邓Z H，聂J Y等人，RotatE：复杂空间中的关系旋转知识图嵌入，国际学习表示会议，2018年。154 0F. 林娟，S. 永勇，X. 飞等人。认知机器人学2（2022）147-1540[11] 张Z，蔡J，张Y等人，为链接预测学习层次感知知识图嵌入，Proc. AAAI Conf. Artif. Intell. 34（03）（2020）3065-3072。0[12] 安托万∙博德斯等人，用于建模多关系数据的翻译嵌入，Adv.神经信息处理系统26（2013）。[13]林Y，刘Z，孙M等人，学习实体和关系嵌入以完成知识图，第二十九届AAAI人工智能大会（2015）。[14]杨B，易W，何X等人。嵌入实体和关系以学习和推理知识库。arXiv预印本arXiv:1412.6575，2014年。[15] T Dettmers，P Minervini，P Stenetorp等人，二维卷积知识图嵌入，Proc.AAAI Conf. Artif. Intell. 32（1）（2018）。[16] Takuma Ebisu，Ryutaro Ichise，TorusE：Lie Group上的知识图嵌入。" abs/1711.05435（2018）。[17] PengWang等人，Transet：带有实体类型的知识图嵌入10（2021）。