多跳推理中基于类型的消息处理模型（TEMP）的研究

+v：mala2277获取更多论文{}知识图上多跳推理的类型感知嵌入胡志伟1，魏志威2，向志良2，李晓莉3，李茹1，李志华2. Pan41山西大学计算机与信息技术学院2英国卡迪夫大学计算机科学与信息学院3信息技术研究所/前沿人工智能研究中心，A*STAR，新加坡4英国爱丁堡大学信息学院ILCCzhiweihu@whu.edu.cn， gutierrezbasultov，cardiff.ac.uk，xlli@i2r.a-star.edu.sg，liru@sxu.edu.cn，http://knowledge-representation.org/j.z.pan/摘要现实生活中的知识图多跳推理是一个极具挑战性的问题，传统的子图匹配方法无法处理噪声和丢失信息。为了解决这个问题，最近已经引入了一种基于将逻辑查询和KG联合嵌入到低维空间中以识别答案实体的有前途的方法。然而，现有的建议忽略了关键的语义知识固有的知识库，如类型信息。为了充分利用类型信息，本文提出了一种新的基于类型的消息处理模型（TEMP），该模型增强了查询中的实体和关系表示，同时提高了泛化、演绎和归纳推理能力.值得注意的是，TEMP是一种即插即用的模型，可以很容易地集成到现有的基于嵌入的模型中，以提高它们的性能。在三个真实数据集上的大量实验证明了TEMP1介绍近年来，在大规模不完备知识图（KG）上回答一阶逻辑查询（FOL）的多跳推理问题[Panet al. [2016]在AI社区 中 获 得 了 广 泛 的 关 注 。 用 于 查 询 回 答 的 trans-acquisition子图匹配方法的主要挑战是KG不可避免地是不完整的和噪声的。而当他（她）们）们（她）们（她）们（们）（她）们）（她）们（们）（她）们（们）（们）（她）们）（她，2020]并且三元组在KG中是不完整的，在正常的演绎推理下不能保证找到正确的答案，导致空的或错误的答案。另一个问题是它们固有的高计算复杂性，因为它们需要跟踪推理路径上发生的所有中间实体，导致指数爆破。例如，要回答图1所示的查询联系作者为了解决这些挑战，查询嵌入（QE）的方法，查询回答最近已被引入作为子图匹配方法的替代。其主要思想是将实体和查询嵌入到联合低维向量空间中，使得回答查询的实体接近查询的嵌入。几种量化宽松模式-用于查询应答的els，显示出非常有前途的性能，到目前为止已经被提出[Hamilton et al. ，2018;Ren et al. ，2020;Ren和Leskovec，2020; Zhang et al. ，2021;Choudhary etal. ，2021 b;Luus等人，2021]。然而，这些模型未能利用KG中固有可用的语义知识，例如实体描述[Yao etal. ，2019;Daza et al. ，2021]或实体类型信息[Niu etal. ，2020;Pan等人，2021]。引入类型信息的优点体育/多项目比赛和时间/项目的类型可以丰富体育项目背景下的实体夏季奥运会的表示（参见图1）。图1）。2）它还可以帮助解决归纳查询应答问题，其中在测试查询中使用的实体在训练时不能被观察到;例如，考虑图1中的查询：即使实体Summer Olympics和Winter Olympics不同，它们也具有类似的类型信息，诸如体育/多事件比赛和时间/事件。因此，在使用类型信息来表示实体之后，与从Train KG生成的查询相关联的模型也对从Test KG生成的查询有效。本文的目标是引入一种类型感知的即插即用模型，该模型充分利用知识图中的类型信息，并且可以很容易地嵌入到基于扩展QE的模型中。为此，我们提出了一种新的TypE-aware消息过滤（TEMP）模型，它包含两个关键组件。1)类型感知实体表示（TER），聚合实体的类型信息以加强其向量表示（参见 第4.1节）。2) 类型感知关系表示（TRR），使用实体类型信息来构建全局类型图以增强关系表示，并同时将其与其类型表示和现有实体类型信息集成（参见 第4.2节）。 重要的是，一些查询有不同的-arXiv：2205.00782v1 [cs.AI] 2022年5月+v：mala2277获取更多论文政府/政治顾问Book/editor_title冬奥会类型？锚节点rel_3变量节点检测KG？目标节点欧洲关系{}∈R∈ ETTRC∈ E∈ CV EG ER CE∃ ∧ ∨¬图书/图书主题 体育/多项目锦标赛business/board_member_title组织/角色时间/事件项目/project夏季奥运会？rel_3列车KG亚洲Dependency graph Dependency graph当前CQA领域，我们主要关注如何构建一个即插即用的模型来嵌入现有基于QE的方法的类型信息。其他方法。除了基于QE的方法之外，基于路径的方法是用于CQA的另一种方法，但是其面临搜索空间随着跳数的指数增长。例如，CQD [Arakelyanet al. ，2021]使用波束搜索方法来显式地跟踪中间实体，并且图1：FOL查询的归纳设置。左边的部分显示了查询右边的部分显示了查询rel 1、rel 2和rel 3分别表示关系：Hold、Locate和President of。查询路径中的可变节点（参见图1），这增加了链中后续推理步骤的难度，因为变量节点是未知的。为了解决这个问题，TRR组件使用锚节点的双向机制来监督查询路径中的关系，反之亦然。此外，如前所述，在使用类型信息来表示实体和关系之后，由于新实体或关系的出现不会影响基于类型的表示，因此模型变得固有地归纳。我们的主要贡献可归纳如下：• 我们提出了TEMP，一种新的类型感知的即插即用模型的多跳推理KG，可以很容易地纳入现有的QE为基础的模型。• 我们设计了一种新的双向集成机制，它结合了实体，关系，类型信息之间的成对依赖，即使在没有模式公理，如域和范围。• 大量的实验表明，在将TEMP引入到四个最先进的基线中后，它们的泛化、演绎和归纳推理能力在三个基准数据集上都得到了显著的提高。2相关工作查询嵌入。QE模型首先将实体和FOL查询嵌入到联合低维向量空间中，随后计算潜在嵌入空间中实体表示和查询表示通常，根据嵌入空间的类型，基于QE的方法可以 分 为 四 类 ： （ i ） 基 于 几 何 的 方 法 ， 例 如 GQE[Hamiltonet al. ，2018]，Q2B [Renet al. ，2020]，HypE[Choudharyet al. ，2021b]和ConE [Zhanget al. ，2021]，其中逻辑查询和KG实体分别作为点、盒、双曲线和圆锥形状嵌入到几何向量空间中;（ii）基于分布的方法，例如BETA E [Ren和Leskovec，2020]，将查询嵌入到具有有界支持的beta分布，以及PERM [Choudharyet al. ，2021a]，通过t范数重复组合来自预训练的链接预测器的分数，以在跟踪中介的同时搜索答案。但是，CQD不支持完整的FOL查询集。归纳KG完成（KGC）。在 KGC的背景下，已经有一些关于归纳设置的工作，其中在训练阶段看不到测试实体。基于所使用的信息源，它们可以被分成两类：使用图 结 构 信 息 ， 例 如 ， 子 图 或 拓 扑 结 构 [Teruet al. ，2020;Chen等人，2021;Wanget al. ，2021]，或者使用外部信息，例如，实体的文本描述[Dazaet al. ，2021]。然而，所有这些方法都集中在归纳KGC任务上，这可以被视为回答更简单的单跳查询。类型感知任务。类型信息以前用于其他任务，如KGC或实体分型[Yaoet al. ，2019;Zhaoet al. ，2020;Daza等人，2021;Niu等人，2020;Pan等人，2021]。然而，这些作品不能直接用于回答FOL查询，因为这需要多跳推理，产生中间不确定的实体。3背景在本文中，知识图[潘等人。，2016]以用于图结构化数据的标准格式（诸如RDF）来表示。知识图是一个元组（，，、），其中是实体集合，是关系类型集合，是实体类型集合，是三元组集合。中的三元组是关系断言（h，r，t），其中h，t 分别是三元组的头和尾实体，r是连接头和尾的三元组的边，或者是实体类型断言（e，type，c），其中e 是实体，c是实体类型，type是关系的实例[Pan，2009]。我们考虑使用存在量化（）、合取（）、析取（）和否定（）操作的FOL查询我们将使用析取范式中的FOL查询，即表示为合取的析取为了介绍FOL查询，我们假设一表示一组不可变的输入锚实体V1，. . . ，V m表示ex-istentially量化的变量和V？ 是targ et变量。FOL查询Q是以下形式的公式Q [V？]=V？ . 1997年1月， . . ，Vm：c1<$c2<$. . . n.不稳定的，不稳定的其中c i=e i1。. . k∈ik，k≤m使得每个eij具有以下形式之一：r（Va，V），<$r（Va，V），r（V， V′）或<$r（V，V′），其中Va′∈Va，V∈{V？、V1、. . . ，Vm}，V′∈使用高斯密度对KG进行推理;（iii）基于逻辑的{V1，. . . ，Vm}，V1= V2。方法，将所谓的集合逻辑与FOL联系起来[Luuset al. ，2021];（iv）基于神经的方法，例如，EMQL [Sunetal. ，2020]使用神经检索来实现逻辑运算。考虑到基于量化宽松的方法是主流，查询Q的依赖图（DG）是Q的图形表示，其中节点对应于Q中的可变或不可变参数，并且边对应于Q中的关系。图1显示了DG的一个示例。+v：mala2277获取更多论文SS××R（在r下进行线性运算以获得H∈R）SHH ∈·∈∈S≥S我 S我SEMPSSSS¢˜实体关系类型之三TRR依赖图夏季奥运会之三TRReRKGrel_3？R亚洲es儿reRsTRR关系上下文夏季奥运会步骤1eSeRSR亚洲步骤2类型图类型设置步骤3：成对表示集成图2：TEMP的架构。左上部分是查询“List the presidents of Asian countries that had held the Summer Olympics“的依赖图我们感兴趣的是在KG上回答查询Q的多跳推理问题，其目的是找到一组实体Q）∈ E，使得a∈Q）当且仅当Q[a]成立4语义丰富的嵌入g=σ（WiHi+bi）（1）Hi+1=g<$（W′Hi+b′）+（1−g）<$Hi（2）我们的模型T由两个子模型组成：Type-SHK=WHK+b（3）感知实体表示（TER），它使用类型infor-实体的信息化以丰富其矢量表示，以及类型感知的关系表示（TRR），它进一步集成了实体表示、关系类型和关系H1是实体类型的初始特征，σ是元素-智慧S形函数，{Wi，Wi′}∈Rd×d，{bi，b′i}∈Rd×1是可学习矩阵，g∈Rd×n是复位门。在迭代K次之后（我们设置K=2），最终消息HK∈增强实体和关系向量的表示代表同时。有趣的是，由于我们只利用类型信息来执行实体和关系的深入特征化，而不修改现有的基于QE的模型的训练目标，因此TEMP可以以即插即用的方式轻松嵌入其中。4.1类型感知实体表示TER背后的主要直觉是，实体的类型提供了关于它在KG中代表什么的有价值的信息。例如，如果实体包含诸如体育/多事件锦标赛、时间/事件、奥运会/奥林匹克运动会之类的类型，则推断相应的实体表示奥运会是合理的。为了捕捉这种直觉，我们设计了一个迭代的多高速公路层[Srivastavaet al. ，2015]来聚合实体类型断言中的类型信息，以获得更准确和全面的表示。dnKd1S作为给定实体的类型的表示我们进一步连接初始实体及其类型聚合表示，以获得增强的实体表示。He=W′[HK，H0]+b′，（4）其中[]是级联函数，W'Rd×d和b'Rd×1是要学习的参数。eRd×1是实体的最终表示。重要的是要注意，对于归纳推理，我们不会与初始实体信息0连接，因为在训练期间看到的实体不会在测试阶段出现。 该过程在图2的顶部中心示出。4.2类型感知的关系表示在实体上执行TER对于没有ex的查询很有用，sentation of it1. 设Hi∈Rd×n表示潜在的量化变量。 但是，对于链式存在变量（迭代i1中实体的类型信息，其中d和n分别表示向量大小和实体的类型数的基于高速公路的类型融合表示一个给定的实体可以计算如下：1其他汇总备选方案见附录。DG）仅对锚实体或目标变量执行TER是不够的。直观地说，问题是在长链推理过程中，在若干关系投影之后，锚实体和目标变量之间的相关性可能不够强此外，连续关系+v：mala2277获取更多论文R=rSR∈R T电子邮件RC TH{H H H}ΣΣG∈RGG{}G∈类似地。因为r可以出现在多个关系断言中，H ZHtpr（G）=tpt（ hd（ t）），tpr（G）=参数我们使用逐元素减法g和乘法k来构建更好的匹配表示[Taiettphd（G）<$tp tl（G），E=R，且（v，r，v′）∈T，如果存在RR我Rd×2d和b∈Rd×1是可学习的参数。 他是ΣGG≤≤ |G|G通过关系和类型增强的最终实体表示投影可能导致搜索空间的指数增长exp（MLP（Hi））（六）进一步增加了模型的复杂性。我们首先要注意的是，关系的类型是相应的-exp（MLP（Hj））与其在KG中的代表性有关。例如，假设-Hs是聚合类型infor的向量表示，关系有政府/政治领导人和式tpr（Gtp）;Hi∈Rd×1是组织/角色，那么我们可以合理地推断关系r代表President of。在长链查询中，键入-第i个类型tpi（Gtp），其被初始化为均匀分布。尺寸为d的线，1≤i≤|tpi（Gtp）|; ai∈ Rd×1加强关系可以帮助减少答案，是一个加权向量，满足rn[a]=1，I j≤ ≤·→多个项目造成的空间和连锁误差选择。然而，在大多数现有的幼儿园中，关系缺乏特殊性，cific类型注释（例如域和范围）。我们通过基于原始KG构建一个新颖的类型图来解决这个问题，该类型图以类型为节点，以关系为边（见图2的左下角）。在随后的步骤中，我们聚集类型图上的类型信息，以获得对应于特定关系的最后，我们通过双向注意机制将实体表示、关系的聚合类型信息及其表示集成在一起，使得中间变量节点可以感知锚节点或目标节点以及推理链中关系的消息（见图2右侧）。这将有助于避免长链推理导致锚点与目标实体之间的联系减弱。第一步：类型图构造我们正式定义了一个类型图TP. 设=（，，，）成为KG对于关系r，r表示其中R出现的关系断言。对于关系断言，所有1jd;和MLP（）：RdRd是一个多层感知器网络步骤3：成对表示集成当嵌入查询时，集成实体、关系和类型的信息 为了考试- 对于查询我们需要专注于夏季奥运会的举办联系，而不是例如，注意连接。类似地，我们应该只考虑从夏季奥运会开始的Held连接，而不是例如，在世界杯上。为了在三元组e，r，s中正确地捕获这个限制，（e和s如等式（4）和（5）中定义，r是初始化关系向量），我们引入双向注意机制[Zhang et al. ，2020]来整合成对表示对的每个状态：实体-关系、实体-类型和关系-类型。在这里，我们展示如何为实体关系对做这件事。双向集成代表-t ∈Sr∈R Tr、hd（t）和tl（t）分别表示头部，He和Hr之间的表示可以计算如下：t的尾部实体，并且tpt（hd（t））={c|（hd（t），type，c）∈ T}er表示t的头部的类型集合;tpt（tl（t））被定义为Ger=Relu（W1<$HegHr+b1）（7）的头实体和尾实体的类型的交集来计算r的类型信息。re=Relu（W2HrgHeHrHe+b2）（八）其中R出现的关系断言对于r∈ R，我们定义{W，W}∈R2d×2d和{b，b}∈R2d×1是可学习的HD\t∈TrTL\t∈Tr1 2 12此外，我们定义Sr∈RRRGTP =（V，E，T）通过设置V=′al. ，2015]。erR2d×1是积分实体的结果关系信息。通过双向整合，tities和relations，we simultaneously同时get a relationship关系aware感知存在t∈Tr使得v=tpt（hd（t））且v步骤2：关系类型聚合=tpt（tl（t））。实体表示和实体感知关系表示描述实体和关系之间的交互。对于给定的关系r∈E，我们定义与关系相关的类型为tpr（Gtp）=tphd（G）<$tptl（G）。我们修复一个然后，我们使用门控机制来结合双向融合产生的结果，因为它更好地调节了信息，的元素上的任意线性阶，并且de-注意tpi（tp）是第i种类型，对于所有1itpr（tp）。注意，并非tpr（tp）中的所有类型都与回答给定查询相关例如，假设关系具有部分表示作为示例，使用关系感知实体er和类型感知实体es表示作为输入，实体的最终表示计算为g=σ（WGer+WGes+b+b）（9）包含类型 交通工具动物宇宙为查询“猫的器官是什么？”，我们应该给类型ani-3 4 3 4埃尔埃斯mal更多的注意，但对于查询G=gG+（1−g）G（十）“汽车零件？”我们应该把注意力集中在车型上。因此，我们不是简单地连接（或平均）与关系相关的所有类型信息，而是将关系类型聚合建模为注意力神经网络，定义为：{W3，W4}∈R2d×2d和{b3，b4}∈R2d×1是参数要学习。 g是复位门，eR2d×1是最终的实体表示。为了将融合特征变换为原始矢量大小，Hs=aH（五）我们使用一个线性层：He=W5Ge+b5，其中W5∈i=1G我tp t（tl（t））。信息流[Srivastavaet al. ，2015]。 把实体融合我S5一我J+v：mala2277获取更多论文+TEMP46.6 29.2 25.0 35.8 47.9 24.9 13.5 28.7 21.0 30.3 55.7 39.1(b)FB 15 k-237（Q2 B数据集）上的演绎推理FB 15 k NELLGG GGGGGG(a)FB 15 k-237的泛化（Q2 B数据集）FB15k NELL方法1p2p3p2i3iPiIP2u起来AvgAvgAvgGQE 41.3 21.5 15.2 26.5 38.5 16.7 8.8 17.1 15.8 22.4 40.1 23.5+TEMP47.6 29.6 24.7 36.3 48.4 25.5 13.4 30.2 21.0 30.7 56.6 38.2Q2B47.124.9 19.4 33.2 46.4 21.8 11.3 25.319.327.6 51.2 31.1+TEMP45.727.8 23.4 36.9 49.6 22.9 11.7 27.618.929.4 55.4 37.3BETA E 42.6 25.4 21.6 30.2 43.3 20.7 9.2 24.218.326.2 50.6 33.4+TEMP43.3 27.2 22.7 35.3 47.5 24.3 10.6 26.718.228.4 53.6 34.5LOGIC E 45.6 27.8 24.1 34.7 46.5 23.5 12.0 27.1 20.8 29.1 54.239.1GQE 56.4 30.1 24.5 35.9 51.2 25.1 13.0 25.8 22.0 31.6 43.7 49.8+TEMP76.3 48.6 39.0 49.7 60.4 36.9 22.1 59.0 36.3 47.6 71.4 75.5Q2B 58.5 34.3 28.1 44.7 62.1 23.9 11.7 40.5 22.0 36.2 43.7 51.1+TEMP87.2 59.6 47.9 67.2 72.7 49.1 29.8 78.6 43.4 59.5 69.6 90.4BETA E 77.9 52.6 44.5 59.0 67.8 42.2 23.5 63.7 35.1 51.860.680.2+TEMP84.7 58.3 49.4 62.3 68.8 45.3 28.5 74.5 41.1 57.0 60.6 81.5LOGIC E 81.5 54.2 46.0 58.1 67.1 44.0 28.5 66.6 40.8 54.1 65.585.3+TEMP84.5 59.8 51.9 59.3 68.1 47.0 33.4 70.8 45.4 57.8 67.184.6表1：在Q2B数据集上测试泛化和演绎推理的Hits@3结果。有关FB15k和NELL的完整结果，请参见附录。5实验我们的目的是分析增加TEMP到现有的QE模型的推广，演绎和归纳推理能力的影响。数据集和数据库。对于泛化和演绎推理，我们使用三个标准的基准KG与官方的训练/验证/测试分裂：FB 15 k[Bordesetal. ，2013]、FB 15 k-237 [Toutanova和Chen，2015]和NELL 995（NELL）[Xionget al. ，2017]，和两个查询数据集：一个具有9个查询结构，没有来自Query2Box（Q2B）的否定[Renet al. ，2020]，另一个来自B ETA E [ Ren和Leskovec，2020 ]，有14个（9个阳性+ 5个阴性）。为了测试归纳推理，我们使用GraIL提供的 数 据 集 FB 15 k-237-V2 和 NELL-V3 [Teruetal. ，2020]，确保测试集和训练集具有不相交的实体集。请注意，我们在这些数据集上生成查询，就像对BETA E数据集所做的那样。我们选择Hit@K和Mean ReciprocalRank（MRR）作为两个评估指标2。基线。我们将TEMP嵌入到四个最先进的基线上，用于KG 上 的 复 杂 QA ： Q2B 、 BETA E 、 GQE [Hamilton etal. ，2018]和L OGIC E [Luus et al. ，2021]。一般化。我们的目标是找到非平凡的答案FOL查询不完整的KG，即答案不能得到使用子图匹配。我们遵循[Ren和Leskovec，2020]中的评价方案。 简而言之，建造了三个幼儿园：仅包含训练三元组的训练，有效包含列车加上验证三元组，以及包含有效和测试三元组的测试模型使用train进行训练以评估泛化能力，因为查询至少有一个边缘要预测以找到答案。2有关数据集、查询和指标的详细信息，请参阅附录。演绎推理。目的是测试仅使用标准推理找到答案的能力。 [2016 - 05 - 25]孙继伟，2020年]，我们使用完整的KG训练模型（火车有效测试），所以只有推理（而不是泛化）才能得到正确的答案。归纳推理。所有基线模型在查询级别都具有归纳能力，因为它们可以回答在训练期间看不到的结构查询。例如，Q2B和BETA E数据集在训练和验证阶段考虑五个查询结构，在测试期间使用四个“看不见的”结构。然而，不知道它们是否具有实体级别的归纳能力，即在测试期间，查询结构具有在训练阶段不出现的实体。我们将首次对此进行分析。5.1主要结果我们在四个不同的方面比较了四个基线模型与它们的对应模型在加入我们的TEMP模型后的性能：1）泛化，2）演绎推理，3) 归纳推理; 4）带否定的查询。一般化。表1（a）显示，对于长链查询2p和3p，TEMP带来的改进超过了短链1p，证实了类型信息对于处理长链查询的适用性此外，TEMP增强模型还实现了对查询ip/pi/2u/up的改进，这在训练KG中没有发生，表明类型信息也有助于提高查询级结构的归纳能力值得注意的是，对于GQE，添加类型信息可以缩短差距，甚至超过最先进的基线模型（没有TEMP）。演绎推理。表1（b）显示，在添加类型信息后，基线的推理能力在所有数据集上都得到了显著提高。具体-+v：mala2277获取更多论文基于几何运算的嵌入模型（GQE、Q2B）的改进效果明显优于BETAE和LOGIC E。值得注意的是，Q2B + TEMP超过了最先进的基线模型（没有TEMP）。BETA E和LOGIC E的适度增益的主要原因是它们对实体和关系的嵌入施加了过度的限制。例如，在LOGIC E中，有界支持的逻辑嵌入改变了类型丰富的向量表示，从而影响了类型信息的效果。类型信息，使得实体与实体集、关系与关系集之间不需要耦合。否定的否定。表3示出了BE-TA E和LOGIC E对在BETA E数据集中具有否定的查询的结果。小增益的主要原因是，与BETA E和LOGIC E不同，TEMP没有特定的机制来处理否定。具体地，TEMP缺乏将类型信息与关系的否定相关联的机制，即，一种否定类型的方法通过以下方式增强查询使用类型信息的否定是一个有趣的问题。真正的工作。GQE 0.5 5.5 1.8 0.5 0.6 7.1 13.1 2.1 6.1 4.1+TEMP14.6 22.1 14.1 13.9 14.4 15.7 22.0 9.7 20.1 16.3+TEMP10.8 15.0 10.6 10.8 10.1 11.3 13.6 5.5 13.6 11.3LOGICE 0.7 2.5 1.1 1.0 0.9 1.0 3.1 0.3 1.6 1.45.2消融研究我们选择GQE和Q2B，因为它们通过添加类型信息受益最大，并且在三个数据集上进行消融实验以研究分别使用类型增强对实体或关系的影响，参见表4。我们进一步研究实体和关系类型聚集模型的不同实现，参见图3和图4。+TEMP15.7 17.1 15.1 14.6 13.8 13.6 16.3 7.0 14.2 14.2GQE 0.3 2.3 0.6 0.4 0.1 3.2 4.9 1.8 3.2 1.9+T EMP9.6 5.7 6.0 7.2 8.1 4.7 6.2 4.0 6.2型号TER TRR FB 15 k-237 FB 15 k NELL19.4 32.8 19.3Q2B 0.2 2.2 0.5 0.3 0.2 2.6 4.8 1.8 2.8 1.7GQE✓23.5 42.1 26.8电话：+86-21 - 8888888传真：+86-21 - 88888888+T EMP8.0 5.6 6.0 7.6 7.1 4.6 5.3 4.1 3.2 5.7美国28.2 50.9 34.5电话：+86 -21 - 5555555传真：+86-21 - 55555555BETA E 0.4 0.1 0.1 0.5 0.1 0.2 0.1 0.3 0.2 0.2+T EMP8.4 4.7 5.7 5.6 5.8 4.1 4.5 4.5 3.0 5.1LOGIC E 0.2 0.5 0.3 0.1 0.3 0.2 0.4 0.3Q2b✓24.7 44.3 29.1电话：+86-21 - 6555555美国26.8 49.7 33.9+T EMP 10.7 5.05.87.68.15.35.5 4.7 3.4 6.2表2：GraIL的FB 15 k-237- V2和NELL-V3归纳数据集生成的查询命中率@10结果数据集模型 我们的模型 2英寸3in InP 销 pni平均BETAE无14. 3 14. 711. 5 6. 5 12. 4 11. 8表4：使用TER或TRR的Q2B数据集的平均MRR结果。详细结果见附录。FB15k+TEMP15.2 15.6 11.5 6.8 13.4 12.5无15.1 14.2 12.5 7.1 13.4 12.5+TEMP15.2 14.7 12.7 7.6 13.7 12.8BETAE无5.17.97.4 3.6 3.45.4图3： MRR结果，图4： MRR结果，FB15k-237+TEMP4.38.07.6 3.5 2.9 5.3无4.98.27.7 3.6 3.5 5.6+T EMP5.48.77.9 4.0 3.8 6.0不同的实体类型聚合器。不同关系类型的聚集器。Nell无5.17.8 10.0 3.1 3.55.9+TEMP5.17.5 10.5 3.1 3.3 5.9LOGICE无5.37.5 11.1 3.3 3.8 6.2对关系的类型增强始终优于对实体的类型增强，这可以通过以下事实来解释，即增强关系表示对于长+T EMP5.47.6 11.3 3.4 3.96.3表3：BETA E和LOG-ICE数据集上的MRR结果（基于否定查询）。有关其他查询结构的结果，请参见附录。归纳推理。表2示出了在FB 15 k-237-V2数据集中，在10次命中方面，TEMP的添加显著优于（实体级）归纳设置中的所有基线12.2%、6.8%、10.7%和12.8%。主要原因是在TEMP中实体和关系表示主要由类型信息表征。因此，新出现的实体或关系可以通过其链的存在量化的变量，因为它更好地处理级联错误引入的关系投影。我们还表明，在实体和关系上使用类型增强通常会带来更好的性能。6结论我们提出了TEMP，一种类型感知的即插即用模型，用于回答不完整KG上的FOL查询。我们的实验表明，TEMP可以显着提高四个国家的最先进的模型在泛化，演绎和归纳推理能力在三个基准数据集一致。数据方法 1p 2p 3p 2i 3i pi ip2u 上平均值FB15k-237-V2NELL-V3LOGIC ELOGIC EQ2b0.55.5 1.7 0.7 7.812.9 2.7 6.14.3+TEMP12.9 12.7 12.3 10.0 13.710.77.8 9.511.1BETA E0.90.5 0.4 0.7 0.3 0.7 0.4 1.0 0.30.6BETAE+v：mala2277获取更多论文致谢这 工作 具有 被 支持 通过 的 国家 国家重点研发 计 划 （ 编 号 ： 2020 AAA 0106100 ） （ 编 号61936012 ） ， 长 江 学 者 项 目 （ J2019032 ） ， 由Leverhulme Trust研究项目资助（RPG-2021-140），以及卡 迪 夫 大 学 人 工 智 能 ， 机 器 人 和 人 机 系 统 中 心（IROHMS）。引用[Arakelyan et al. Erik Arakelyan，Daniel Daza，PasqualeMinervini，and Michael Cochez.使用神经链接预测器回答复杂在ICLR，2021年。[Bordes et al. Antoine Bordes ， Nicolas Bronnier ，AlbertoGarc' ıa-Dura' n，杰森·韦斯顿，和奥克萨娜 · 亚 赫 年 科 为 多 关 系 数 据 建 模 转 换 嵌 入 。InNeurIPS，2013.[Chen et al. Jiajun Chen，Huarui He，Feng Wu，and JieWang.知识图谱中关系之间的拓扑感知相关性用于归纳链接预测。在AAAI，第6271-6278页[Choudhary et al. ，2021 a] Nurendra Choudhary，NikhilRao ， Sumeet Katariya ， Karthik Subbian 和 ChandanReddy 。 知 识 图 推 理 的 概 率 实 体 表 示 模 型 。 在NeurIPS，2021年。[Choudhary et al. ，2021b] Nurendra Choudhary，NikhilRao，Sumeet Katariya，Karthik Subbian，and ChandanK Reddy.知识图上逻辑查询的自监督双曲面表示。在WWW上，2021年。[Daza et al. 丹尼尔·达扎（Daniel Daza）、迈克尔·科切兹 （ Michael Cochez ） 和 保 罗 · 格 罗 斯 （ PaulGroth）。通过链接预测从文本中归纳实体表示。在WWW上，2021年。[Hamilton et al. William L Hamilton ， Payal Bajaj ，Marinka Zitnik，Dan Jurafsky和Jure Leskovec。在知识图上嵌入逻辑查询在NeurIPS，2018年。[Liu et al. ，2016] Yang Liu，Chengjie Sun，Lei Lin，and Xi-aolong Wang.使用双向LSTM模型和内部注意力 学 习 自 然 语 言 推 理 。 arXiv 预 印 本 arXiv ：1605.09090，2016.[Luus et al. Francois Luus 、 Prithviraj Sen 、 Pavan Ka-panipathi 、 Ryan Riegel 、 Ndivhuwo Makondo 、Thabang Lebese和Alexander Gray。复杂查询应答的逻辑嵌入。在NeurIPS，2021年。[Niu et al. ， 2020] Guanglin Niu ， Bo Li ， YongfeiZhang，Shil- iang Pu，and Jingyang Li.Autoeter：用于知识图嵌入的自动实体类型表示。在EMNLP，2020年。[Pan et al. ， 2016] J.Z. Pan ， G. Vetere ， J.M. Gomez-Perez和H.吴利用大型组织的关联数据和知识图。Springer，2016.[Pan et al. 潘伟然，魏伟，毛先玲。知识图中的上下文感知实体类型。在EMNLP中，2021年。[Pan，2009] Jeff Z.锅资源描述框架。在Handbook on Ontologies，pages 71-90. 2009年[Reimers 和 Gurevych ， 2019] Nils Reimers 和 IrynaGurevych。Sentence-BERT：使用连体BERT网络的句子嵌入。在EMNLP，2019年。[Ren和Leskovec，2020] Hongyu Ren和Jure Leskovec。知识图中多跳逻辑推理的Beta嵌入。在NeurIPS，2020年。[Ren et al. Hongyu Ren，Weihua Hu，and Jure Leskovec.Query2box：使用盒子嵌入在向量空间中的知识图上进行推理。在ICLR，2020年。[Srivastava et al. ， 2015] Rupesh Kumar Srivastava ，Klaus Gre f f，andJ ür genSchm i dhub er. 高威网工作。arXiv预印本arXiv：1505.00387，2015年。[Sun et al. 2020] Haitian Sun，Andrew O. Arnold，TaniaBedrax-Weiss，Fernando Pereira，and William W.同-母鸡。知识库查询的忠实嵌入。在NeurIPS，2020年。[Tai et al. Kai Sheng Tai ， Richard Socher ， andChristopher D.曼宁改进了树结构长短期记忆网络的语义表示。在ACL中，第1556-1566页[Teru et al. Komal Teru，Etienne Denis和Will Hamilton。用子图推理预测归纳关系。在ICML，第9448-9457页[Toutanova and Chen ， 2015] Kristina Toutanova andDanqi Chen.知识库和文本推理的观察特征与潜在特征。在ACL中，第57-66页[Wang et al. Hongwei Wang ， Hongyu Ren ， and JureLeskovec. 用 于 知 识 图 完 成 的 关 系 消 息 传 递 。 在SIGKDD中，第1697-1707页[Wiharja et al. Kemas Wiharja ， Jeff Z. Pan ， Martin J.