新兴知识图的元学习技术在KG嵌入中的应用研究

+v：mala2277获取更多论文--联邦环境陈明阳1人，张文2人，姚振2人，陈向南2人，丁梦晓3人，飞黄4号 和Huajun Chen1，5，6†1浙江大学计算机科学与技术学院2浙江大学软件学院3华为技术有限公司4阿里巴巴集团5浙江大学-杭州全球科技创新中心6阿里巴巴-浙江大学前沿技术联合研究院mingyangchen，张文，yz 0204，xnchen 2020，huajunsir @zju.edu.cn，dingmengxiao@huawei.com，f.huang@ alibaba-inc.com摘要我们研究了知识外推问题，以嵌入新的组件（即，实体和关系），这些实体和关系伴随着联合设置中的新兴知识图（KG）而出现。在这个问题中，在现有KG上训练的模型需要嵌入一个新的KG，其中包含看不见的实体和关系。为了解决这个问题，我们引入了元学习设置，其中一组任务在前KG上进行采样，以模仿前KG上的链接预测任务。新兴KG基于采样任务，我们Meta训练一个图神经网络框架，该框架可以基于结构信息为看不见的组件构建特征，并为它们输出嵌入。实验结果表明，我们提出的方法可以有效地嵌入看不见的组件，并优于模型，考虑归纳设置的KG和基线，直接使用传统的KG嵌入方法1。1介绍知识图是一种由大量三元组组成的表达性数据结构，三元组的形式为（头实体、关系、尾实体）。如今，许多大型幼儿园已经成为越来越多应用的重要数据支持[Zhanget al. ，2016;Yasunagaet al. ，2021]。随着KG的发展，它们不再仅仅以集中的方式应用，其中KG的所有三元组可以在一个设备上访问，而是以分散的方式应用。据我们所知，许多移动应用程序在用户的设备上构建个人KG然而，众所周知，传统的大型幼儿园是不完整的;因此，新兴的幼儿园也受到这个问题的困扰为幼儿园平等贡献。[2]通讯作者。1源代码可在www.example.com上获得https://github.com/zjukg/MaKEr。可见实体不可见实体看不见的关系图1：将新兴幼儿园纳入联邦环境的挑战完成后，广泛的研究致力于通过学习被证明有效的实体和关系的低维向量表示（也称为知识图嵌入）来预测丢失的链接。然而，知识图嵌入（KGE）方法在实际应用中并不完美。传统的KGE方法不能处理新的关系和实体，因为它们学习一组固定的实体和关系的嵌入。如上所述，一个新兴的幼儿园是伴随着新的关系和实体出现的。 如图1所示，新出现的KG包含一个看不见的实体A.B和一个看不见的关系TeacherOf，因此在现有KG上训练的KGE模型不能应用于基于新出现的KG中的支持三元组来查询关于这些看不见的组件的缺失虽然现有的方法[Teruet al. ，2020]聚焦于用于KG完成的归纳设置可以处理新KG中的不可见实体，它们不能同时考虑不可见关系和实体。此外，这种归纳KG完成方法不能利用可见实体，因为没有转移-新兴（测试）幼儿园迈克TeacherOfWorksIn杰克学生支持三元组Org.BISA医院教师杰克鲍勃查询三元组现有（训练）幼稚园医院Org. 一ISAWorksIn迈克学生杰克同学鲍勃arXiv：2205.04692v1 [cs.CL] 2022年5月+v：mala2277获取更多论文∈E∈ E ∈RGT{} E ×R × ERTG ER TE除非现有KG与出现的KG集成，否则考虑所看到的实体的可用信息，如训练的矢量表示然而，在实际应用中，由于多种原因，例如数据隐私，可能不允许这样的KG集 成 。 我 们 在 联 邦 设 置 中 将 这 种 情 况 称 为 KG[McMahanet al. ，2017年]，即这些幼儿园可以使用相同的模型，而他们的数据没有显式共享。受到现实世界场景所面临的挑战的激励，我们提出了一个研究问题：我们能否在联邦环境中为KG建立一个基于嵌入的模型，对可见的关系和实体进行训练，并推广到不可见的关系和实体？形式上，对于新兴KG的链接预测任务可以被视为基于另一组支持三元组来预测一组查询三元组的可扩展性，如图1所示。为了处理新兴KG中看不见的组件，受到元学习带来的“学习学习”能力的启发[ Santoro etal. ，2016]，我们在现有KG上制定了一组由支持三元组和查询三元组组成的任务，以模仿新兴KG中的链接预测任务，并学习在每个任务中嵌入看不见的组件。此外，我们提出了一个图神经网络（GNN）框架，可以嵌入基于任务的支持三元组的可见和不可见该模型主要包含三个模块：1）关系特征表示模块，利用三元组构建关系位置图（RelationPositionGraph，RPG），揭示关系之间的相对位置，并在此基础上构造关系特征; 2）实体特征表示模块，利用实体与其邻居之间的连接来表示其特征;3）GNN，对特征进行编码，输出可见和不可见成分的嵌入，实现知识外推。该模型在从前KG采样的任务上进行元训练，并学习为任务嵌入不可见组件的能力;因此，学习的模型可以推广到具有不可见组件的为了评估我们的方法，我们介绍了数据集的知识外推在美联储的设置，这是从KG基准采样。评估结果表明，我们的方法优于模型，只考虑看不见的实体下的归纳设置为KG和基线，计算嵌入看不见的组件的基础上，传统的KGE假设。2相关工作知识图谱嵌入。 很多KGE模型[Wanget al. ，2017]已经提出将KG嵌入低维向量空间。不同的方法将实体和关系映射到不同的向量空间，并设计了不同的评分函数。 TransE [Bordeset al. 2013]是一种代表性的方法，其将实体和关系映射为同一实空间中的向量，并且关系被解释为三元组的实体之间的平移向量。此外，ComplEx[Trouillonet al. ，2016]和RotatE [Sunet al. ，2019]将KG嵌入到复杂空间中，并提出更复杂的评分函数。然而，传统的KGE模型只能嵌入一组固定的组件，并且不能在模型训练后泛化到不可见的实体和关系。知识图谱的归纳设置。一些现有的作品已经提出了适用于归纳设置中有看不见的实体在测试过程中的模型。[Hamaguchiet al. ，2017]和[Wanget al. ，2019]学习通过基于GNN的邻域聚合来嵌入不可见实体，而它们只能嵌入与训练KG连接的不可见实体。[Teruet al. ，2020]，[Chenet al. ，2021 a]和[Liuetal. ，2021]训练KG完成方法，并且可以推广到具有不可见实体的新KG。然而，他们不能generalize看不见的关系，不能利用看到的实体在测试过程中。元学习。元学习，被称为“学习学习”，专注于学习概括任务的分布，而不是数据点。公制冰毒ods [Snelletal. ，2017;Vinyalset al. ，2016]从一组训练任务中学习可生成的参数化度量。基于优化的方法[Finnet al. ，2017]在给定任务梯度的情况下学习模型参数的优化。黑盒方法[Santoroet al. ，2016]通过标准监督学习来训练可以表示另一模型的参数的模型。一些现有的作品[Xiongetal. ，2018;Chenet al. ，2019]将元学习应用于KG来解决少镜头问题，而不是本文中的问题。知识图谱和GNN。图神经网络[Kipf and Welling，2017]通过其邻居结构编码图中节点的表示。最近，R-GCN[Schlichtkrullet al. ，2018]考虑用于节点的邻居聚集的关系特定变换。CompGCN [Vashishthet al. ，2020]利用实体-关系组合操作来联合地嵌入实体和关系，并生成几个先前的多关系GCN。我们将CompGCN扩展为GNN，用于更新模型中的实体和关系特征，方法是将组合运算符替换为实体-关系聚合的线性变换。当实体和关系的维数不同时，这种线性变换更通用和灵活知识图谱的联合设置。对知识图的传统研究集中在集中式设置上，而KG正在发展并且可能由不同的控制器构建[Chenet al. ，2021b]。一些现有的作品[张等人。，2021]训练可推广的图挖掘模型，而不共享来自多个本地系统的图数据。[Penget al. ，2021]试图在保护隐私的同时嵌入来自不同KG的组件。然而，以前的工作学习嵌入KG从不同的数据源的基础上联邦学习[McMahan等人。，2017]，并且在训练期间看到测试三元组的所有实体和关系。然而，我们工作中的问题集中在新兴的KG与联邦设置中看不见的组件。3问题公式化知识图被定义为=（，，），其中表示实体的集合，是关系的集合，并且是三元组的集合。具体来说，=（h，r，t），其中h，t和r。的链接预测任务是指给定实体和关系，即（h，r，？）或（？，r，t），使（h，r，e）或（e，r，t）是G的一个新的真三元组.+v：mala2277获取更多论文M不TM不TT{M|∈ E∈ T <$T}∈ TM∅^ ^您的位置：GGERGGsupsupS，TG ERERSsup^GNMsup缺supsup在传统知识图完成的背景下[Bordeset al. ，2013]，以评估链路预测能力，然而，我们因此，我们设计了一个模型，可以嵌入一个模型，有两个部分的三元组，训练（a.k.a，支持）三元组sup和测试（a.k.a，查询）三元组que。具体来说，超级用于训练模型这通常都有能力打出三垒打此外，que是用于评估学习模型的地面真值三元组。例如，对于尾链接预测，给定地面实况三元组（h，r，t），que，我们排名（h，r，t）在其罐上─双三重线（h，r，e）e、（h、r、e）/很好。在que中，地面真理三重的排名越高，该模型是有效的。接下来，基于上述定义，我们正式定义了联邦环境下给予培训KGGtr=（Etr，Rtr，Ttr），我们的目标是训练三重评分模型M这可以推广到测试KGGte=（Ete，Rte，Tte，Tte），基于每个采样任务的支持三元组的可见和不可见实体和关系，并且我们在下面描述所提出的模型的细节。4.2该模型我们的模型的整体是一个图神经网络（GNN）框架，并遵循编码器-解码器范式，如在KG上应用GNN的先前工作[Schlichtkrullet al. ，2018]。一般来说，编码器是一个GNN结构，它将特征表示作为输入并输出嵌入;解码器是一个KGE方法，它将三元组的组件的嵌入作为输入并输出得分。请注意，我们不使用任何实体或关系属性来获得特征表示，因为我们的模型只考虑KG的结构信息，这是一种常见的场景，其中，Etr/=Ete，EtrEte，RtrRte，RtrRte/=使得我们的模型可以推广到更多的应用场合。.此外，该问题还存在两个约束：1）知识外推，与传统的知识图完成任务相比，只进行自然地，对于任务Si，可见实体e ∈ E i和关系r ∈Ri的特征表示可以从实体特征矩阵Etr∈ R中查找|Etr |×de与关系特征在Ttr上，但不在Tte上，Tte中的三元组仅为矩阵Rtr∈ R| Rtr |×dr，可随机初始化用于揭示实体和关系的联系，te和te; 2）联邦设置，tr和te不允许集成在一起。4方法4.1元学习设置这里的主要问题是如何在te上嵌入不可见的实体和关系，这些实体和关系具有可以处理KG完成的有效表示。受元学习“学会学习”概念的启发，基于培训KGtr，并在培训期间学习。然而，困难在于如何有效地表示看不见的实体为了解决这个问题，我们设计了以下三个模块。我们的模型的概述可以在图中找到。2，我们描述它的基础上一个特定的采样任务Si中所示的方程。（一）.关系特征表示在关于GNNs的迁移学习的文献中[Zhuet al. ，2021]，节点度可以用作节点特征，因为它们对图结构的变化敏感。在我们的工作中，我们也试图找到一些尊重结构的特征来表示关系。为了像图中的节点一样直观地表示关系，我们构造了一个关系位置图，一个关于这些任务的模型，以实现原始知识图（即， 支持三元组T i，实体与关系具体地，每个任务Si=（Ei，Ri，Ti伊阙 ）超过一个任务i），其中RPG中的每个节点代表KG中的一种关系，如图所示。第2段（b）分段。任务分布p（）对应于从tr采样的子KG。 虽然i和i是从tr和tr中采样的，但我们重新标记了一部分实体和关系，并将它们视为不可见的实体和关系。任务Si定义如下：我们定义了RPG中节点之间的四种关系，基于四种关系相对位置（图2（a））。为了避免混淆，我们将这种“关系之间的关系”称为rel-nodes。例如，（r1，t-h，r2）表示尾实体Si=.Ei=（E^i，Ei），Ri=（R^i，Ri），Ti伊阙（1）链接到R1的是链接到R2的HEAD实体。对于两个特定的关系，如果它们的一种相对位置出现在支持三元组中，则它们在RPG中的对应关系节点将是其中E^i∈Etr是可见实体，Ei∈/Etr是不可见实体R ∈ R由对应的元关系连接建成后实体;itr和i/tr。根据任务的相同-从tr中获得元学习，元培训目标是学习嵌入可见和不可见的实体，RPG，如图所示2（c），我们代表了一个在RPG中，看不见的关系r基于支持度三元组的选择，以最大化查询得分1hr=马林 、（3）三倍如下：Σ1θ缺|不||m∈N（r）|m∈N (r)其中，（r）表示i表示r的rel节点。注意我们只考虑-最大ESip（S）（h，r，t）∈Ti我缺Mθ（h，r，t|（2）第一次见面。从元关系来看，因为t-h是h-t的逆，而h-h和t-t是双向的，因此出Meta，其中是可以计算可扩展性基于支持三元组的查询三元组的得分。关系可以由进入的元关系来指示。更多-其中，hm∈ HM是一个特定的，T+v：mala2277获取更多论文关于GNNH自我dir（r）=W。缺ΣsupRrelR关系位置图+实体和关系嵌入关系特征表示（c）第（1）款线性（in）+实体Rel-Node+实体特征表示线性（外）线性（外）知识外推关系元关系知识图谱（支持三元组）(d)（五）(a)（b）第（1）款图2：我们提出的模型概述（a）（b）从任务的支持三元组构建RPG;（c）（d）（e）所提出的模型的三个模块，表示实体和关系的特征，并输出嵌入。元关系，并且M=（ht-h，hh-t，h t-t，hh-h）是四个元关系的可学习参数的集合。每个e的实体表示通过以下方式更新：.ml+1e+WH实体特征表示hl+1=σe|O（e）|+的|I（e）|L l自我、（六）类似于关系特征表示，我们使用实体连接的关系特征来表示不可见的实体。康-其中Wl是用于自循环更新的可学习参数是一个激活函数。 除了实体，与特定的联合国有关的关系的方向，对于实体，σ关系也在每一层更新：在实体e中，我们将实体特征表示计算为：hl+1 = σ。WLhl。（七）1he=|N（e）|r∈<$N（e）输入目录（r）（四）在更新实体和关系表示后，GNN输出当前任务中可见和不可见组件的嵌入，并实现知识外推。其中N（e）是连接到e的关系的集合;Went是用于变换关系fea的方向特定参数。4.3模型学习对于任务Si，在通过先前的模获得嵌入我关系e或输入目录（r）目录出去我们训练我们的模型来得分，地面实况查询三倍Ti高于采样否定GNN知识外推我们提出了一个GNN模型来编码实体和关系特征。前面的两个模块为看不见的组件生成特征，而看不见的组件是从可学习的特征矩阵中查找的。我们的GNN模型基于三倍评分函数可以从各种KGE方法中选择，代表性KGE方法的评分函数可以在附录A中找到。此外，遵循先前的实践，我们使用由[Sunet al. ，2019]优化我们的模型：CompGCN [Vashishthet al. #20200;，这是一种有效的？i1L（ S）=−logσ（γ+s（h，r，t））|不我缺在编码KG方面很有效。我们扩展了它的实体-关系组合，将操作符转换为线性转换，因为：1）这可以是缺|n（h，r，t）∈Ti（八）作为实体和关系之间更一般的操作符，2）它可以使用更复杂的KGE方法作为解码器，其中关系的维度不等于实体的维度（例如，RotatE [Sunet al. ，2019]）。对于实体e，其消息聚合被执行为：-p（h′i，r，t′i）logσ（−γ−s（h′i，r，t′i）），i=1其中s（h，r，t）是使用我们基于Ti的模型的嵌入的（h，r，t）的得分，γ是固定的余量，n是ml+1=mWl[hl;hl]+NWl[hl;hl]，负样本的数量（h′i，r，t′i）是负的sam。通过破坏头部或尾部实体来实现。 p（h′i，r，t′i）是e（r，t）∈O（e）出来R t（r，h）∈I（e）在Rh（五）负样本的权重，我们将其计算结果放在附录B中。最后，我们用过-其中O（e）表示一组输出关系，并且连接的实体，I（e）表示一组进入关系，从G tr中采样的所有任务中的所有损失i L（Si）。W图元要素和Went的约束=Went，如果r是输入W关系相对位置元关系r1r2r1r1t-hr2r2r1r2r1r1h-tr2r2r1r2r1r1t-tr2r2r1r2r1r1h-hr2r2+v：mala2277获取更多论文出来在··连接的实体;Wl和Wl是第l层对于GNN，[ ; ]表示两个向量的级联，并且h0=hr和h0=ht是输入关系和实体特征。5实验在本节中，我们在来自KG基准测试的数据集上评估我们 提 出 的 方 法 MaKEr （ 用 于 Meta- 基 于 学 习 的Knostrenextrapolation），并将其与基线进行R t通过对每个实体的邻居消息进行聚合，验证了该模型的有效性.+v：mala2277获取更多论文GGFB-Extu ent u rel u both u ent u rel u bothMRR点击率@10MRR点击率@10MRR点击率@10MRR点击率@10MRR点击率@10MRR点击率@10圣杯56.0783.34----71.6292.92----靛蓝42.9860.25----50.3167.68----Asmp-KGE（TransE）63.9182.2233.7935.5013.2923.8868.6478.355.262.509.259.65ASMP-KGE（DistMult）48.2972.3417.9436.5012.0925.2454.0072.1812.7721.678.0514.35Asmp-KGE（ComplEx）46.9667.3311.9222.0012.3024.3151.9767.1214.3222.509.9417.48Asmp-KGE（RotatE）55.1271.6534.6135.5012.9623.4258.7061.426.343.346.734.00MaKE（TransE）73.4095.1729.9243.5022.3941.9570.8292.0024.5654.1721.5351.74MaKEr（DistMult）67.8192.8222.2137.5022.1744.8870.6391.3327.0260.0041.3957.65MaKEr（COMPLEX）70.0993.6724.3943.0024.5652.0972.2491.9118.2734.1729.3959.65MaKE（RotatE）74.6495.2832.0050.0027.2649.5177.0994.6431.5355.0031.4562.35表1：两个数据集的链接预测结果（%）我们显示查询三元组只包含看不见的实体（u ent），只包含看不见的关系（u rel），并包含看不见的实体和关系（u都）的结果。粗体数字表示最佳结果，下划线数字表示不同方法中的最佳结果MaKEr之后的KGE方法表示MaKEr中使用的评分函数5.1实验环境培训KGGtr测试KGGte|Etr ||Rtr ||Ttr ||R te|| Rte|| T te ||T te|基于所见组件的嵌入。例如，基于transE，如果h和r是可见分量并且（h，r，t）存在于支持三元组中，则可以通过h+r=t来计算不可见实体t的嵌入我们将这一基线称为ASMP-KGE，详情见附录D。sup缺评价我们报告平均倒数秩（MRR）和N处的命中（Hits@N）来评估链接预测表2：数据集的统计括号中的数字表示没有出现在相应训练KG中的实体或关系的数量看不见的实体或关系）。数据集。在常规KG数据集中，在训练期间看到测试三元组中的所有实体和关系。为了评估模型在联邦环境中进行知识外推的能力，我们从两个标准KG基准FB 15 k-237 [Toutanovaet al. ，2015]和NELL-995 [Xionget al. ，2017]，命名为FB-Ext和NELL- Ext。对于每个数据集，我们创建一个训练KGtr和一个测试KGts，分别从原始基准中采样，测试KG中的一部分实体和关系在训练KG中是不可见的。我们只将包含至少一个不可见组件的三元组放入测试KG的查询三元组中。我们还将查询三元组分为只包含未见过实体（u ent），只包含未见过关系（u rel）和包含未见过实体和未见过关系（u both）的三元组。两个数据集的统计数据见表2。在FB-Ext中，uent、u rel和u的查询三元组的数目都是1926、20、1578，而在NELL-Ext中，查询三元组的数目都是565、12、115。生成数据集的详细信息可参见附录C。基线。我们将我们的模型与两种最先进的知识图完成方法进行比较，考虑KG的归纳设置，GraIL [Teruet al. ，2020]和INDIGO [Liuet al. ，2021]，其可以处理测试KG中的不可见实体。尽管它们我们还与直接在测试KG上使用KGE方法的基线进行比较具体来说，我们首先在训练KG上训练KGE模型。对于测试KG中的不可见成分，我们使用KGE方法中得分函数的相应假设来计算它们的嵌入。测试KG中每个数据集的查询三元组的性能。评估同时考虑头部和尾部预测。为了与基线进行公平的比较，遵循其设置[Teruet al. ，2020; Liuet al. ，2021]，通过在50个其他随机采样的候选负三元组中对每个查询三元组进行排名来对所有结果进行五次近似。实施细节。我们的模型在Py-Torch和DGL中实现.对于GraIL和INDIGO，我们使用作者公开提供的最佳配置的实现。对于Asmp-KGE，维数为32。对于MaKE，嵌入和特征表示的维度是32;我们采用具有2层的GNN，并且GNN的隐藏表示的维度元训练的批量大小为64，我们使用Adam优化器，学习率为0.001。 在元训练我们的模型之前，我们为每个数据集在训练KG上采样10，000个任务，任务采样的细节可以在附录E中找到。在训练过程中，我们随机将实体和关系视为不可见，每个任务的比例为30%至 80%。5.2主要结果我们在表1中报告了链接预测结果，并示出了不同种类的查询三元组的详细结果（即，Uent、Urel和Uboth）。对于GraIL和IN-DIGO，它们只能处理不可见的实体，因此我们将u rel和u的结果都留空。结果表明，我们提出的MaKEr实现了各种基线的改进，并具有稳定的性能，使用不同的KGE方法。最好的结果是由MaKEr与RotatE，近年来提出的一个复杂的KGE模型，表明我们提出的MaKEr可以输出合理的嵌入，并充分利用各种KGE方法。具体地说，FB-Ext9521547,105913（806）196（56）6,1033,524NELL-Ext1,5831535,269851一百四十 2,160692+v：mala2277获取更多论文制造商-Meta-RelFeat- EntFeat - GNNMRR50.3141.2949.0049.6238.83点击率@139.0029.8937.0637.8827.36表3：在FB-Ext上使用MaKEr（TransE）的消融研究对于Uent测试三元组，与KG诱导设置的方法相比（即，Grail和Indigo），MaKE平均在-(a)制造商(b)ASMP-KGE两 个 数 据 集 的 MRR 和 Hits@10 分 别 提 高 了 20.4% 和8.1%，与Asmp-KGE的一致性分别为14.5%和18.3%。此外，通过比较不同类型的测试三元组的总体结果，我们发现，每-图3：MaKEr（transE）和Asmp-KGE（transE）的t-SNE嵌入的可视化。使用“”的点是不可见的图元，使用“×”的点是可见的图元。它们的种类是用颜色标记的。对于u rel和u两个三元组的估计比对于u ent的估计更差，这表明在测试KG中处理看不见的关系是具有挑战性的。尽管困难，我们提出的MaKer获得了显着的改善，u rel和u都三倍相比，基线。更多前-(a)在城市有住所（b）在城市出生的人（c）在城市居住的建筑物（d=0.83）（G=0.76）相应地，MaKer平均增加0.56和1.02倍，MRR和命中率在u rel三元组上为10，在u两个三元组上为2.11和1.82倍。总的来说，结果表明，我们的模型经过元训练，能够外推未知实体和关系的知识，并对这些未知组件进行链接预测。(d) 球队在联赛中比赛（d=3.98）(e) subpart_of_org.(f) 位于地缘政治位置的国家（G=3.49）5.3进一步分析消融研究。我们进行了几次消融研究，以显示我们提出的模型的不同部分的重要性具体地说，我们基于以下四个去除设置来训练我们的模型：去除1）元学习设置（-Meta）;2) 关 系 特 征 表 示 （ -RelFeat ） ， 实 体 特 征 表 示 （ -EntFeat），知识外推的GNN（-GNN）。进行上述消融研究的详细信息可参见附录F。在FB-Ext上使用MaKEr（TransE）的消融研究结果如表3所示。结果表明，所有消融设置都会导致性能下降，表明这些设计的重要性。此外，我们观察到元学习设置对模型性能至关重要，这表明元训练我们的模型在模拟测试KG上的任务的采样任务上我们还发现，在移除GNN之后，性能显著下降，这是合理的，因为仅通过关系或实体特征表示为不可见组件提供的信息是有限的。看不见的实体的案例研究。 我们在图3中可视化了由我们提出的MaKE和Asmp-KGE产生的NELL-Ext的实体嵌入。在此图中，我们用不同的颜色显示不同类型的实体。MaKEr的嵌入分布比Asmp-KGE的嵌入分布更符合相应的嵌入类型。对于Asmp-KGE，不同实体类型的嵌入是混合的，而对于MaKEr，嵌入被映射到不同的簇中。此外，我们还发现，在我们的模型中，不可见实体的嵌入可以与相同类型的可见实体聚类。对不同类型实体的聚类结果表明，MaKEr算法能够以合理的语义和知识嵌入来表示不可见实体。图4：RPG中不同关系的连接元关系的数量。（a）是一个看不见的关系，我们显示（a）和括号中的其他关系之间的欧氏距离的基础上产生的嵌入MaKE（transE）。看不见的关系案例研究。从图4中，我们发现，对于一个看不见的关系在城市中有办公室（a），其元关系的分布更类似于（b）（c）中的关系，与（d）（e）（f）中的关系相比，（b）（c）中的关系具有相似的语义。此外，下半部分的三个关系都表示关于从属的关系，并且它们也具有相似的元关系分布。这些观察表明，RPG中的rel节点的连接元关系对对应关系的语义是敏感的。我们认为这也是为什么这种特征表示对关系是有效的。此外，从（a）中的不可见关系与其他关系之间的距离，我们发现在向量空间中相似关系接近的情况下，MaKer产生的嵌入是合理的，这表明我们提出的MaKer在嵌入不可见关系方面是有效的6结论在本文中，我们制定的问题，嵌入看不见的实体和关系的新兴KG在联邦设置。为了解决这个问题，我们在训练KG上采用元学习和样本任务来模拟测试KG中我们设计了一个GNN框架，它可以表示看不见的组件的功能，并为它们输出该模型可以在对一组具有不可见组件的任务进行元训练后推广到测试KG的我们未来的工作可能会考虑设计可解释的特征表示模块，这些模块可以归纳规则，使我们的模型更加人性化。书职业运动蒸汽机（G=3.28）+v：mala2277获取更多论文致谢本研究得到了国家自然科学基金U19 B2027/91846204的资助。引用[Bordes et al. Antoine Bordes，Nicolas Bronnier，AlbertoGarcia-Duran，Jason Weston，and Oksana Yakhnenko.转换用于建模多关系数据的嵌入。NIPS，2013年。[Chen et al. ，2019] Mingyang Chen，Wen Zhang，WeiZhang，Qiang Chen，and Huajun Chen.知识图中用于少次链接预测的Meta关系学习在EMNLP，2019年。[Chen et al. Jiajun Chen，Huarui He，Feng Wu，and JieWang.知识图谱中关系之间的拓扑感知相关性用于归纳链接预测。在AAAI，第6271-6278页中。中国科学院出版社，2011年.[Chen et al. ，2021 b]陈明阳，张文，袁宗刚，贾艳涛，陈 华 君 . Fede ： 在 联 邦 设 置 中 嵌 入 知 识 图 。 见IJCKG，第80-88页。ACM，2021年。[Finn et al. Chelsea Finn ， Pieter Abbeel ， and SergeyLevine.模型不可知元学习用于深度网络的快速适应。在ICML，2017年。[Hamaguchi et al. Takuo Hamaguchi ， Hidekazu Oiwa ，Masashi Shimbo，and Yuji Matsumoto.知识库外实体的知识转移：图神经网络方法。InIJCAI，2017.[Kipf and Welling，2017] Thomas N.Kipf和Max Welling图卷积网络的半监督分类。在ICLR，2017年。[Liu et al. Shuwen Liu ， Bernardo Cuenca Grau ， IanHorrocks，and Egor V. Kostylev. Indigo：使用成对编码的基于Gnn的归纳知识图完成。在NeurIPS，2021年。[McMahan et al. Brendan McMahan ， Eider Moore ，Daniel Ramage，Seth Hampson，and Blaise Aguera yAr-cas.从去中心化数据中高效学习深度网络。在AISTATS，2017年。[Peng et al. 彭浩，李浩然，宋阳秋，Vincent W. Zheng，and Jianxin Li.差分私有联邦知识图嵌入。在CIKM，2021年。[Santoro et al. ，2016] Adam Santoro，Sergey Bartunov，Matthew Botvinick，Daan Wierstra，and Timothy Lill-icrap.使用记忆增强神经网络的元学习。InICML，2016.[Schlichtkrull et al. Michael Schlichtkrull ， Thomas NKipf ， Peter Bloem ， Rianne Van Den Berg ， IvanTitov，and Max Welling.用图卷积网络对关系数据建模。在ESWC，2018年。[Snell et al. 2017年]杰克·斯内尔，凯文·斯沃斯基和理查德·泽梅尔。用于少次学习的原型网络。在NIPS，2017年。[Sun et al. ，2019] Zhiqing Sun，Zhi-Hong Deng，Jian-Yun Nie，and Jian Tang. Rotate：在复杂空间中通过关系旋转嵌入知识图。2019年，在ICLR[Teru et al. Komal Teru，Etienne Denis和Will Hamilton。用子图推理预测归纳关系。2020年，《国际反洗钱法》[Toutanova et al. Kristina Toutanova ， Danqi Chen ，Patrick Pantel ， Hoifung Poon ， Pallavi Choudhury ，and Michael Gamon.文本和知识库联合嵌入的文本表示。在EMNLP，2015年。[Trouillonetal. ， 2016]The'oTrouillon ， JohannesWelbl ， Se-bastianRiedel ， E'ricGaussie r ， andGuillaumeBouchard.复杂嵌入用于简单链接预测。InICML，2016.[Vashishth et al. Shikhar Vashishth ， Soumya Sanyal ，Vikram Nitin和Partha P.塔鲁克达尔基于组合的多关系图卷积网络。2020年，在ICLR。[Vinyals et al. Oriol Vinyals，Charles Blundell，TimothyLillicrap，Daan Wierstra等人，Matching networks forone shot learning.在NIPS，2016年。[Wang et al. 王泉，毛振东，王斌，郭立知识图嵌入：方法与 应用综述IEEE Transactions on Knowl-edge andData Engineering，29（12）：2724[Wang et al. 王培峰，韩佳龙，李晨良，潘蓉。基于逻辑注意力邻域聚合的归纳知识图嵌入。在AAAI，2019年。[Xiong et al. 熊文汉、黄添和王威廉杨。Deeppath：一种用于知识图推理的强化学习方法。在EMNLP，2017年。[Xiong et al. 熊文涵，莫宇，常世宇，郭晓晓，王阳。知识图谱的一次性关系学习。在EMNLP，2018年。[Yang et al. 杨碧山，Yih Wen-tau，何晓东，高建峰和邓立。在知识库中嵌入用于学习和推理的2015年，国际会议[Yasunaga et al. Yasunaga ， Hongyu Ren ， AntoineBosselut，Percy Liang和Jure Leskovec。QA-GNN：使用 语 言 模 型 和 知 识 图 进 行 问 题 回 答 的 推 理 。 在NAACL-HLT中，2021年。[Zhang et al. ， 2016] Fuzheng Zhang ， Nicholas JingYuan，Defu Lian，Xing Xie，and Wei-Ying Ma.用于推荐系统的协同知识库嵌入。KDD，2016年。[Zhang et al. ，2021] Ke Zhang ，Carl Yang ，XiaoxiaoLi，Lichao Sun，and Siu Ming Yiu.子图联邦学习与缺失邻居生成。在NeurIPS，2021年。[Zhu et al. Qi Zhu ， Yidan Xu ， Haonan Wang ， ChaoZhang，Jiawei Han，and Carl Yang.具有自我图信息最大化的图神经网络的迁移学习。在NeurIPS，2021年。+v：mala2277获取更多论文|E||E|◦ΣGGEEEGG我我supAKGE方法现有的KGE方法的许多评分函数可以在我们的模型中使用。在本文中，我们选择了四个代表性的KGE方法，transE [Bordeset al. ， 2013] ， DistMult [Yanget al. ，2015] 、 ComplEx [Trouillonet al. ， 2016] 和 Ro- tatE[Sunet al. 2019]，以评估我们提出的模型。其评分函数的详细信息如表4所示。模型得分函数向量空间参数FB-Ext NELL-Ext1100 1002100 200110 15l210 20r10.1 0.1表5：两个数