知识图嵌入中的链路预测与增强模型相关

+v：mala2277获取更多论文增强知识图以实现更好的链路预测Jiang Wang1， Filip Ilievski， Pedro Szekely和 Ke-Thia Yao南加州大学信息科学研究所{jiangwan，ilievski，pszekely，kyao} @ isi.edu摘要嵌入方法通过对实体关系进行编码，在知识图中的链接预测任务上表现出了鲁棒性最近的方法提出，以提高损失函数的文字意识的条款。在本文中，我们提出了KGA：知识图的扩充方法，将文字在嵌入模型，而不修改其损失函数。KGA将数量和年份值离散化到容器中，并将这些容器水平链接，对相邻值进行建模，并垂直链接，对多个粒度级别进行建模。KGA是可扩展的，可以用作任何现有知识图嵌入模型的预处理步骤。在传统基准测试和新的大型基准测试DWD上的实验表明，用数量和年份来扩充知识图对于预测实体和数字都是有益的，因为KGA的性能优于普通模型和其他相关基线。我们的消融研究证实，数量和年份都有助于KGA我们公开了代码、模型和DWD基准测试，以便于再生产和未来的研究.1介绍超 关 系 知 识 图 （ KG ） ， 如 维 基 数 据 [Vrandeci candKrtzsch ，2014]，将知识形式化为语句。语句由一个三元组组成，三元组带有支持其准确性的键值限定符和引用。状态表示两个实体之间的关系，或者将文字值（日期、数量或字符串）属性到实体。维基数据中近一半的语句是实体关系，其中三分之一是字符串值，其余（约15%）语句将数量和日期归因于实体。1直觉、实体和字面陈述相辅相成，形成对一个实体的全面看法。考虑到稀疏性和固有的不完整性-非常流行，基于矩阵分解/分解，KG路径和嵌入的生产方法[Wanget al. ，2021]。虽然大多数LP方法只考虑关于两个实体（Qnodes）的语句，但有些方法认识到文字的相关性[Geseseet al. ，2019]。字面意识 方法[Linetal. ，2015; Xiaoet al. ，2017]主要学习关于实体的文本描述的表示，并将其与其结构化表示相结合。尽管它们在使LP任务情境化方面起着关键作用，但很少考虑到时间和日期一个人最近的方法将数字文字纳入KG嵌入，将文字项添加到评分函数中[Garc'ıa-Dur a' n和Niepert，2017;Kristiadi等人。，2019年]，或修改基础模型的损失函数，以平衡捕获KG结构和数字文字[Wu和Wang，2018年;Tay等人。，2017;Fenget al. ，2019]。这些方法利用以文字编码的知识来提高链接预测性能，但它们引入了额外的参数和模型特定的子句，这限制了它们在嵌入模型中的可扩展性和可推广性。在本文中，我们研究了如何将数量和日期文字嵌入到基于嵌入的链接预测模型中，而不修改其损失函数。2我们的贡献是：1. KGA：一种K-nocomputingG语言，一种将数量和年份文字合并到KG中的方法，通过垂直链接文字（用于不同粒度的离散化）和水平链接文字（用于每个粒度级别的相邻值）。KGA是可扩展的，并且可以用作任何现有KG嵌入模型的预处理步骤。2. DWD是一个LP基准，比现有基准大几个数量级，并且包括数量和年份，因此解决了大小和过拟合的评估挑战。3. 一个广泛的LP评估，显示KGA在可推广性，可扩展性和准确性方面的优越性。消融研究数量和年份的个体影响，以及离散化策略和箱大小的影响。4. 公开发布我们的代码、结果模型和DWD基准，以促进未来的研究。幼儿园的情况， 链路预测（LP）的任务已经被2我们专注于基于嵌入的方法，因为这些方法更优越1https：//tinyurl.com/56vyjd2y，22年1月13日查阅矩阵分解和基于路径的方法[Luet al. ，2020]。arXiv：2203.13965v1 [cs.AI] 2022年3月+v：mala2277获取更多论文∈R∈ E∈∈E∈RE ×R ×E ×R×E∈−−∈∈E≤→E{}∈E ×R×E →B我 我图1：属性三元组（Q76，P569，“1961”）的单个（顶部）、重叠（中间）和层次（底部）装箱，属性三元组指定了巴拉克·我们在每个级别模式中使用b= 4个2任务定义我们将具有数值三元组的知识图定义为实体值语句和数值语句的并集，形式上为G=（s，r，o）（e，a，v），其中（s，r，o）和（e，a，v）R. 实体三元组可以形式化为一组三元组（事实），每个三元组由关系r组成以及两个实体s、o，称为三元组的主语和宾语。数字三元组由属性a有一个实体e和一个值vR.我们将实体链接预测形式化为逐点学习排名任务，定义了两种不同的条间隔设置，基于间隔宽度（固定）或值频率（分位数），以及三种设置条水平的方法：单一、重叠和分层。在这个例子中，我们使用频率来设置bin间隔，我们使用一系列bin。虽然将数值离散化到bin中并不新鲜，但KGA是第一种使用数值bin来提高LP性能的方法在增强步骤中，每个原始值被分配到其仓，并且其仓化值被用于增强KG。例如，巴拉克·奥巴马的出生年份，1961年，属于第三个垃圾箱（[19351966）），所以原始的三元组（Q76，P569，“1961” ） 将 被 翻 译 成 （ Q76 ， P569 ， [19351966年））。除了将正确的bin分配给其实体之外，KGA还允许相邻的仓彼此链接。包含原始实体关系和添加的分箱文字知识的增强KG然后可以用于训练任何标准的现成嵌入模型。我们详细介绍了KGA3.1离散化和Bin创建我们首先获得与给定属性a的实体e E相关联的值集合vi，即（e，a，vi）G. 由于日期具有不同的粒度（例如，年，月，或日），我们以年或更细的粒度转换所有日期（例如，月）到年值。我们将这些值按升序排序，得到V=v1，v2，. v m，使得viv i+1。 接下来，我们将描述如何基于V中的值，产生字典D：V，其将V中的每个值映射到中的一个或多个bin实体。 KGA的离散化由两个部分组成：1）bin间隔的定义; 2）bin水平的指定1. 箱间隔指定给定属性的箱的开始值和结束值。形式上，给定z−的最小属性值，z+的最大值和一组b个bin，我们试图为每个bini定义[z−，z+），其中i∈[0，b）。我们投资-学习评分函数的目标：R.给定一个输入三元组x =（s，r，o），它的得分（x）R与x编码的事实为真的可能性成比例。我们将数字链接预测作为逐点预测任务，目标是学习函数φ：（E × R）→R。定时两个bin间隔设置：固定间隔和分位数-基于间隔。4我们的固定（等宽）分箱策略将整个值空间划分为等宽的分箱。 每一个的长度bini是k=（z+−z−），第i个bin包含以下值给定一个实体-属性对（e，a），输出φ（e，a）是实体e的属性a的数值。zi=[z−B+ik，z−+（i+1）k）。3KGAKGA的关键思想是在训练前增加KG的数量和年数。KGA由两个步骤组成：1）离散化和bin创建; 2）图增强。第一步的目标是将KG属性的整个值空间离散化到bin中。分箱显著减少了模型需要学习的不同值的数量，从而降低了表示和计算的复杂性，并提高了具有稀疏数据的关系的模型性能。例如，维基数据中的整个出生日期（P569）值集可以根据值frequenc y into four bins ：[1−1882）， [1882−31935），[1935−分位数（等频率）分组策略基于分布密度拆分[z−，z+]，确保每个bini覆盖相同数量实体的值。这允许用更多的箱来表示分布的较密集区域。对于为Na个实体定义的属性a，每个箱将覆盖大约n=Na个实体。2. 装箱级别指定装箱方法是否将创建单组箱、两组重叠箱或具有若干级箱的如前所述，单一重叠策略创建具有重叠间隔的箱。从2b个面元的单个辅助集开始，通过合并两个相邻面元来创建重叠面元1966）和[1966−2021]（图1，顶部）。总计，KGA4我们还试验了基于价值观分组的方法。3维基数据中的所有年份值均为正值。Years BC也是正音，但包括一个额外的限定词来表示时代。他们的（跨）组（不）相似性，如k均值聚类[劳埃德，1982]，但我们没有报告这些考虑到他们的低性能。+v：mala2277获取更多论文−∈∈∈−−∈′一次。 第i个归并仓由归并仓bi和bi+1、第（i+1）个归并仓bi+1和bi+2等组成。该过程导致2b1重叠的箱。图1中显示了重叠的箱。层次结构策略创建多个装仓级别，表示不同的粒度级别。一个级别l有bl个箱子。第0层是粗粒度，它包含一个具有整组值[z−，z+）的bin。级别在细节方面进一步增长：考虑b=2，第一个级别有2个bin，第二个有4个bin，第三个有8个bin。 基于分位数的层次分箱的示例如图1下图所示。0级（[1，2021]）的整个出生年份集在1级分为两个箱：[1，1935]和[1935，2021]。级别2将级别1的条格拆分为更小、更精确的条格：[1，1882），[1182，1935），[1935，1966）和[1966，2021]。3.2图形增强所创建的箱提供从值vi V到一组箱biB. 为了增加原始的graphG，我们执行两个操作：链接的箱子和链接箱到相应的实体。1. 箱链接定义了两个箱bi和bj之间的连接，其中bi，bjB. 容器之间的链接取决于容器级别设置。单个箱和重叠箱通过将每个箱bi连接到其前趋箱bi1和后继箱bi+1 来链接，参见图1（顶部和中部）。层次结构增强模式中的箱水平地和垂直地连接：1）水平地，每个箱bi连接到其前趋箱bi1和后继箱bi+1;2）垂直地，每个箱连接到其较粗级别和较细级别的对应项（参见图1底部）。2. 箱分配将针对给定属性值v生成的箱B（v）链接到其对应的实体e。用一组三元组（e，a，b）替换一个数三元组（e，a，v），其中b B（v）。更新后的三元组集合将原始图G修改为增广图G′。图1给出了bin分配的示例。巴拉克·奥巴马（实体Q76）的出生年份（致敬P569）是1961年。对于单级箱（图1，顶部），奥巴马的出生年份被放入箱[1935，1966]。对于重叠的箱（图1，中间），出生年份被放入箱[1935，1966]和[1951，1982]。而且，当使用层次容器级别时（图1，底部），出生年份被放入容器[1，2021]，[1935，2021]和[1935，1966]。3.3链接预测G现在可以用来执行实体和数字LP。KGA通过简单地将G替换为基础嵌入模型的输入中的G′来训练通过选择具有最高概率的实体节点e来执行具有KGA的实体的链接预测通过选择具有最高分数的binb作为预测范围来执行数字链接预测;并且获得其中值m作为近似预测值。4实验装置4.1数据集和评价我们使用基于三个KG的基准来评估链路预测性能。我们在表1中提供了数据统计。表1：本文中使用的基准的统计数据。数据集FB15K-237雅高15KDWD实体数量14,54115,13642,575,933#关系237321,335#三重310,11698,308182,246,241#属性1167565#文字29,22023,52031,925,8131. FB15K-237[Toutanova and Chen，2015]是Freebase[Bollacker et al. ，2008年]，主要涵盖有关电影，演员，奖项，体育和运动队的事实。FB 15 K-237是通过重新移动反向关系从基准FB 15 K导出的，因为FB 15 K中大量的测试三元组可以通过简单地反转训练集中的三元组来推断[Dettmers et al. ，2018]。我们使用与[Toutanova andChen，2015]相同的分割。对于数值预测，我们遵循[KotnisandGar c′ıa-Dur a′ n，2019]。2.YAGO15K[Liuet al. ， 2019] 是 YAGO 的 子 集[Suchaneket al. ，2007]，其也是通用域KG。YAGO 15K包含FB 15 K-237数据集中40%的数据。但是，YAGO15 K比FB 15 K-237包含更多的有效数字三元组。对于实体LP，我们使用[Lacroixet al. ，2020]，而对于numeric预测，我们遵循[K otnisandGar c′ıa-Dur a′ n，2019]。3. DWD。我们介绍DARPA Wikidata（DWD），一个大的维基数据子集[Vrandecic′and Krotzsch，2014]，其中包括突出的特定领域维基数据类，如评论文章（Q7318358），学术文章（Q13442814）和化合物（Q11173）。DWD描述了超过3700万个条目（占维基数据中所有条目的42%），大约有1.66亿条语句。DWD比任何先前的LP基准都大几个数量级，因此提供了具有与现代超关系KG的大小类似的稀疏性和大小的现实主义评估数据集我们以98-1-1的比例分割DWD基准，用于实体和数字链接预测。考虑到DWD基准的规模，1%对应于大量的数据点（超过1M语句）。对于FB 15 K-237和YAGO 15 K上的实体LP，我们为DistMult、Com-plEx每5个时期保留一个模型检查点，为ConvE 、 TuckER 每 10 个 时 期 保 留 一 个 检 查 点 ， 为TransE、RotatE每50我们使用验证集上的MRR来选择最佳模型检查点。我们报告最佳模型检查点的过滤后的MRR 、Hits@1 和Hits@10 。对 于 DWD，我 们为 每个epoch保留一个检查点。我们使用验证集上的MRR来选择最佳模型检查点，并报告未过滤的MRR和Hits@10[Lereret al. ，2019]。过滤的MRR评估需要在生成损坏的三元组时丢弃所有阳性边缘，这对于大型KG是不可扩展的。对于DWD，我们通过在随机采样的损坏边缘中对正边缘进行排名来报告这些度量对于数值LP，我们报告每个KG属性的MAE4.2模型对于实体链接预测，我们使用以下六种嵌入模型评估KGA：，2013]，DistMult [Yanget al. ，2014]、ComplEx[Trouillonet al. ，2016]，ConvE [Dettmerset al. ，2018]，RotatE [Sunet al. ， 2019] 和 Tucker[Bala ze vi c'etal. ，2019]。我们运行KGA+v：mala2277获取更多论文∈其中b[2，4，8，16，32]并显示每个模型的最佳结果。我们将KGA与原始图上基于嵌入的LP预测以及先前的文 字 感 知方 法 进 行 比 较 ：KBLN[Gar c'ıa-Dur a' n 和Niepert，201 7]，MTKGNN[T ayetal. ，2017]和LiteralE[Kristiadiet al. ，2019]。我们将我们的数值LP性能与方法 NAP++[Kotnis 和 Garc'ıa-Dura'n ， 2019] 和MrAP[Bayrametal. ，2021]。由于NAP++基于TransE嵌入，因此我们将重点放在使用此嵌入模型的结果上，并在附录中提供其余五个嵌入模型的结果如上所述，我们将最可能bin的中位数作为KGA的预测值。计 算 要 求 更 高 的 嵌 入 模 型 （ ConvE 、 RotatE 和TuckER）不能在DWD上运行。DWD的大小对于ConvE和TuckER来说是禁止的，因为它们依赖于1-N采样，其中批量训练需要将整个实体嵌入加载到内存中。5RotatE的内存消耗更大，因为它的隐藏大小为2000，与ConvE相比，由于LiteralE和KBLN基于这些方法，因此它们也不能在DWD上运行（更多实现细节请参见附录）。因此，在DWD上，我们将KGA在模型ComplEx、TransE和DistMult上的性能与它们的基础模型性能进行比较我们在技术附录中提供了有关参数值、软件和计算环境的详细信息。5结果5.1实体链接预测结果FB 15 K-237和YAGO 15 K的LP结果见表2。KGA优于香草模型和文字感知LP方法，所有六个嵌入模型都有一个舒适的保证金。对于FB 15 K- 237采用TuckER和RotatE模型，对于YAGO 15 K采用ConvE和RotatE模型，得到了最好的综合性能，这与原模型的相关结果一致。在FB15 K237上，Dist- Mult获得了最大的性能增益KGA和其他文字感知方法对FB 15 K-237上的TuckER的改进相对较小，可能是由于TuckER这种直觉得到了YAGO15K数据集上TuckER的KGA的更高一致性的支持。KGA在YAGO15K数据集上带来了更高的MRR增益，这表明KGA能够从我们添加到YAGO15K的额外24%的文字三元 组 在 YAGO 15K 上 ， KGA 将 最 新 型 号 （ ConvE ，RotatE和TuckER）的性能提高了2个MRR点以上。这些结果突出了KGA的方法的影响可扩展性和知识消融我们测试了KGA在DWD上执行LP结果（表3）显示5隐藏大小为200，加载嵌入在内存中的实体至少需要42.5M* 200 * 4 = 34 GB的GPU内存，这对于当今大多数GPU设备来说都是具有挑战性的。表2：FB 15 K-237和YAGO 15 K的LP结果。我们将KGA与原始模型（-）以及基线方法：LiteralE和KBLN进行比较。我们报告了所有基线方法的重现结果，并在附录中提供了最初报告的结果。对于KGA，我们在不同的离散化策略和箱数（2，4，8，16，32）中显示了最好的结果。我们将每个指标的最佳总体结果加粗，并对每个模型的最佳结果加下划线。方法MRRFB15K-237H@1 H@10MRR雅高15KH@1 H@10transE0.3150.2170.5080.4590.3760.615+文字E0.3150.2180.5040.4580.3760.612公司简介0.3080.2100.4960.4660.3820.621+KGA0.3210.2230.5160.4700.3870.623DistMult0.2950.2120.4630.4570.3890.585+文字E0.3090.2230.4810.4620.3960.587公司简介0.3020.2200.4700.4490.3770.581+KGA0.3220.2330.5020.4720.4020.606复杂0.2880.2050.4550.4410.3700.572+文字E0.2950.2120.4620.4430.3750.570公司简介0.2930.2130.4510.4510.3800.583+KGA0.3050.2190.4780.4530.3800.591ConvE0.3140.2260.4880.4700.4050.597+文字E0.3170.2300.4890.4750.4080.601公司简介0.3050.2190.4790.4740.4080.600+KGA0.3290.2390.5120.4920.4270.616旋转0.3240.2320.5060.4510.3700.605+文字E0.3290.2370.5120.4750.4000.619公司简介0.3140.2220.5000.4690.3930.613+KGA0.3350.2420.5210.4730.3920.626塔克0.3540.2630.5360.4330.3600.571+文字E0.3530.2620.5360.4210.3480.564公司简介0.3450.2530.5300.4200.3490.556+KGA0.3570.2650.5400.4540.3800.592表3：DWD的LP结果。我们展示了香草嵌入模型（-）的性能（MRR和Hits@10），以及具有分箱数量的KGA我们使用32-bin KGA与QOC（分位数，重叠和链接）离散化。方法TransE DistMult ComplExMRRH@10MRRH@10MRRH@10-0.5800.7620.5590.7400.5680.746数量0.5820.7640.5640.7440.5710.748年0.5800.7630.5620.7440.5690.747KGA0.5830.7640.5660.7460.5740.751KGA，不像以前的文字感知方法，很好地扩展到更大的LP基准。此外，我们观察到KGA在模型和指标上都有稳定的改进。我们的知识消融研究表明，整合数量或年份比香草模型更好，数量比年份的信息量略多，整合两者会产生最佳性能。我们的结论是，数量和年份是信息和相互补充的LP通过嵌入模型。然而，KGA为模型TransE、DistMult和ComplEx带来的改进在0.3到0.7个MRR点之间，这远低于其对较小数据集的影响。我们注意到，表2中的结果显示了KGA的最佳配置，而表3中的结果显示了单一配置（具有32个箱的QOC）。因此，+v：mala2277获取更多论文表4：在FB 15 K-237上使用链接预测的图形增强模式的消融研究KGA变体：每列的最佳结果以粗体标记我们显示了不同数量的箱（2，4，8，16，32）中的最佳结果KGATransE DistMult COMPLEX ConvE RotatE TuckERMRRH@10MRRH@10MRRH@10MRRH@10MRRH@10MRRH@10-0.3150.5080.2950.4630.2880.4550.3140.4880.3240.5060.3540.536FSC0.3170.5090.3010.4710.2910.4590.3200.4940.3280.5130.3540.536FOC0.3180.5120.3060.4820.2960.4660.3190.4940.3270.5110.3540.536FHC0.3180.5110.3040.4780.2990.4690.3200.4950.3270.5100.3540.535Fon0.3190.5100.3050.4800.2960.4640.3210.4980.3280.5130.3530.535QSC0.3200.5130.3030.4750.2960.4650.3190.4940.3300.5160.3570.540QOC0.3210.5130.3120.4870.2990.4710.3220.4990.3320.5170.3560.542QHC0.3210.5160.3220.5020.3050.4780.3290.5120.3350.5210.3560.538Qon0.3200.5140.3090.4800.2990.4680.3210.4980.3320.5160.3550.536表5：箱大小对FB 15 K-237上不同模型性能的影响我们展示了最佳离散化策略的结果我们用2、4、8、16和32个箱进行实验。数字表示MRR。型号2 4 8 16 32transE0.3210.3200.3210.3210.321DistMult0.3060.3080.3140.3170.322复杂0.2940.2950.3000.3040.305ConvE0.3210.3200.3250.3250.329旋转0.3270.3260.3320.3350.334塔克0.3540.3560.3550.3560.357我们假设KGA在DWD上的性能可以通过进一步调整箱的数量和所应用的离散化策略来改进。对于计算原因，我们研究了FB15K数据集上的影响箱大小和离散化策略，并将DWD的类似研究留给未来的工作。我们在FB 15 K-237基准上研究了离散化（固定和基于分位数）、面元水平（单个、重叠和层次）和面元大小（2、4、8、16和32）的不同变体。结果（表4）表明，KGA的所有离散化变体均优于基线模型。我们观察到基于分位数的分箱优于固定宽度分箱，这是直观的，因为分位数分箱考虑了值分布的密度。在bin级别中，我们看到hierarchy bin级别的性能优于重叠binning，而重叠binning又优于使用单个bin。性能的这种相对顺序与每个bin级别策略的表现力相关。比较具有和不具有链接的分位数重叠版本，我们通常观察到水平链接箱的小益处表5提供了所有六种模型在不同区间大小（2、4、8、16、32）下的KGA结果。我们观察到更细粒度的分箱通常是首选的，因为32个分箱对于6个模型中的4个表现最好。然而，我们观察到，对于RotatE，利用16个仓获得最佳性能，而对于TransE，仓的数量没有可测量的影响。我们的结论是，KGA的性能取决于选择最佳的离散化策略和bin大小。虽然更具表现力的离散化和细粒度分箱通常效果更好，但最佳离散化依赖于模型，应进一步研究表6：与FB 15 K-237和YAGO 15 K数据集上现有的SOTA方法相比，我们的数值预测器在使用32-bin QOC增强的图上具有不同的基础模型选择。数字表示MAE。NAP++和MrAP的值取自[Bayram et al. ，2021]。我们显示了KGA与TransE的结果，以与NAP++进行公平的比较。KGA NAP++ MrAPFB15K-237出生日期死亡电影上映组织创建位置创建纬度经度面积人口高度权重18.920.64.049.076.02.17.16.1e44.0e60.07711.622.152.39.959.392.111.854.74.4e57.5e60.08015.315.016.36.358.398.81.54.04.4e52.1e70.08612.9雅高15K出生日期死亡日期创建日期数据销毁日期发生日期纬度经度16.330.858.223.329.93.47.223.245.783.538.273.78.743.119.734.070.434.654.12.85.75.2数字链接预测结果主要结果接下来，我们研究了KGA直接预测数量和年份值的能力我们将具有32个箱的KGA- QOC与表9中的FB15 K-237和YAGO 15 K基准上的基线MrAP和NAP++进行 比 较 。 我 们 观 察 到 KGA 和 MrAP 的 性 能 都 优 于NAP++。6KGA在大多数属性上的表现优于MrAP：FB15 K-237中的11个属性中有7个，YAGO 15 K中的7个属性中有5个。进一步的研究表明，我们的方法是优越的，在减少错误的年份和属性具有较大的范围内的值，如面积和人口，这可能是由于基于分位数的分箱策略。MrAP在两个数据集的纬度和经度属性上优于我们的模型。考虑到MrAP的MAE误差较低，我们认为这样一个对6来自原始NAP++论文的结果与通过复制实验获得的结果不同，参见[Bayramet al. ，2021]。+v：mala2277获取更多论文表7：与线性回归（LR）模型和中位数基线相比，我们的数值预测因子KGA-QOC对DWD的我们用32个箱子来表示数量和年份。数字表示相对于中位值基线的MAE降低百分比。我们报告了数量和年份最多的5个属性的结果，标识符为：P1087，P6258 |Q28390 、 P2044 |Q11573 ， P6257 |Q28390 、 P1215 、P569、P570、P577、P571和P585。属性中值LR KGA等级分119.0386.0955.20十度18.689.8318.53海拔高度466.51366.64459.48赤经82.9840.9082.51视星等3.022.002.37出生日期62.7149.7058.59死亡日期90.6878.1079.38出版日期28.3317.3728.27成立72.8461.4572.27时间点88.7681.6583.70三元组的原始数值可以学习基于其它结构化信息可靠地预测纬度和经度在这个意义上，由KGA的仓捕获的附加文字信息我们在表7中显示了DWD中五个人口最多的数量属性和五个人口最多的年份属性的数值LP结果。我们将KGA和线性回归（LR）模型与选择属性中值的基线进行比较。KGA和LR模型的性能都优于中位数基线，但LR模型在该数据集上的10个属性中有9个优于KGA这些结果加强了表3中的发现，即KGA需要进一步调整才能应用于DWD。6相关工作使 用 文 字 的 图 形 嵌 入 文 字 感 知 LP 方 法 [Linet al. ，2015;Xiaoet al. ，2017]主要关注字符串，通过学习实体的 文 本 描 述 的 表 示 并 将 其 与 其 结 构 化 表 示 相 结 合[Geseseet al. ，2019]。考虑字符串值三元组是KGA的自然扩展。一些努力通过向嵌入模型的评分函数添加文字感 知 项 来 将 数 字 三 元 组 并 入 KG 嵌 入 。 LiteralE[Kristiadiet al. ，2019]通过将文字丰富的嵌入传递到评分函数来合并文字。假设关系的数值之间的差异是关系存在的良好指标，KBLN[Garc'ıa-Dura' n和Niepert，2017]为文字添加了一个单独的评分函数我们的实验表明，KGA性能优于LiteralE和KBLN实体LP。几种方法不修改评分函数，而是修改基础模型的损失函数，以在预测数值和实体值之间进行平衡。TransEA[Wu和Wang，2018]扩展了TransE，在基础模型上增加了回归惩罚，而MTKGNN [Tayet al. ，2017]使用多任务学习并通过引入使用嵌入来预测数值的单独训练步骤来扩展神经表示学习基线。MARINE [Fengetal. ，2019]通过添加邻近损失来扩展这些方法，该邻近损失基于共享的两个节点之间的邻居。我们不与TransEA和MARINE进行比较，因为它们报告的性能低于最近的基本模型或KBLN，而与MTKGNN进行比较则需要重新实现模型，因为原始工作是在不同的数据集上进行评估的，并且有自己的代码库。与以前的工作相比，KGA增强了原始KG的结构，使基本模型的损失函数保持不变。因此，KGA可以直接重用到新的嵌入方法，而无需自定义基本算法或评分函数，并且可以在维基数据大小的大型KG上计算。此外，显式表示的文字范围值作为直观近似值具有内在意义，对应于人类如何感知数字[Dehaene，2011]。数字链接预测MTKGNN [Tayet al. ，2017]亲-提出了一个多任务学习算法，预测实体和数值语句。NAP++[KotnisandGarc'ıa-Dura'n，2019]使用TtransEA[WuandWang，2018]基于数字三元组和关系传播算法来聚类MrAP [Bayramet al. ，2021]使用实体内和实体之间的消息传递来预测具有强正态分布的属性。KGA还预测数值，通过将它们离散化到桶中，使用基本算法预测正确的bin，并选择预测bin的中值。其他一些工作也考虑了数值LP。KGA更加可控和直观，允许其用户通过简单的LP了解嵌入学到了什么。7结论提出了一种知识图增强（KGA）方法，该方法在预处理步骤中将文字加入到基于嵌入的链接预测系统中。KGA不修改模型的评分或损失函数，而是用离散化的数量和年份来增强原始KG。因此，KGA被设计为推广到任何嵌入模型和KG。我们制定了不同的KGA的变种，在他们的区间定义，装箱水平，箱数，和链接形式化。评价表明，KGA优于香草嵌入模型和基线方法的实体和数字链接预测。与之前的基线不同，KGA扩展到维基数据大小的KG，因为它对原始模型进行了微小的调整。KGA的性能取决于所选择的箱数和离散化策略。虽然更具表现力的离散化和分箱通常会更好，但最佳性能取决于模型，应该进一步研究。未来的工作还应该扩展KGA，以包括字符串文字。引用[Bala ze v ic'etal. ， 2019]Iv anaBalaze vic' ， CarlAllen ，andTimothyMHospedales.Tucker：Tensorfactorization for knowledge graph completion. arXiv预印本arXiv：1901.09590，2019。[Bayrametal. ， 2021]EdaBayram ， AlbertoGarc'ıa-Dura'n ，and Robert West.多关系传播知识图中的节点属性补全在ICASSP 2021中。IEEE，2021年。+v：mala2277获取更多论文[Bollacker et al. Kurt Bollacker ， Colin Evans ， PraveenParitosh，Tim Sturge，and Jamie Taylor.Freebase：一个协作创建的图形数据库，用于构建人类知识。在2008年ACM SIGMOD数据管理国际会议论文集，第1247-1250页[Bordes et al. Antoine Bordes，Nicolas Bronnier，AlbertoGarcia-Duran，Jason Weston，and Oksana Yakhnenko.为多关系数据建模转换嵌入。神经信息处理系统的进展，26，2013。[2011年]斯坦尼斯拉斯·德阿纳。《数感：心智如何创造数 学 》 （ The Number Sense ： How theMind CreatesMathematics）OUP USA，2011年。[Dettmers et al. TimDettmers ， Pasquale Minervini ，Pontus Stenetorp和Sebastian Riedel。卷积2d知识图嵌入。2018年第32届AAAI人工智能会议[Feng et al. Ming-Han Feng ， Chin-Chi Hsu ， Cheng-TeLi，Mi-Yen Yeh，and Shou-De Lin. Marine：具有关系邻近度和节点属性的多关系网络嵌入. 在万维网会议上，第470-479页[Garc'ıa-Dura' n和Niepert，2017]阿尔贝托加尔·塞亚-杜尔·安和马蒂亚斯·尼佩特。Kblrn：具有潜在、关系和数值特征的知识库表示的端到端学习。arXiv预印本arXiv：1709.04676，2017。[Gesese et al. Genet Asefa Gesese ， Russa Biswas ，Mehwish Alam和Harald Sack。文字型知识图嵌入研究综述：哪种模型文字链接更好？Semantic Web，（预印本）：1[Kotnis 和 Gar c'ıa-Dur a' n ， 2019]BhushanKotnis 和 Al-bertoGar c'ıa-Dur a' n。在知识库中学习数值属性在自动知识库建设（AKBC），2019年。[Kristiadi et al. Agustinus Kristiadi ， Mohammad AsifKhan ， Denis Lukovnikov ， Jens Lehmann 和 AsjaFischer。将文字转换为知识图嵌入。国际语义网会议，第347-363页。Springer，2019年。[Lacroixetal. ，2020]Timothe' eLacroix，GuillaumeObozin-ski，and Nicolas Bronnier.时态知识库完备化的张量分解。arXiv预印本arXiv：2004.04926，2020。[Lerer et al. Adam Lerer ， Ledell Wu ， Jiajun Shen ，Mothee Lacroix，Luca Wehrstedt，Abhijit Bose，andAlex Peysakhovich. Pytorch-biggraph：一个大规模的图形嵌入系统。以. Talwalkar，V. Smith，M. Zaharia，编辑，机器学习和系统论文集，第1卷，第120-131页[Lin et al. Yankai Lin ， Zhiyuan Liu ， Maosong