珠穆朗玛峰和英国地理学家：亚洲大陆所在国，KGC知识图补全方法的性能分析

+v：mala2277获取更多论文山实例珠穆朗玛峰得名于乔治·埃佛勒斯大陆亚洲国籍国联合王国英国…是欧洲西北部的一个主权国家亚洲是地球上面积最大、人口最多的大陆。...是一位英国测量师和地理学家珠穆朗玛峰是地球上海拔最高的山峰。山是地壳的一个隆起部分SimKGC：使用预训练语言模型的王亮1赵伟2魏卓宇2刘景明21微软亚洲研究院2Yuanfudao AI Lab，北京，中国wangliang@microsoft.com{zhaowei01,weizhuoyu,liujm}@yuanfudao.com摘要知识图补全（KGC）的目的是对已知事实进行推理，并推断出缺失的链接。基于文本 的 方 法 ， 如 KG-BERT （ Yao et al. ，2019）从自然语言描述中学习实体表示，并具有归纳KGC的潜力。然而，基于文本的方法的性能仍然在很大程度上落后于基于图 嵌 入 的 方 法 ， 如 TransE （ Bordes etal. ，2013 ）和 RotatE （Sun et al. ，2019b）。在这篇文章中，我们发现关键问题是有效的对比学习。为了提高学习效率，我们引入了三种类型的否定：批内否定，批前否定和自我否定，它们作为硬否定的简单形式。结合InfoNCE损失，我们提出的模型SimKGC可以在几个基准数据集上大大优于基于嵌入的方法。在平均倒数秩（MRR）方面，我们在WN18 RR上将最新技术水平提高了+19%，+6.8%在Wikidata5M的传导设置上，+22%在Wikidata5M的归纳设置上。进行彻底的分析，以深入了解每个组成部分。我们的代码可以在https://github.com/intfloat/SimKGC上找到。1介绍大规模知识图（KG）是知识密集型应用程序的重要组成部分，例如问答（Sun et al. ，2019a），推荐系统（Huang et al. ，2018）和智能会话代理（Dinan et al. KG通常由一组三元组（h，r，t）组成，其中h是头实体，r是关系，t是尾实体。受欢迎的公立幼儿园包括Freebase（Bollacker et al. ，2008），Wikidata（ Vran-de c i candKrötzsch ， 2014 ） ， YAGO（Suchaneket al. ，2007）、ConceptNet（Speeret al. ，2017）和Word- Net（Miller，1992）等。尽管它们很有用在元福道AI实验室完成的工作在实践中，它们往往不完整。知识图补全（KGC）技术是知识图自动构造和验证的必要手段。图1：知识图谱的一个例子每个实体都有其名称和文本描述。现有的KGC方法可以分为两大类：基于嵌入的方法和基于文本的方法。基于嵌入的方法将每个实体和关系映射到一个低维向量中，而不使用任何辅助信息，如实体描述。该家族包括 transE （ Bordeset al. ， 2013 ） 、 TransH（ Wang et al. ， 2014 ） 、 Ro- tatE （ Sun etal. ， 2019b ） 和 TuckER （ Balaze-vicet al. ，2019）等。通过比较，基于文本的方法（姚等。，2019; Xie et al. ，2016; Wang等人，2021 c）合并了用于实体表示学习的可用文本，如图1所示。显然，基于文本的方法应该优于基于嵌入的方法，因为它们可以访问额外的输入信号。然而，流行的基准测试结果（例如 ， WN 18 RR ， FB 15 k- 237 ， Wikidata 5M）讲述了一个不同的故事：即使使用预先训练的语言模型，基于文本的方法仍然落后我们假设，这种认知能力下降的关键问题是对比学习的效率低下。基于嵌入的方法不涉及昂贵的计算文本en，arXiv：2203.02167v1 [cs.CL] 2022年3+v：mala2277获取更多论文→→→编码器，因此可以非常有效地利用大的负样本大小进行训练。例如，RotatE1的默认配置在Wikidata5M数据集上训练了1000个epoch，负样本大小为64而基于文本的方法KEPLER（Wang et al. ，2021 c）由于RoBERTa引起的高计算成本，只能训练负样本大小为1的30个历元在本文中，受对比学习的最新进展的启发，我们引入了三种类型的否定来改进基于文本的KGC方法：批内否定，批前否定和自我否定。 通过采用双向编码器代替交叉编码器（Yao et al. ，2019）架构，可以通过使用更大的批量大小来增加批内底片的数量。 来自先前批次的载体被缓存并用作预批次阴性（Karpukhinet al. ，2020）。此外，挖掘硬否定可以有益于改善对比学习。我们发现，头部实体本身可以作为硬否定，我们称之为因此，负样本量可以增加到数千人的规模我们还建议将 损 失 函 数 从 基 于 边 缘 的 排 名 损 失 改 为InfoNCE，这可以使模型专注于硬否定。基于文本的方法的一个优点是，它们使归纳实体表示学习成为可能。在训练过程中看不到的实体仍然可以被适当地建模，而基于嵌入的方法，如transE，只能在转换设置下推理。归纳知识图的完成在现实世界中很重要，因为每天都有新的实体出现。此外，基于文本的方法可以利用最先进的预训练语言模型来学习更好的表示。最近的一系列工作（Shin et al. ，2020; Petroni et al. ，2019）试图从BERT中提取隐含存储的知识KGC的任务也可以被视为检索这些知识的一种方式。如果两个实体通过图中的短路径连接，则它们更可能相关经验上，我们发现基于文本的模型严重依赖于语义匹配，并在一定程度上忽略了这种拓扑偏见。我们提出了一个简单的重新排名策略，通过提高头实体的k跳邻居的分数我们评估我们提出的模型SimKGC，1https://github.com/DeepGraphLearning/石墨矿2测试集中的所有实体也会出现在训练集中。在三个流行的基准点上进行实验：WN 18RR，FB 15 k-237和Wikidata 5 M（包括传导和感应设置）。根据自动评估指标（MRR，Hits@{1，3，10}），SimKGC在WN 18 RR（MRR 47）上的表现远远优于最先进的方法 。 六 百 六 十 六 。 6 ） ， Wikidata5Mtransductive set- ting（MRR 29. 035 8）和感应设置（MRR 49. 371. 4）。 在FB 15 k-237数据集上，我们的结果也具有竞争力。为了帮助更好地理解我们提出的方法，我们进行了一系列的分析和报告人类的评估结果。希望SimKGC能够促进未来更好的KGC系统的开发。2相关工作知识图完成涉及建模多关系数据，以帮助大规模KG的自动构建。在基于翻译的方法中，例如 TransE （ Bordes et al. ， 2013 ） 和 TransH（Wang et al. ，2014），三元组（h，r，t）是从头实体h到尾实体t的特定于关系的转换。Trouillon等人引入了复数嵌入。（2016年），以增加模型的表现力。RotatE（Sun et al. ，2019年b）模型三元组作为复杂空间中的关系旋转。Nickel等人（2011）;Balazevic等人（2019）将KGC视为3-D二元张量因子分解问题，并研究了几种因子分解技术的有效性有些方法试图合并实体描述。DKRL（Xie et al. ，2016） 使 用 CNN 对 文 本 进 行 编 码 ， 而 KG-BERT（Yaoet al. ，2019），StAR（Wang etal. ，2021a）和BLP（Daza et al. ，2021）都采用预先训练的语言模型来计算实体嵌入。圣杯（Teru et al. ，2020）和BERTRL（查等人，2021）利用子图或路径信息进行归纳关系预测。 在基准性能方面（Wang et al. ，2021c），基于文本的方法仍然不如RotatE等方法。预训练的语言模型，包括BERT（Devlin etal. ，2019）、GPT（Radford et al. ，2018）和T5（Raffel et al. ，2019）导致了NLP的学习范式转变模型首先在具有语言建模目标的大量未标记文本语料库上进行预训练，然后在下游任务上进行微调。考虑到他们在少镜头甚至零镜头+v：mala2277获取更多论文不EGG∈E（Brown et al. ，2020），一个有趣的问题是：“预先训练的语言模型可以用作知识库吗？”Petroni等人（2019）提出用手动设计的提示来探测语言模型。一系列后续工作（Shinet al. ，2020; Zhong et al. ，2021; Jianget al. ，2020）专注于寻找更好的提示以引出隐含存储在 模 型 参 数 中 的 知 识 。 另 一 条 工 作 线（Zhanget al. ，2019; Liu et al. ，2020; Wang等人，2021 c）将符号知识注入到语言模型预训练中，并在几个知识密集型任务上显示出一些性能提升。对比学习通过对比正面和负面来学习有用的表征（Le-Khac et al. ，2020）。积极和消极的定义是特定于任务的。在自我监督视觉表征学习（Chenet al. ，2020; He et al. ，2020; Grill etal. ，2020），正对是同一图像的两个增强视图，而负对是不同图像的两个增强视图。近年来，对比学习范式在许多不同的领域取得了巨大的成功，包括多模态预训练（Radford etal. ，2021），视频文本检索（Liu et al. ，2021）和自然语言理解（Gunel et al. 在NLP社区中，通过利用来自自然语言推理数据的监督信号（Gaoet al. ，2021）、QA对（Ni et al. ，2021）和par-spectrum语料库（Wang et al. ，2021 b），这些方法在语义相似性基准上超过了非对比方法（Reimers和Gurevych，2019）Karpukhin等人（2020）; Qu等人 （2021年）;预测（？，r，t）。在本文中，对于每个三元组（h，r，t），我们添加一个逆三元组（t，r−1，h），其中r−1是r的逆关系。基于这样的重新表述，我们只需要处理尾部实体预测问题（Malaviya et al. ，2020）。3.2模型架构我们提出的模型SimKGC采用双编码器架构。两个编码器使用相同的预训练语言模型进行初始化，但不共享参数。给 定 三 元 组 （h ， r ， t ） ， 第 一 编 码 器BERThr用于计算头实体h的关系感知嵌入。我们首先连接实体h和关系r的文本描述，在它们之间有一个特殊的符号[SEP]。BERThr用于获取最后一层隐藏状态。代替直接使用第一令牌的隐藏状态我们使用均值池，然后进行L2归一化，以获得关系感知嵌入ehr，如下所示：平均池已经被证明导致更好的句子嵌入（Gaoet al. ，2021;Reimers和Gurevych，2019）。EHR是关系感知的，因为不同的关系将具有不同的输入，从而具有不同的嵌入，即使头实体是相同的。类似地，第二编码器BERTt用于计算尾实体t的L2归一化嵌入et。BERT t的输入仅由实体t的文本描述组成。由于嵌入ehr和et都是L2归一化的，因此余弦相似度cos（ehr，et）只是两个嵌入之间的点积Xiong et al.（2021）采用对比学习来改进开放域cos（ehr，e）=ehr·et=eehr·et（一）问题回答，其中肯定的段落是包含正确答案的段落。3方法3.1符号知识图是有向图，其中顶点是实体，并且每条边可以表示为三元组（h，r，t），其中h，r和t分别对应于头实体，关系和尾实体。KGC的链接预测任务是在给定一个不完整的链接的情况下推断出缺失的三元组。在广泛采用的实体 排 序 评 估 协 议 下 ， 尾 实 体 预 测 （ h ，r，？）需要对给定h和r的所有实体进行排序，对于head实体对于尾实体预测（h，r，？），我们计算ehr与E中所有实体之间的余弦相似度，并预测得分最大的实体：argmax cos（ehr，eti），ti（2）我不是3.3负采样对于知识图完成，训练数据仅由正三元组组成。给定一个正三元组（h，r，t），大多数现有方法随机破坏h或t，然后过滤掉出现在训练图G中的假阴性。的HR+v：mala2277获取更多论文∼∼E≥|N|×| N || N|∈E|N|−τN Nn∈ −|不||E||E|×|不||E|××|不|i=1我不同三元组的否定不共享，因此是独立的。对于基于嵌入的方法，否定的典型数量是64（Sun et al. ，2019 b），和5基于文本的方法（王等。，2021a）。 我们结合了三种类型的否定，以提高训练效率，而不会产生显着的计算和内存开销。这是视觉表征学习中广泛采用的策略（Chenet al. ，2020）和密集通道检索（Karpukhin etal. ，2020）等。同一批次内的实体可以用作底片。这样的批量否定允许用于双编码器模型的实体嵌入的有效重用。批前底片（PB）批内底片的缺点是底片的数量与批量大小有关。批前阴性（Leeet al. ，2021）使用来自先前批次的实体嵌入。由于这些嵌入是使用早期版本的模型参数计算的，因此它们与批内负值不一致通常，仅使用1或2个预 批 次 。 其 他 方 法 如 MoCo （ He et al. ，2020）还可以提供更多底片。我们把对MoCo的调查作为未来的工作。假设批量为1024，使用2个前批次，则IB= 1024 1，PB= 2 1024，SN =1，且（h，r）=共3072个负数3.4基于图的重新排序知识图谱通常具有空间局部性。邻近的实体比相距遥远的基于文本的KGC方法擅长捕捉语义相关性，但可能无法完全捕捉这种归纳偏差。我们提出了一个简单的基于图的重排序策略：将候选尾实体t i的得分增加α0，如果ti在头实体h的k跳邻居k（h）中，则基于来自训练集的图：argmax cos（ehr，eti）+α1（ti k（h））（4）我不是3.5训练和推理在训练过程中，我们使用InfoNCE损失和附加余量（Chen et al. ，2020; Yang et al. ，2019年）：e（φ（h，r，t）−γ）/τL= − loge（φ（h，r，t）−γ）/τ + τ| N |eφ（h，r，t′）/τ自我否定（SN）除了增加否定的数量，挖掘硬 否 定 （ 高 等 人 。 ， 2021; Xiong et al. ，2021）对于改善对比表征学习也很重要。对于尾实体预测（h，r，？），基于文本的方法倾向于给头部实体H分配高分，这可能是由于高文本重叠。为了缓解这个问题，我们提出了使用头部实体h作为硬否定的自否定。包括自我否定可以使模型更少地依赖于虚假文本匹配。我们用IB、PB和SN来表示上述三种否定形式.在训练过程中，可能存在一些假阴性。例如，正确的实体恰好出现在同一批中的另一个三元组中。我们用二进制掩码 3过滤掉这样的实体。将它们全部组合，负数N（h，r）的集合为：{tJ|tJ∈NIB<$NPB<$NS N，（h，r，tJ）∈/G}（三）3训练数据中未出现的假阴性将不会被过滤。加性裕度γ>0鼓励模型以增加正确的三元组（h，r，t）的得分。φ（h，r，t）是候选三元组的得分函数，这里我们定义φ（h，r，t）= cos（ehr，et）[1，1]，如等式1所示。温度τ可以调节消极因素的相对重要性，τ越小，这种损失更加强调硬底片，但也有过度拟合标签噪声的风险。为了避免将τ调整为超参数，我们将log1重新参数化为可学习参数。对于推理，最耗时的部分是O（）BERT实体嵌入的前向传递计算。假设存在测试三元组。对于每个三元组（h，r，？）和（t，r−1，？），我们需要计算关系感知头实体嵌入，并使用点积来获得所有实体的排名分数总的来说，SimKGC需要+2个BERT正向传递，而像KG-BERT这样的交叉编码器模型（Yao etal. ，2019）需求2. 能够扩展到大型数据集对于实际使用非常重要 对于双编码器模型，我们可以预先计算实体嵌入，并在快速相似性搜索工具的帮助下有效地检索前k个实体，如Faiss（Johnson et al. ，2021年）。（五）+v：mala2277获取更多论文∼∼∼∼∈数据集#实体#关系#火车#有效#测试WN18RR四万零九百四十三11八六八三十五30343134FB15k-23714，541237272， 115一万七千五百三十五20，466Wikidata5M-Trans459448582220、 614、279五、一百六十三五、一百六十三Wikidata5M-Ind457960982220、 496、514六千六百九十九六千八百九十四表1：本文中使用的数据集的统计数据。“Wikidata5M-Trans” and “Wikidata5M-Ind” refer to the transductiveand inductive settings,4实验4.1实验装置数据集我们使用三个数据集进行评估：WN 18RR ， FB 15 k-237 和 Wikidata 5 M （ Wangetal. ，2021c）。统计数据见表1.一、Bordes等人（2013）提出了WN18和FB15k 数 据 集 。 后 来 的 工 作 （ Toutanova etal. ，2015; Dettmers等人，2018）表明这两个数据集存在测试集泄漏，并通过删除反向关系发 布 了 WN 18 RR 和 FB 15 k-237 数 据 集 。WN18RR数据集包括WordNet（Miller，1992）的41k同义词集和11个关系，FB 15 k-237数据集由Freebase的15k实体和237个Wikidata5M数据集规模更大，500万个实体，两千万个三倍。它提供了两种设置：transductive和inductive。对于转换设置，测试集中的所有实体也出现在训练集中，而对于归纳设置，训练集和测试集之间没有实体重叠。我们使用对于文本描述，我们使用KG-BERT提供的数据（Yao et al. ，2019年）的WN 18 RR和FB15 k-237数据集。Wiki-data 5 M数据集已经包含了所有实体和关系的描述。评估在之前的工作之后，我们提出的KGC模型使用实体排名任务进行评估：对于每个测试三元组（h，r，t），尾部实体预测对所有实体进行排名，以预测给定h和r的t，类似于头部实体预测。我们使用四个自动评估指标：平均交互秩（MRR）和Hits@k（k{1，3，10}）（简称H@k）。MRR是所有测试三元组的平均倒数秩。H@k计算排名在前k位的正确实体的 比 例 。 在过 滤设置 下报 告MRR和 H@ k（Bor deset al. ，2013），过滤设置忽略训练中所有已知真三元组的分数，val-+v：mala2277获取更多论文××验证和测试集。所有度量通过在两个方向上取平均来计算：头实体预测和尾实体预测。我们还对Wikidata5M数据集进行了人工评估，以提供对模型性能的更准确估计超参数编码器使用bert-base-uncased（英文）初始化。使用更好的预训练语言模型有望进一步提高性能除了学习率和训练时期之外，大多数超参数都在所有数据集之间共享我们进行网格搜索的学习率与范围{10−5，3 10−5，5 10−5}.实体描述被截断为最多 50 个标 记 。 温 度 τ 初 始 化 为 0 。 05 ，InfoNCE损失的附加余量为0。02. 为了重新排序，我们设置α = 0。05. 使用2个预处理批次和logit重量0。五、我们使用具有线性学习率衰减的AdamW优化器模型在4个V100 GPU上使用批量大小1024进行训练对于WN 18 RR、FB 15k-237和Wikidata 5 M（两种设置）数据集，我们分别训练50、10和1个epoch。更多详情请参见附录A4.2主要结果我们重复使用Wang等人报告的数字。（2021c ） ， RotatE的 结 果 来 自 官 方 GraphVite4 基准 。 在 表 2 和 表 3 中 ， 我 们 提 出 的 模 型SimKGC IB+PB+SN在WN 18 RR、Wikidata 5 M-Trans和Wikidata 5 M-Ind数据集上的性能大大优于最先进的方法，但在FB 15 k-237数据集上略有落后（MRR 33. 6%对35。8%）。据我们所知，SimKGC是第一个基于文本的KGC方法，它比基于嵌入的方法取得了更好的结果。4https://graphvite.io/docs/latest/基准+v：mala2277获取更多论文∼∼∼方法Wikidata5M-TransWikidata5M-IndMRRH@1H@3H@10MRRH@1H@3H@10嵌入式方法TransE（Bordes et al. ，2013年）25.317.031.139.2----RotatE（Sun et al. ，2019年b）29.023.432.239.0----文本方法DKRL（Xie et al. （2016年）16.012.018.122.923.15.932.054.6KEPLER（Wang et al. ，2021c）21.017.322.427.740.222.251.473.0BLP-ComplEx（Daza et al. ，2021年）----48.926.266.487.7BLP-SimpleE（Daza et al. ，2021年）----49.328.963.986.6SimKGCIB35.330.137.444.860.339.577.892.3SimKGCIB+PB35.430.237.344.860.239.477.792.4SimKGCIB+SN35.631.037.343.971.360.778.791.3SimKGCIB+PB+SN35.831.337.644.171.460.978.591.7表2：Wikidata5M数据集的主要结果。“IB”、“PB”和“SN”分别指批内阴性、批前阴性和自身阴性。基于嵌入的方法本质上不能执行归纳KGC。 根据Wang et al. （2021 c），归纳设置在测试集中仅排名7，475个实体，而转换设置排名4。600万个实体，因此归纳设置的报告指标要高得多。结果在配对学生t检验下具有统计学显著性，p值为0。05.方法WN18RRFB15k-237MRRH@1H@3H@10MRRH@1H@3H@10嵌入式方法TransE（Bordes et al. （2013年）24.34.344.153.227.919.837.644.1DistMult（Yang et al. （2015年）44.441.247.050.428.119.930.144.6RotatE（Sun et al. ，2019年b）47.642.849.257.133.824.137.553.3TuckER（Balazevic et al. ，2019年）47.044.348.252.635.826.639.454.4文本方法KG-BERT（Yao et al. ，2019年）21.64.130.252.4---42.0MTL-KGC（Kim et al. ，2020年）33.120.338.359.726.717.229.845.8StAR（Wang et al. ，2021 a）40.124.349.170.929.620.532.248.2SimKGCIB67.158.573.181.733.324.636.251.0SimKGCIB+PB66.657.872.381.733.424.636.551.1SimKGCIB+SN66.758.872.180.533.424.736.350.9SimKGCIB+PB+SN66.658.771.780.033.624.936.251.1表3：WN 18 RR和FB 15 k-237数据集的主要结果。†：数字来自Wang et al. （2021年a）。我们报告各种阴性组合的结果。由于我们使用的批量较大（1024），SimKGCIB的性能已经相当强劲，仅使用批内底片添加自我否定倾向于提高H@1，但伤害H@10。我们假设自我否定使模型更少依赖于简单的文本匹配。因此，它们对强调召回的指标（如H@10）有负面影响结合所有三种类型的底片通常会有最好的结果，但并不总是如此。与其他数据集相比，FB 15 k-237数据集的图形更密集（每个实体的平均度为37），并且包含更少的实体（15k）。为了表现良好，模型需要学习可推广的推理规则，而不仅仅是建模文本相关性。基于嵌入的方法可能在这种情况下具有优势。这是可能的合奏我们的方法与嵌入为基础的，如王等人。 （2021年a）。由于这不是本文的重点，我们把它作为未来的工作。此外，Cao et al. （2021）指出，根据现有信息，FB 15 k-237数据集中的许多链接这两个原因有助于解释SimKGC令人不满意的表现。添加自我否定对Wikidata5M数据集的归纳设置特别有帮助，MRR从60上升。3%至71。百分之三对于归纳KGC，基于文本的模型更依赖于文本匹配，而不是转换设置。自我否+v：mala2277获取更多论文定+v：mala2277获取更多论文∼∼−Σ1−我可以防止模型简单地预测给定的头部实体。在推理时间方面，最昂贵的部分是BERT的前向传递。对于Wikidata 5 M-Trans数据集，SimKGC需要404分钟计算600万次嵌入采用2个GPU，而交叉编码器模型，如KG-BERT（Yao et al. ，2019）将需要3000小时的估计时间我们不是第一个损失函数的影响似乎更大对于InfoNCE损失，硬负片自然会贡献更大的梯度，并且添加更多负片 可以 导致 更鲁 棒的 表示 。Wang和Liu（2021）也得出了类似的结论：这种硬度感知属性对于对比损失的成功至关重要。我们还提出了一个变体将等式6中的权重从1工作，使快速推理，模型，如至exp（s（t′i）/τ）其中J|N|ConvE（Dettmers et al. ，2018年）和StAR（WangΣ|jN=1|exp（s（t′j）/τ）s（ti）= max（0，λ+等人#20210;也有类似的优势。在这里，我们只是想再次强调在设计新模型时推理效率和可扩展性5分析我们进行了一系列的分析，以进一步了解我们提出的模型和KGC任务。5.1什么让SimKGC成为Excel？与现有的基于文本的方法相比，SimKGC做了两个主要的改变：使用更多的否定词，并从基于边缘的排名损失切换到InfoNCE损失。为了指导未来的知识图完成工作，了解哪一个因素对SimKGC的卓越性能贡献最大是至关重要的φ（h，r，t，i）φ（h，r，t））和τ = 0。05. 与InfoNCE损失类似，“边际-τ“损失使得模型更多地关注硬底片，并导致更好的性能，如表4所示。它类似于Sun等人提出的“自对抗负采样”。 （ 2019b年 版） 。大 多数 hyperparam-eters都是基于InfoNCE损失进行调整的我们期望通过更多的超参数优化来实现更好的结果。70656055504551632641282565121024阴性数量（对数标尺）表4：WN18RR数据集的损失函数和阴性数量分析。在表4中，我们使用批量为256的SimKGCIB作为基线。 通过将阴性数量从255减少到5，MRR从 64 下 降。 4到48八 、 将损 失函 数从InfoNCE更改为以下保证金损失，使MRR降至39。第五章：|N|max（0，λ+φ（h，r，t，J）φ（h，r，t））（6）|N|i=1与等式5一致，φ（h，r，t，J，i）是候选三元组的余弦相似性得分，并且λ= 0。八、总而言之，InfoNCE损失和大量负面因素都是重要因素，图2：WN18RR数据集上的MRR与SimKGCIB的阴性数量。我们对所有实验使用1024的批量大小，并在softmaxlogits上使用二进制掩码改变阴性的数量。在图2中，我们定量地说明了MRR如何随着增加更多的底片而变化有一个明显的趋势，性能稳步提高，从48。8到671.一、然而，添加更多的底片需要更多的GPU内存，并可能导致优 化 困 难 （ You et al. ， 2020; Chen 等 人 ，2020）。我们不对大于1024的批量进行实验。5.2重新评级时的消融我们提出的重新排序策略是一种简单的方法，将拓扑信息的知识图。对于连通性模式表现出空间局部性的图，重新排序可能会有所帮助。67.166.064.461.859.957.153.948.8MRRMRR损失# 否定MRRH@1H@3H@10InfoNCE25564.453.871.782.8InfoNCE548.831.960.280.3保证金25539.528.544.461.2保证金538.027.542.858.7裕度-τ25557.848.563.774.9+v：mala2277获取更多论文MRRH@1H@3H@10重排序35.831.337.644.1无重新排序 35.531.037.343.9数据集1-11-nn-1N-NWikidata5M-Trans30.48.371.110.6Wikidata5M-Ind83.571.180.054.7三重SimKGC证据(RestPlaus Historic District，位于纽约）. . . 位于美国纽约州阿尔斯特郡马布尔敦的一个国家历史区. .马布尔敦三重SimKGC证据（Timothy P.） 格林，出生地，圣。路易斯）威廉·道格拉斯·格思里（1967年1月17日出生于圣路易斯）路易斯，MO）是一名职业拳击手。. . 格思里三重SimKGC证据(TLS终止代理，实例，网络软件）. . . 代理服务器，由机构用来处理传入的TLS连接。. . http服务器三重SimKGC证据(1997第10届IBF世界羽毛球锦标赛（英语：10th IBFWorld Championships（Badminton））于1997年5月24日至6月1日在苏格兰格拉斯哥举行. .2000年世界青年羽毛球锦标赛表5：Wikidata 5 M-Trans数据集测试集上的SimKGC预测结果示例。要预测的实体以粗体显示。由于篇幅原因，我们只在“证据”一行中显示了相关文本的片段表6：Wikidata 5 M-Trans数据集上重新排序的消融。在表6中，我们看到Wikidata 5 M-Trans数据集上的所有指标都有轻微但稳定的请注意，这种重新排序策略不适用于归纳KGC，因为测试集中的实体从未出现在训练数据中。 探索更有效的方法，如图神经网络（Wu et al. ，2019年）而不是简单的重新排名将是未来的方向。5.3细粒度分析1-1- 1-n表8：Wikidata5M数据集上SimKGCIB+PB+SN的不同类型关系的MRR。表7.如表8所示，预测另一个主要原因是知识图谱的不完整性。某些预测的三元组可能是正确的，特别是对于中心实体预测中的1-n关系，如在表5中，对于第一个示例，第二个示例说明了配偶湖流入资本政府首脑孩子有一部分着名的作品副作用关系“出生地”的情况这有助于解释“1-n”关系的低性能n-1n-nWikidata 5 M-Trans数据集。 在第三个例子中，出生地姓名工作地点演职人员受......影响的成员SimKGC预测了一个密切相关但不正确的实体5.4人工评价上述分析表明，自动评估，表7：Wikidata 5 M-Trans数据集上不同类别关系的示例。我们根据Bordes et al.（2013）的规则，根据头和尾参数的基数将所有关系分为四类：一对一（1-1），一对多（1-n），多对一（n-1）和多对多（n-n）。示例见诸如MRR之类的评估指标往往会低估模型为了更准确地估计性能，我们进行了人工评估，并在表9中列出了结果。根据人类注释者，根据H@1的平均49%的错误预测是正确的如果我们考虑到这一点，我们提出的模型的H@1如何准确+v：mala2277获取更多论文实体类型人类图书村分类相册电影社区公司正确错未知（h，r，？）百分之二十四百分之五十四百分之二十二（怎么样？、r、t）百分之七十四百分之十四百分之十二Avg百分之四十九百分之三十四百分之十七表9：Wikidata 5 M-Trans数据集上的人类评估结果。（h，r，？）和（？，r，t）分别表示尾实体和头实体预测。我们根据H@1从测试集中随机抽取100个错误的预测。“未知”类别表示注释者无法根据文本信息来测量KGC系统的性能也是一个有趣的未来研究方向。有效的对比学习。SimKGC借鉴了对比学习领域的最新进展，采用了双编码器结构，并结合了三种类型的否定。在WN 18 RR、FB 15 k-237和Wikidata 5 M数据集上的实验表明，SimKGC大大优于现有技术的方法。对于未来的工作，一个方向是提高SimKGC的 可 解 释 性 。 在 像 Ro- tatE （ Sun et al. ，2019b）和TransE（Bordes et al. ，2013），三元组可以被建模为复杂空间中的旋转或关系平移，而SimKGC不能实现这种易于理解的解释。另一个方向是探索处理假阴性的有效方法（Huynh et al. 、5.5实体可视化实体嵌入可视化2020年），由于知识的不完整性7大影响40302010010203020 10 0X10 20未来的工作可以使用SimKGC作为一个坚实的基线，以不断改进基于文本的知识图完成系统。我们的实验结果和分析也揭示了几个有前途的研究方向。例如，如何以更有原则的方式合并全局图结构是否有其他损失函数比信息损失函数性能更好对于知识密集型任务，如知识库问题回答（KBQA），信息检索和知识基础的重新定义，图三： 实体嵌入的二维可视化使用t-SNE从Wikidata 5 M-Trans数据集得到的数据（Maaten和Hinton，2008）。为了定性地检查我们提出的模型，我们可视化了来自8个最大类别的实体嵌入，每个类别有50个随机选择的实体实体嵌入是用3.2节中的BERTt计算的。在图3中，不同的类别被很好地分开，证明了学习的嵌入的高质量。一个有趣的现象是，“社区”和“村庄”这两个范畴这是合理的，因为这两个概念并不相互排斥。6结论本文提出了一种简单的方法SimKGC，以提高基于文本的知识图完成。我们认为，关键问题是如何执行5.我们利用关系的“实例”来确定实体类别。sponse世代等，探索改进的知识图完成系统带来的新机遇将是有趣的。确认我们要感谢匿名评审员和区域主席的宝贵意见，以及ACL滚动评审组织者的努力。引用伊戈尔·巴拉泽维奇，卡尔·艾伦，蒂莫西·霍斯佩戴尔 斯 。 2019. Tucker ： Tensor Factorization forKnowledgeGraph Completion。在2019年自然语言处理经验方法会议和第九届自然语言处理国际联合会议（EMNLP- IJCNLP）会议录中，第5185计算语言学协会.库尔特·博拉克，科林·埃文斯，普拉文·帕里托什，蒂姆·斯特奇和杰米·泰勒。2008. Freebase：一个协作创建的图形数据库，用于构建人类知识。2008年ACM会议记录y+v：mala2277获取更多论文SIGMOD数据管理国际会议，第1247Antoine Bordes，Nicolas Bronnier，Alberto García-Durán ， Jason Weston ， and Oksana Yakhnenko.2013. 为多关系数据建模转换嵌入。在神经信息处理系统的进展26：27神经信息处理系统2013年年会。2013年12月5日至