时间知识图的问题回答及TSQA框架的研究进展

+v：mala2277获取更多论文基于时间知识图商超1、王广涛1、彭琦1、黄晶21JD AI Research2Alexa AI，亚马逊{chao.shang3，guangtao.wang，peng.qi}@jd.comjhuangz@amazon.com摘要时间知识图（KG）上的问题回答有效地使用包含在时间KG中的事实来回答自然语言问题（例如，“谁是奥巴马之前的美国总统？”这些问题通常涉及先前工作未能充分解决的三个与时间相关的挑战：1）问题通常不指定感兴趣的确切时间戳（例如，“Obama”而不是2000年）; 2）时间关系中微妙的词汇差异（例如， “之前”对“之后”）; 3）先前工作所建立的现成的时间KG嵌入忽略了时间戳的时间顺序，这对于回答时间顺序相关的问题至关重要。在本文中，我们提出了一个时间敏感的问题回答（TSQA）框架来解决这些问题. TSQA的特点是一个时间戳估计模块，可以从问题中推断出未写入的时间戳.我们还采用了一个时间敏感的KG编码器注入排序信息的时间KG嵌入，TSQA是基于。在减少潜在答案的搜索空间的技术的帮助下，TSQA在时间KG上的问题回答的新基准上显著优于先前的现有技术，特别是在需要对时间KG中的事实进行多个推理步骤的复杂问题上实现了32%1介绍时间知识图（KG）记录实体之间的关系以及当这种关系保持时的时间戳或时间段，例如，以四重奏的形式：（富兰克林D。罗斯福，立场举行，美国总统，[1933年，1945年]）。这使得它们成为回答涉及某些事件何时发生以及它们在时间上如何相关的知识问题的完美知识来源在JD AI Research工作图1：一个时间KG上的复杂时间问题的例子(see图1为示例）。与主要涉及关系推理的非时间KG上的问题回答（QA）不同，时间KGQA的核心挑战是正确识别问题中显式或隐式提及的参考时间，并通过对关系和时间戳的联合推理来受关系型KGQA工作的启发（Huanget al. ，2019; Saxena等人。，2020），其中知识图嵌入 （ Dasgupta et al. ， 2018; García-Durán etal. ，2018; Goel et al. ，2020; Wuet al. ，2020;Lacroix et al. ，2020年）学习独立的问题回答被用作输入KGQA模型，以前的工作（Saxena等人。，2021）采用时间KG嵌入攻击的时间KGQA的问题。尽管它在简单的时间问题上相对成功，这些问题直接询问KG中的事实，四个事实中的一个作为答案（例如，“When wasD. 罗斯福是美国总统吗或者罗斯福在1933年至1945年之间持有这种方法仍然难以处理需要多个关系步骤的问题，arXiv：2203.00255v1 [cs.CL] 2022年3+v：mala2277获取更多论文时间推理（例如，图1中的例子）。我们确定了三个主要的挑战，阻碍进一步的进展时间KGQA。首先，复杂的时间问题往往需要推断正确的时间参考点，这是没有考虑到以前的工作。例如，为了正确回答图1中的问题，我们首先确定第二次世界大战发生在1939年至1945年之间，并在这些时间指定的时间间隔内寻找与美国总统有所需关系的实体是至关重要的。其次，与实体关系不同，实体关系通常用自然语言表达，其中少数内容词与它们在KG中记录的关系很好地对应（例如，“什么位置...等...”相对于 没有任何地方明确指出1931年早于或早于1934年，相差3年）。因此，一个小小的词汇变化就可以极大地改变问题所表达的时间关系，从而改变答案集。第三，先前关于时间KGQA的工作建立在时间KG嵌入上，其中每个时间戳被分配一个随机初始化的向量表示，该向量表示与实体和关系表示联合优化虽然作为用于在时间KG中编码知识的独立方法听起来不错，但是该方法不保证学习的时间篡改表示可以恢复隐式时间关系，如时间顺序或距离，这对于时间KGQA是至关重要的。在本文中，我们提出了一个时间敏感的问题回答框架（TSQA），以解决这些挑战。我们首先装备的时间KGQA模型的时间估计模块，推断未陈述的时间戳的问题作为推理的第一步，和饲料的结果作为参考时间戳的关系推理。即使没有明确的训练数据，这个模块的问题的显式因式分解产生显着的改进，比以前的工作复杂的问题，需要推理多个temporal四元组。为了提高我们的问题编码器对时间关系词的敏感性，我们还提出了辅助对比损失，其对比仅由时间关系词不同的问题的答案预测和时间估计（例如，“之前”vs“之后”）。通过利用答案的相互排斥性和关于来自不同时间关系词的潜在时间估计的先验知识，我们观察到模型在复杂问题上的性能的接下来，为了学习具有时间顺序和距离的先验知识的时间KG嵌入，我们在每对时间戳嵌入之间引入时间顺序分类的辅助损失因此，时态KG中的知识可以被提取到实体、关系和时间戳嵌入中，其中时间戳嵌入可以自然地恢复底层时间戳之间的顺序和距离信息最后，我们使用基于KG的方法来增强TSQA，以缩小搜索空间，从而加快模型训练和推理，并减少模型预测中的误报数量。因此，TSQA在C RON Q UES-TIONS基准上优于先前的现有技术（Saxena et al. 2021年），在很大程度上。总之，我们在本文中的贡献是：a）我们提出 了 一 个 时 间 敏 感 的 问 题 回 答 框 架（TSQA），对复杂的时间答案进行时间估计;b）我们提出了对比损失，提高了模型对问题中时间关系词的敏感性;c）我们提出了一个时间 敏 感 的 时 间 KG嵌 入 方 法 ， 有 利 于 时 间KGQA; d）在基于KG的修剪技术的帮助下，我们的TSQA模型大大优于以前的最新技术。2相关工作时态知识图嵌入。知识图嵌入学习（Bordesetal. ，2013; Yang et al. ，2014; Trouillon等人，2016; Dettmers等人，2018; Shang et al. ，2019;Sun et al. ，2019; Tang et al. ，2019; Ji et al. ，2021年）一直是一个活跃的研究领域，直接应用于知识库完成和关系提取。最近，有一些工作扩展了静态KG嵌入模型 到时间型KG Jianget al.（2016）首次尝试扩展TransE（Bordes etal. ，2013）通过将时间戳嵌入添加到得分函数中。后来，Hyte（Dasgupta et al. ，2018）用对应的超平面投影每个时间戳，并利用每个空间中的TransE分数+v：mala2277获取更多论文R∈∈∈ RVE RE V× VVGarcía-Durán等人（2018）通过利用递归神经网络来学习关系类型的时间感知表示，扩展了TransE和DistMult。TCompLEx（Lacroix etal. ，2020）基于4阶张量的典型分解随时间扩展了ComplEx。知识图上的时态问答。时间问答的研究大多是在阅读理解的背景ForecastQA（Jin et al. ，2021）将预测问题制定为多项选择问题回答任务，其中文章和问题都包括时间戳。最近发布的TORQUE（Ning et al. （2020年）一种数据集，其探索文本段落中描述的事件之间的时间排序关系。另一个方向是对知识库（KB）的时间问题的回答（Jia et al. ，2018 b，a），其从KB检索 时 间 信 息 。 TempQuestions （ Jia et al. ，2018a）是专门针对时间QA的KGQA数据集。基于这个数据集，Jia et al.（2018 b）设计了一种方法，将每个问题分解并重写为非时间子问题和时间子问题。在这里，TempQuestions中使用的KG后来，Jia等人（2021）提出了用于回 答 复 杂 时 间 问 题 的 第 一 个 端 到 端 系 统（EXAQT），该系统利用了KG中与问题相关的紧凑子图和关系图卷积网络（Schlichtkrull等人）。#20182;，预测答案。所有以前的数据集只包括有限数量的时间问题。最近，一个更大的时间KGQA数据集C RON Q UES-TIONS（Saxena et al. ，2021年）发布，其中包括时间问题和所有边缘具有时间注释的时间KG 基于 该 数 据 集 ， CronKGQA 模 型 （ Saxena etal. ，2021年），利用时间KG嵌入的最新进展，并实现优于所有基线的性能。3方法在这一部分中，我们首先给出了时态知识图上时态问题回答然后，我们介绍了解决这个问题的框架，它将时间敏感性融入到KG嵌入和答案推理中。最后，我们详细描述了我们提出的系统的关键模块。3.1问题定义和框架时态KG问答的目的是从给定的时态KGG=（，T）中找出一个包含隐式时态表达式的自由文本时态问题Q的答案，其答案是实体或实体集或者时间戳集合T的时间戳。这里是一组边，是关系的集合。来自四元组（s，r，[ts，te]，o）的边指示在时间间隔[ts，te]（ts te<和te/s T）期间主体实体s和对象实体o之间的关系r成立。框架.我们的框架采用KG嵌入和预训练的语言模型来执行时态KGQA。图2显示了由两个模块组成的架构：1）时间感知TKG编码器; 2）时间敏感的问题回答。时间感知TKG编码器通过添加辅助时间顺序学习任务来考虑四阶来扩展现有TKG嵌入方法时间敏感问答模块首先进行邻近图提取以减少问题答案的搜索空间，然后进行答案/时间预测的联合训练和时间敏感对比学习以增强模型捕获自由文本问题中时间信号的能力。接下来，我们将详细介绍这两个模块。3.2时间感知KG编码器我们首先简要回顾了基于TCompLEx的时间感知KG嵌入方法（Lacroix et al. ，2020），因为它已被用于（Saxena et al. ，2021年），并显示出竞争力的表现。接下来，我们展示了如何在时态KG上执行TCompLEx，然后分析了它在TKGQA中的弱点，特别是对于复杂问题，并通过在TKG嵌入中引入辅助时间顺序学习任务来进一步克服这种弱点。TKG的TCompLEx。TCompLEx是Complex的一个扩展，它考虑了时间信息，不仅将实体和关系编码为复向量，而且将每个时间戳映射到复向量。为了在我们的问题定义中对时间KG执行TCompLEx，我们首先通过以下方式将每个四元组重新公式化为一组新的四元组：（s，r，[t s，t e]，o）={（s，r，t，o）|t s≤ t ≤ t e}（1）设es，er，et，eoCd分别是s，r，t，o的复值嵌入。然后，TCom-+v：mala2277获取更多论文⟨⟩≤ ≤ −∈我我 ∈图2：我们的TSQA模型的架构（左：时间感知TKG编码器;右：时间敏感TKG- QA）。pLEx对每个四元组（s，r，t，o）进行评分，S（s，r，o，t）=Re（εes，er，eo，etε）（2）其中Re（.）表示复向量的实部，表示多线性积。最后，我们使用一个类似于有效TCompLEx的负采样损失（t1，t2，· · ·，t|不|）和t i0，λc>0是在不同损耗之间进行权衡+v：mala2277获取更多论文4实验在本节中，我们进行实验，以评估我们提出的TKG-QA方法TSQA的有效性我们的实验结果表明，我们的方法获得了显着的改进，基线模型。类别火车Dev测试简单实体90,6517,7457,812简单时间61,4715,1975,046之前/之后23,8691,9822,151第一个/最后118,55611,19811,159时间加入55,4533,8783,832实体应答225,67219,36219,524时间回答124,32810,63810,476总350,00030,00030,000表1：CRONQUESTIONS数据集统计数据以及不同类型的所需推理和答案类型的问题数量。4.1实验装置数据CRON QUESTIONS2是目前已知的最大的时态KGQA数据集，由两部分组成：一个带有时态注释的KG，以及一组需要时态推理的自由文本问题这个Tem poral KG具有125k个实体和328k个事实（四元组），同时给出410k个问题的集合。事实在边缘有时间跨度。这些时间跨度或时间戳被离散化为年。该数据集由问题组成，这些问题可以根据其答案类型分为两组：答案是KG中的实体的实体问题作者还将这些问题分为表1提供了不同类别的问题数量。复杂的问题需要复杂的时间推理，它利用了多个事实和这些事实的时间顺序。评价范围包括Hits@1和Hits@10，这是关于C RON-Q UESTIONS 的标准评估指标（Saxena et al. ，2021年）。超参数设置。我们通过设置超参数来训练TSQA模型：学习率={1 e−4，2 e−5，1 e−5}，λo={0.5，1.0，2.0，3.0，5.0}和λc={0.5，1.0，2.0，3.0，5.0}，并拾取2https://github.com/apoorvumang/CronKGQA由总体Hits@1指标设置的开发上的最佳超参数 我 们 的 模 型 由 PyTorch 实 现 ， 并 使 用NVIDIA Tesla V100 GPU进行训练。基线。我们选择了几个最近的SOTA TKG- QA模型作为我们的基线，如下所示：• EmbedKGQA（Saxena et al. ，2020）是将KG嵌入用于多跳KGQA任务的第一种方法 。 它 使 用 ComplEx （ Trouillon et al. ，2016）嵌入，并且只能处理非时间KG和单个实体问题。• T-EaE-添加/替换（Saxena et al. ，2021）是KG 增 强 语 言 模 型 EaE （ Févry et al. ，2020），其将实体知识整合到基于转换器的语言模型中，并已用于TKG-QA（Saxena etal. ，2020）。T-EaE-add在问题中标记了所有接地实体和时间跨度，T-EaE-replace用实体/时间嵌入替换BERT嵌入，而不是用令牌嵌入添加它们。• CronKGQA（Saxena et al. ，2021）将Em-bedKGQA扩展到时态QA任务，利用时态KG嵌入来回答时态问题.这是CRON QUESTIONS上的当前SOTA模型。4.2主要结果表 2 比 较 了 不 同 TKG-QA 方 法 的 Hits@1 和Hits@10。从这个表中，我们观察到：1）我们提出的TSQA在Hits@1和Hits@10的所有类型的问题2）与SOTA模型相比，性能的改善是显著的。TSQA优于SOTA结果，在复杂问题上有82%以上的Hits@1相对改进（32%的绝对 错 误 减 少 ） ， 在 简 单 问 题 上 有 21% 的Hits@10相对改进。这些结果证明了我们提出的TSQA在时态知识图上的问题回答上的优异性能，特别是对于复杂的时态推理。我们还将我们的方法与表3中不同子类型问题的Hits@1基线进行了比较。从这个表中，我们观察到：在复杂的问题上，我们提出的TSQA模型显着优于所有基线模型。对“前/后”、“首/末”和“时间关节”的相对改善分别达75%、94%和56%前两种问题比较多+v：mala2277获取更多论文模型点击率@1点击率@10题型答案类型题型答案类型整体复杂简单实体时间整体复杂简单实体时间EmbedKGQA0.2880.2860.2900.4110.0570.6720.6320.7250.8500.341T-EaE-add0.2780.2570.3060.3130.2130.6630.6140.7290.6620.665T-EaE-替换0.2880.2570.3290.3180.2310.6780.6230.7530.6680.698CronKGQA0.6470.3920.9870.6990.5490.8840.8020.9920.8980.857TSQA0.8310.7130.9870.8290.8360.9800.9680.9970.9810.978表2：不同TKG-QA模型在CRON QUESTIONS数据集上的比较。题型之前后第一最后时间加入简单实体简单时间EmbedKGQA0.1990.3240.2230.4210.087T-EaE-add0.2560.2850.1750.2960.321T-EaE-替换0.2560.2880.1680.3180.346CronKGQA0.2880.3710.5110.9880.985TSQA0.5040.7210.7990.9880.987表3：不同型号的比较问题类型为Hits@1。具有挑战性，因为它们需要更好地理解所讨论的时间表达式。我们的方法是更好地捕捉这种时间敏感性的变化，在时间的话，从而导致很大的改善。此外，对于简单的问题，我们的方法仍然保持竞争力的性能相比，SOTA模型。4.3消融研究为了理解我们的方法中所提出的模块的贡献，我们通过从我们提出的TSQA中顺序地移除以下 组 件 来 执 行 消 融 研 究 ： 时 间 对 比 学 习（TC）、时间感知TKG嵌入（TKE）、实体相邻图提取器（NG）和表4中的问题答案的时间估计（TE）。注意，移除TKE意味着我们用T-CompLEx替换TKE作为KG编码器，并且移除NG意味着我们在整个知识图上执行QA。通过比较该表的两个相邻行，我们可以分别推断TC、TKE、NG和TE的贡献：1）所有这些模块在Hits@1方面提高了整体性能，特别是对于复杂问题; 2）通过比较最后两个相邻行，所提出的时间估计带来了显著的Hits@1改进（14.5%），因为该模块提供了潜在时间嵌入，这不仅增强了时间戳估计和答案估计的交互，而且还为寻找答案实体提供了一个很好的锚点，这对于回答复杂问题非常关键; 3）实体相邻图提取比通过比较行“TC-TKE”和“TC-TKE-NG”来确定复杂问题这是因为复杂的问题通常需要模型来捕获问题的时间词中隐含的时间顺序信息。这两个模块通过增加明确的时间顺序约束来增强时间顺序学习。模型点击率@1题型答案类型整体复杂简单实体时间TSQA0.8310.7130.9870.8290.836-TC0.8210.6960.9840.8200.822-TC-TKE0.8160.6880.9850.8160.818-TC-TKE-NG0.7570.5830.9860.7970.687-TC-TKE-NG-TE0.6610.4120.9890.7190.556表4：消融研究结果。“-” means to remove a5结论本文提出了一种基于时间知识图的时间敏感问题回答框架。为了便于推理的时间和关系的事实在多个事实，我们提出了一个时间估计组件来推断未说明的时间戳的问题。为了进一步提高模型通过对实体相邻子图的答案搜索空间进行剪枝，TSQA模型显著提高了对需要多个事实推理的复杂时态问题的求解性能，并大大优于现有技术.+v：mala2277获取更多论文确认本工作得到国家重点研究发展计划项目（批准号：）的资助. 2020AAA0108600。引用安托万·博德斯，尼古拉斯·卡尼尔，阿尔贝托·加西亚-杜兰，杰森·韦斯顿和奥克萨娜·亚赫年科。2013.为多关系数据建模转换嵌入。神经信息处理系统的进展，26。Shib Sankar Dasgupta ， Swayambhu Nath Ray 和Partha Talukdar。2018. Hyte：基于超平面的时间感知知识图嵌入。在2018年自然语言处理经验方法会议论文集，第2001-2011页。TimDettmers ， PasqualeMinervini ， PontusStenetorp，and Sebastian Riedel. 2018.卷积2d知识图嵌入。第32届AAAI人工智能。Bhuwan Dhingra ， Jeremy R Cole ， Julian MartinEisenschlos，Daniel Gillick，Jacob Eisenstein，and William W Cohen. 2021.作为时间知识库的时间 感 知 语 言 模 型 。 arXiv 预 印 本 arXiv ：2106.15110。Thibault Févry ， Livio Baldini Soares ， NicholasFitzGerald，EunsolChoi，andTomKwiatkowski.2020.实体作为专家：具有实体监督的 稀 疏 内 存 访 问 。 arXiv 预 印 本 arXiv ：2004.07202。AlbertoGarcía-Durán，AlbertijanDumancic'，andMathias Niepert.2018.学习序列编码器的时间知识图完成。arXiv预印本arXiv：1809.03202。Rishab Goel ， Seyed Meidong Kazemi ， MarcusBrubaker，and Pascal Poupart.2020.时态知识图完备的历时嵌入。在AAAI人工智能会议上。韩如君，向仁，南云鹏。2021. Econet：有效的持续预训练语言模型，用于事件时间推理。2021年自然语言处理经验方法会议论文集，第5367小黄，张静媛，李定成，李平。2019.基于知识图嵌入的问答系统。第十二届ACM Web搜索和数据挖掘国际会议论文集，第105纪少雄，潘世瑞，埃里克·坎布里亚，佩卡·马蒂宁，S·于·菲利普。2021.知识图的表示、获取与应用. IEEE神经网络与学习系统汇刊。ZhenJia，Abdalghani Abujabal，Rishiraj Saha Roy，Jan-nik Strötgen ， and Gerhard Weikum. 2018 年a。Tem-pQuestions：时间问题回答的基准。在2018年网络会议的配套会议记录中，第1057Zhen Jia ， Abdalghani Abujabal ， Rishiraj SahaRoy，Jan-nikStrötgen，andGerhardWeikum.2018年b。Tequila：基于知识库的时间问题回答第27届ACM信息与知识管理国际会议论文集，第1807Zhen Jia，Soumajit Pramanik，Rishiraj Saha Roy，and Gerhard Weikum. 2021.知识图谱上的复杂时态问题解答。第30届ACM信息知识管理，第792Tingsong Jiang，Tianyu Liu，Tao Ge，Lei Sha，Baobao Chang，Sujian Li，and Zhifang Sui. 2016.时间感知知识图的完成。在COLING 2016年的会议上，第26届国际计算语言学会议：技术论文，第1715Woojeong Jin，Rahul Khanna，Suji Kim，Dong-HoLee，Fred Morstatter，Aram Galstyan，and XiangRen.2021. Forecastqa：一个针对时间文本数据的事件预测在第59届计算语言学协会年会和第11届自然语言处理国际联合会议（第1卷：长文）的筹备工作中，第4636- 4650页拉克鲁瓦，纪尧姆·奥博津斯基，尼科·拉斯·尼耶.2020.张量分解用于时态知识库的完备化. arXiv预印本arXiv：2004.04926。Qiang Ning，Hao Wu，Rujun Han，Nanyun Peng，Matt Gardner ， and Dan Roth. 2020. Torque ： Areading comprehension dataset of temporal orderingquestions. arXiv预印本arXiv：2005.00242。ApoorvSaxenaSoumenChakrabarti 和 ParthaTalukdar。2021.基于时间知识图的问题回答。arXiv预印本arXiv：2106.01515。Apoorv Saxena Aditay Tripathi 和 Partha Taluk-dar2020.使用知识库嵌入改进知识图上的多跳问题回答。在计算语言学协会第58届年会的会议记录中，第4498Michael Schlichtkrull ， Thomas N Kipf ， PeterBloem，Rianne Van Den Berg，Ivan Titov，andMax Welling.2018.用图卷积网络对关系数据建模。在欧洲语义网会议上，第593-607页。斯普林格。+v：mala2277获取更多论文Chao Shang ， Peng Qi ， Guangtao Wang ， JingHuang，Youzheng Wu，and Bowen Zhou. 2021.开放式的面向问答的时态关系抽取。第三届自动知识库建设。商超、唐云、黄晶、毕金波、何Xi奥东、周博文.2019.端到端结构感知卷积网络，用于知识库完善。在AAAI人工智能。孙志清，邓志红，聂建云，唐健。2019. Rotate：在复杂空间中通过关系旋转嵌入知识图. arXiv预印本arXiv：1902.10197。Yun Tang ， Jing Huang ， Guangtao Wang ，Xiaodong He，and Bowen Zhou. 2019. 用于知识图嵌入的图上下文建模的正交关系变换。arXiv预印本arXiv：1911.04910。ThéoTrouillon ， JohannesWelbl ， SebastianRiedel，ÉricGaussier，andGuillaumeBouchard.2016.复杂嵌入用于简单链接预测。在机器学习国际会议上，第2071PMLR。Ashish Vaswani ， Noam Shazeer ， Niki Parmar ，Jakob Uszkoreit，Llion Jones，Aidan N Gomez，Jakukasz Kaiser，and Illia Polosukhin. 2017.注意力就是你所需要的。神经信息处理系统的进展，第5998Jiapeng Wu，Meng Cao，Jackie Chi Kit Cheung，and William L Hamilton. 2020. Temp：用于时态知 识 图 完 成 的 时 态 消 息 传 递 。 arXiv 预 印 本arXiv：2010.03526。杨碧山，尹文涛，何晓东，高建峰，邓立。201