工程师科学博士学院博士学位论文专业：计算机科学与应用由Magnet团队、Cristal实验室和Inria Lille -北欧研究中心编写翁卡尔·潘迪特整合上下文和常识信息以实现自动话语理解对时间关系分类和桥接回指症解决的贡献用于自动语音理解的上下文和常识信息的集成对时间关系分类和联想回指解析的贡献在教授的指导马克·托马西和帕斯卡尔·丹尼斯和教授Liva Ralaivola2021年9月23日在阿斯克新城公开支持陪审团由以下人员组成伊万娜·克鲁伊夫-科尔巴约娃德国萨尔大学报告员M. 吴文生德克萨斯大学达拉斯分校报告员M. 西尔万·萨尔瓦多里尔大学评审团主席M. 菲利普·穆勒保罗·萨巴蒂尔审查员娜塔莉亚·格拉巴尔女士里尔大学审查员M.帕斯卡·丹尼斯因里亚里尔框架M. Liva RalaivolaCriteo人工智能实验室框架M. 马克·托马西里尔大学导演致我父母确认书我很幸运有两位优秀的顾问，Pascal Denis和Liva Ralaivola。他们通过在我们每周的互动中提出有趣的问题和提供有价值的建议，塑造了我的研究者没有他们的指导，这篇论文是不可能产生的我还借此机会感谢加尔各答印度统计研究所的UtpalGarain，我以前曾与他一起加入我的博士学位。他是一个善良和鼓励的人谁信任我，给了我机会在他的NLP实验室工作。在他的实验室学到的东西是一个主要的贡献，获得博士学位。位置。尽管由于COVID19大流行，很难与同行的再研究者互动，但我很幸运能在在线ACL会议上见到侯玉芳与她的进一步互动富有成果，信息丰富。我感谢她进行了这些有趣的讨论，并分享了她的知识。我向来自Annasaheb Patil Prashala、Solpour、Siddheshwar Prashala、Solpour、Sangmeshwar 学 院 、 Solpour 、 Shri Gurugobind Singhji 工 程 技 术 学 院 、 Nanded 、 IITKanpur、Kanpur、加尔各答印度统计研究所和里尔大学的所有教师表示感谢。他们的教导直接或间接地导致了这篇论文。我非常感谢MAGNET 的所有人， 特别是Arijus Pleska、Nathalie Vauquier、CarlosZubiaga 、 William de Vazelhes 、 Mathieu Dehouck 、 Mariana Vargas Vieyra 、CesarSabater、Brij Mohan Lal、Remi Gilleron和Marc Tommasi。他们让我在里尔的住宿非常有趣和愉快。 我向马修、娜塔莉和雷米表示衷心的感谢，感谢他们帮助我维持了一个屋顶!我 感 谢 我 在 印 度 的 所 有 朋 友 ， 特 别 是 N 。 Prakash Rao 、 Shivraj Patil 、 SanketDeshmukh 、 Mahesh Bagewadi 、 Swapnil Pede 、 Omkar Gune 、 Vinay Narayane 、Ravikant Patil 、 Abhishek Chakrabarty 、 Akshay Chaturvedi 、 Nishigandha Patil 、Sanket Kalamkar 、 Shraddha Pandey、 Vivek G、 A Krishna Phaneendra 、RaghvendraK、Sachin Kadam、Mathew Manuel、Pranam K、Abhijit Bahirat、Gunjan Deotale和我在IIT Kanpur的所有亲爱的朋友。虽然他们没有直接贡献的论文，有他们在生活中一直是一个伟大的乐趣。iv.我非常感谢我的家人不断的爱和支持。Pranali，我的妻子，一直令人难以置信，尤其是在大流行的挑战时期。在过去的两年里，她鼓励和支持我的每一步研究。我也很感谢我深爱的祖父母，和他们交谈总是让我充满热情和积极。我感谢我的妹妹，Aparna，是这样一个可爱的兄弟姐妹。我特别感谢我的父母。我永远感谢他们为我们更美好的未来编织他们的整个生活。 你对我的爱和信任推动我走到这一步。虽然这两句话不足以表达你的牺牲或我的感激之情。我只想说，爱你，谢谢你，Aai-Baba!我相信任何工作的结果也取决于工作者无法控制的因素。可能有许多因素是我无法控制的，但它们在某种程度上积极地影响了论文的最终成功。我知道有时间限制或无时间限制的实体，有意或无意的事件，有直接或间接的线索，这篇文章。谢谢大家!摘要建立这些任务的解决首先需要事件和实体提及的有效表示。 本论文直接解决了这一问题，即设计新的方法来获得更有表现力的事件和提及的表示。需要上下文和常识信息来获得这样的表示。然而，获取它们并将它们注入到学习模型中是一项困难的任务，因为一方面，在较大的段落或文档中区分有用的上下文是复杂的，并且在计算水平上处理较大的上下文也是同样困难的。另一方面，以人类的方式获取常识信息仍然是一个开放的研究问题。 以前基于事件和提及表示的手动编码的尝试不足以获取上下文信息。此外，大多数方法不足以捕获常识信息，因为它们再次依赖于手动方法来从诸如字典、Web或知识图之类的源获取该信息在我们的工作中，我们放弃了这些获得事件表征和提及的低效方法首先，我们通过提供与事件相邻的单词的n-gram来获得上下文信息以改进事件的表示。我们还使用基于字符的事件表示来捕获有关时间和事件词汇头内部结构外观的附加信息 我们还通过学习这些事件表示上的相互作用来进一步获得事件对的丰富表示。我们发现，与仅依赖于事件的词汇头的嵌入的方法相比，我们改进的事件表示显示出实质性的收益。此外，我们的研究六d’ablation prouve l’efficacité de l’apprentissage d’interactions complexes ainsi quele rôle然后，我们探索了哪些转换语言模型（如BERT）被证明更善于捕捉上下文。我们特别研究了联想回指，以了解这些模型捕捉这种推理关系的能力 本研究的目的是在设计更好的转换模型以进一步改善提及的表示时，利用这些知识做出明智的决策。 为了做到这一点，我们首先单独检查模型的内部结构，然后检查整个模型。 此外，我们的定性分析表明，BERT能够捕获基本的常识信息，但不能捕获复杂的信息，这是解决联想回指所必需的。最后，我们结合上下文和常识信息，以进一步改善事件和提及的表示。 我们在知识图的帮助下注入常识信息，用于时间关系分类和关联回指解析任务。我们获取此类知识的方法依赖于将学习过的图节点嵌入到知识图中，以捕获图的全局拓扑，从而获得更多的全局外部信息。具体地，我们将基于知识图的表示和学习的上下文表示与纯文本嵌入相结合，以产生更丰富的知识表示。 我们在ISNotes、BASHI和ARRAU等标准数据集上评估了我们的方法，以解决联想回指，并在MATRES上评估了我们的方法，以分类时间关系。与纯文本表示相比，我们在这两个任务上都看到了显著的性能提升，这证明了我们的方法的有效性。摘要在事件之间建立时间顺序和解决桥接参照对自动话语理解至关重要。 因此，有效的事件和提及表征对于准确地解决时间关系分类和桥接解决至关重要。本文正是针对这一点，并设计了新的方法，以获得更有表现力的事件和提及的表示。需要上下文和常识信息来获得这种有效的表示。然而，获取和注入它是一项具有挑战性的任务，因为单靠一只手很难将有用的上下文本身与更大的段落或文档区分开来，而且同样难以计算地处理更大的上下文。另一方面，像人类获得信息一样获得常识仍然是一个开放的研究问题。 手工设计的事件和提及表示的早期尝试不足以获取相关信息。此外，大多数方法都不足以捕获常识信息，因为它们又回到了从字典、Web或知识图表等来源获取此类信息的手工挑选方法。在我们的工作中，我们摆脱了这些获取事件和提及表示的无效方法。首先，我们通过证明事件的n个邻近词来获得改进事件表示的我们还使用事件的基于字符的表示来从事件标题词的内部结构中捕获附加的基调和方面信息我们还更进一步，学习这些事件表示的交互，以获得丰富的事件对表示。我们发现，我们改进的事件表示法比仅与事件头嵌入相关的方法有了实质性的改进。 此外，我们的消融研究证明了复杂交互学习的有效性，以及基于字符的表征的作用。接下来，我们将探索转换语言模型（例如BERT），其被证明在捕获上下文中更好。 我们专门研究桥接推理，以了解这些模型捕捉桥接推理的能力。本研究的目的是利用这些理解，在设计更好的变压器模型以进一步改进提及的表示时做出明智的决策。为此，我们分别考察模型的内部结构，然后考察整个模型。研究表明，预训练的模型在捕获桥接信息方面出奇地好，这些能力高度依赖于上下文，因为它们在扭曲的上下文中表现不佳。此外，我们的定性分析表明，BERT能够捕获基本的通信。八信息，但无法捕获桥接解决方案所需的复杂信息。最后，我们结合了网络和常识信息，以进一步改进事件和提及的表示。我们使用知识图注入常识信息，用于颞叶关系分类和桥接回指症解决任务。我们采用一种原则性的方法来获取这样的知识，其中我们使用在知识图上学习的图节点嵌入来捕获图的总体拓扑，作为获得整体外部信息的结果。具体地说，我们将基于知识图的表示和学习到的表示与纯文本嵌入相结合，以产生知识感知的表示。我们在ISNotes、BASHI和ARRAU等标准数据集上评估了我们的方法，以桥接回指症解决方案和MATRES，用于时间关系分类。 我们在两个任务中观察到纯文本表示的性能显著提高，证明了我们的方法的有效性。内容表图13列表表列表xv1引言11.1自动语音理解11.2时间处理和桥接解决方案31.3事件和提及表示51.4研究问题和贡献71.5论文组织102背景112.1任务。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...122.1.1时间关系分类。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...122.1.1.1定义。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...122.1.1.2监督学习方法... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...162.1.1.3公司。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...172.1.1.4评估。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...212.1.2桥接回指解决方案。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...242.1.2.1定义。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...242.1.2.2监督学习方法... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...262.1.2.3公司。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...272.1.2.4评估。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...282.2人工神经网络。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...282.3表征学习。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...322.4单词表示。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...352.4.1分布式表示。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...362.4.1.1Word2vec.... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...... ... ...372.4.1.2全球矢量（手套）。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...40x内容表2.4.1.3快速文本412.4.2上下文词表示422.4.2.1ELMO422.4.2.2伯特432.5复合词表示482.5.1固定组合函数492.5.2学习合成函数502.6知识图和表示512.6.1知识图表512.6.1.1WordNet532.6.1.2第53章第一次见面2.6.2图形节点嵌入562.6.2.1统一框架572.6.2.2基于矩阵的因式分解方法582.6.2.3基于随机行走的方法592.7摘要603相关工作613.1时间关系分类613.1.1关于事件表示的工作623.1.1.1手动设计的表示623.1.1.2自动表示学习633.1.2关于模型和推理的工作663.1.3摘要683.2第69号决议3.2.1关于提及表示的工作703.2.1.1手动设计的表示703.2.1.2自动表示学习733.2.2关于模型和推理的工作743.2.3摘要754学习丰富的事件表示和交互774.1导言774.2有效事件对表示78x内容表4.3方法814.3.1表征学习814.3.2互动学习824.4实验834.4.1数据集和评估834.4.2培训详情834.4.3基线系统844.4.4消融设置854.5结果854.5.1与基线系统854.5.2与最先进的86相比4.6消融研究874.7结论885转换器语言模型中桥接推理的探索5.1导言925.2探测变压器模型945.2.1相关信息调查955.2.2测试方法955.3方法论965.4调查个人注意力975.4.1桥接信号975.4.2实验设置985.4.3仅使用Ana-Ante句子的结果985.4.4所有句子的结果1005.4.5讨论1005.5填补空白：LM作为桥接回指症解决方案1025.5.1Cloze测试1025.5.2实验设置1035.5.3结果和讨论1035.5.3.1范围103候选人的结果5.5.3.2Ana-Ante距离104的结果5.6上下文的重要性特写镜头测试105x内容表5.6.1实验设置1055.6.2不同背景下的结果1065.7错误分析：Cloze测试1075.8结论108十内容表6集成知识图嵌入以改进表示1096.1引言。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...1106.2常识知识。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...1116.2.1对有效代表性的性。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 1146.2.2整合挑战。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...1166.3我们的方法。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...1186.3.1知识图：WordNet和TEMPROB。... ... ... ... ... ... ... ... ... ... ... ... ... ... 1186.3.1.1WordNet。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...... ... ... ...1196.3.1.2TEMPROB. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...121标准化：简单规则和引理。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 1226.3.3意义消歧：害羞和平均化。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 1236.3.4知识缺失：零向量。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 1246.4桥梁解决的改进提及表示。... ... ... ... ... ... ... ... ... ... 1246.4.1知识感知提及表示。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 1244.2排名模型。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...1256.4.3实验设置。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...1266.4.4结果。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...1286.4.5误差分析。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...1326.4.5.1提及规范化和意义消除歧义。... ... ... ... ... 1326.4.5.2回指前向预测。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 1326.5时间关系分类的改进事件表示。... ... ... ... ... 1346.5.1知识感知事件表示... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 1355.2神经模型。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...1366.5.2.1限制学习。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 1366.5.2.2 ILP推断。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...1386.5实验设置。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...1396.5结 141十内容表果。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...6.5.5讨论。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...... ... ... ... ... ... ...1446.6结论。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...1457结论147参考文献151图列表2.1样本文本上的时间关系标识。............................................................................................... 142.2时间关系上的传递性规则示例2.3三个等价但不同的时间图2.4两种评估方案：参考图K和预测图G232.5将分辨率桥接到示例文本。................................................................................................... 252.6人工神经网络。....................................................................................................................... 292.7Word2vec：连续字数袋（CBOW）和跳过语法。........................................................... 382.8分层Softmax。....................................................................................................................... 402.9BERT架构442.10 编码器的内部组件452.11 WordNet的一个子集，与第52册的四种感觉有关2.12 图节点嵌入概述：一个概念编码器-解码器框架-工作。.............................................564.1我们提议的模型81的体系结构5.1在预训练的BERT基封装模型99中桥接信号表列表2.1艾伦2.2TimeML时间关系和相应的Allen2.3时间关系分类：公司详细信息192.4模棱两可，就像罕见的关系映射到粗糙的关系一样2.5时间关系分类：使用两种不同方案的评估结果 二十三2.6过渡回指决议：Corpora详细信息272.7TEMPROB54的一部分4.1基线和最先进系统的结果864.2消融研究885.1为杰出领导人建立容易和困难的桥梁关系的例子5.2为回指104选择先行词的结果5.3回指先行距离准确度1055.4选择具有不同类型上下文的前件的准确性1066.1我们的实验结果和最先进的模型1296.2WordNet132中来自数据集的引用数量和缺失比例6.3提及映射和提及含义选择的几个例子..........................................................................1336.4MATRES数据集中存在的端点关系的合成规则。............................................................. 1386.5对母亲的实验结果。............................................................................................................. 142
我的内容管理
展开
