跨语言事件抽取的模型启动：提高触发和参数检测的方法在零镜头设置中的效果

+v：mala2255获取更多论文用于跨语言事件抽取的语言模型启动Steven Fincke，Shantanu Agarwal，Scott Miller，Elizabeth Boschee南加州大学信息科学研究所sfincke@isi.edu，shantanu@isi.edu，smiller@isi.edu，boschee@isi.edu摘要我们提出了一种新的，语言不可知论的方法来通过启动，我们根据在运行时对模型提出的问题，以不同的方式增加对Transformer堆栈语言模型的输入例如，如果模型被要求识别被抗议的触发器的参数，我们将把该触发器作为输入的一部分提供给语言模型，允许它为候选参数产生不同的表示，而不是在同一个句子中被要求识别触发器arrest else- where的参数。我们表明，通过使语言模型能够更好地补偿稀疏和嘈杂的训练数据的不足，我们的方法在零镜头跨语言设置中显著提高了触发和参数检测以及分类。1介绍最近的进展，在完全预训练的跨语言语言模型，例如Conneau等人。（2020），已经革新了从比以前可能的更广泛的语言集合中提取信息的方法。对于某些信息提取（IE）任务，找到各种语言的注释数据集并不罕见。例如，命名符号既具有广泛的实用性，又可以相对便宜且容易地由非专家执行，因此，可以找到从西班牙语到波兰语到波斯语到印度尼西亚语的注释命名实体数据集。相比之下，事件提取任务的数据集要少得多，而且间隔更远（即使是英语）。为了从大多数语言中提取事件，关键是能够使用来自一种语言的数据训练模型，并将这些模型部署到另一种语言中。预训练的跨语言语言模型可以承担一些这种负担。如果语言模型的用于逮捕（英语）的向量表示接近其用于anholdelsen（丹麦语）的表示，则在英语句子“They protested his arrest“上Copyright © 2021 ， Association for the Advancement ofArtificial Intelligence（www.aaai.org）. All rights reserved.1这三名男子于1月29日被捕。（丹麦文）近 年 来 的 一 个 主要 进 展 是 从 静 态 词 嵌 入 ， 例如word2vec（Mikolov et al. 2013），其中，无论单词出现在什么上下文中，单词的表示都是恒定的。2018）和BERT（Devlin et al.2019），其中单词的表示取决于其周围的上下文。使用语境化的语言模型，在“他们抗议他的逮捕“的上下文中对逮捕的表示然而，即使有像BERT这样强大的机制，在“Activistsprotested his arrest“中，活动家的表示结构化NLP任务的最新进展，如命名实体识别（Li etal.2019 a），关系提取（Liet al.2019 b）和共指消解（Wu et al.2020），已经注意到这一点并做出相应的回应，通过提供修改句子所处上下文的提示这种向模型注入特定任务指导的方法在低资源环境中特别有益（Scao和Rush2021）。回到事件提取的任务，Du和Cardie（2020）展示了在该领域应用类似原理的一些前景，将事件提取重新定义为问答问题。 他们最好的结果来自于使用自然的英语问题作为他们整体模型的提示，例如，问“哪个是被捕的特工？- 警察逮捕了小偷. ” However, it is notclear that this English- centric在这项工作中，我们提出了一个新的，语言无关的机制IE-PRIME，它提供了特定于任务的方向，在运行时的事件提取模型。我们表明，它显著优于先前的论元提取工作，包括Du和Cardie（2020），并且它在低资源和零镜头跨语言设置中对于触发和论元检测和分类特别2相关工作事件抽取是一个研究得很好的课题。最近在单语环境下最有效的一些方法-arXiv：2109.12383v1 [cs.CL] 2021年9月+v：mala2255获取更多论文包括Wadden等人。（2019）（DyGIE++），它使用跨三个统一子任务（名称，关系和事件提取）的上下文化跨度表示将局部和全局上下文结合起来，Lin等人。（2020）（OneIE），它使用联合神经框架从输入句子中提取全局最优的IE结果作为图形。我们的具体方法从问答工作中汲取灵感。尽管最近的几部作品也受到了同样的启发，（例如杜和卡迪（2020），冯，袁和张（2020），（刘等人2020）），这些方法中的许多使用自然语言问题，因此并不适合跨语言应用程序。我们的系统还被训练为从给定的问题上下文中固有地提取多个以同时识别ATTACK事件的多于一个的VICTIM这是对以前QA启发的事件提取框架的重要改进，以前的QA启发的事件提取框架训练模型仅提取单个答案跨度，并且通过基于概率截止进行选择来在解码时提取多个跨度;我们的方法避免了训练和解码行为之间的这种差异。我们在单语和跨语言背景下与相关的先前工作进行比较，并在所有条件下显示出参数提取的改进性能，并在跨语言背景下显示出参数提取的改进性能这项工作的主要重点是跨语言的事件提取。然而，最近的跨语言事件提取工作（例如Subburathinam等人（ 2019 ） ， Ahmad ， Peng 和 Chang （ 2021 ） ， 以 及Nguyen和Nguyen（2021））仅关注事件参数角色标记任务（忽略触发检测），并要求预先生成的实体提及作为候选参数。此外，所有这些方法都依赖于两种语言的结构特征，包括但不限于依赖关系解析。相比之下，我们的方法不需要在目标语言中提取任何语言结构。我们的参数提取方法还解决了候选人识别的问题，除了标记，这是在现实世界中的应用程序的关键。我们报告了上述论文执行的有限任务的结果，显示了对报告的最新技术水平的改进，以及完整的端到端任务。3方法在 本 节 中 ， 我 们 描 述 了 我 们 的 基 线 系 统 （ IE-BASELINE）和该系统的扩展（IE-PRIME），它提供了显着的改进。这两个系统都被设计成完全与语言无关的，语言模型支持的任何语言的文档都可以用作训练或测试数据，因此可以应用于单语或跨语言环境。IE-BASELINE我们的基线系统由两个训练组件组成，一个用于事件触发器提取，一个用于参数附加。触发检测和分类是使用简单的内-外（BIO）序列标记架构进行的，该架构由Transformer堆栈顶部的单个线性分类层组成。图1：基线参数附件架构。我们的基线参数提取系统（如图所示）步骤1）将所提议的事件触发器作为其输入，并且从输入语句中识别变元跨度并且用变元角色来标记它们。该系统通过使用bi-LSTM在句子标记上生成BIO参数标签来产生参数，输入到单个线性层，然后输入到基于transformer的语言模型上的基于CRF的损失函数2每个标记的输入是标记本身的Transformer输出、触发器标记的Transformer输出和事件类型的嵌入的串联;在我们的默认配置中，不使用输入实体信息。当语言模型如果特征性地被分成特征性的和特征性的，则各部分的输出矢量的平均值表示整体。3所有模型微调语言模型的所有层，只使用最后一层的输出。IE-PRIME我们提出的系统，IE-PRIME的关键是我们首先描述我们如何这样做的任务参数提取。我们的基线参数提取系统被设计为输入一个单一的触发器和一个句子。然后，它生成一组完整的参数范围和与该触发器相关的角色。它为每个提议的事件触发器重复此过程。我们探索的第一种启动方式就是利用这种触发机制。具体来说，我们通过将触发器前置到所考虑的句子中来增加语言模型的输入（通过适合于所使用的语言模型的句子分隔标记从句子中分离出来，例如[SEP]用于BERT）。因此，如果使用BERT训练的模型正在寻找抗议的参数，则语言模型将2在torchcrf中实现，https：crf.readthedocs.io/en/stable/3我们还探索了其他策略，例如：只取第一个向量，但取平均值效果最好。+v：mala2255获取更多论文收到以下输入：[CLS]抗议[SEP]人群抗议对IldarDadin的定罪[SEP]。然而，在搜索定罪的论据时，使用了以下输入：[CLS]定罪[SEP]人群抗议对Ildar Dadin的定罪[SEP]。图2显示了第二个示例的图形表示。我们注意到，我们的基线系统在预测参数时已经指示了感兴趣的触发器（通过将其向量附加到每个令牌的向量表示），因此启动可以说是多余的。然而，以第二种方式提供这种输入似乎使语言模型能够在运行时更有效地响应焦点的变化。我们探讨的第二种启动形式同时利用了触发和论元角色。4这里，我们不是同时向模型询问触发器的所有参数，而是分别查询每个可能的参数类型。也就是说，我们首先查询CONVICT事件的任何DEFENDANT参数，然后分别查询任何ADJUDICATOR参数，依此类推。在这种表述中，我们使用触发器和参数角色来增加语言模型的输入。然而，为了便于应用于各种语言，我们将每个英语参数角色标签替换为唯一的整数字符串，当询问任何DEFENDANT定罪参数时，给出这样的结果：[CLS]定罪; 13 [SEP]人群抗议Ildar Dadin的定罪[SEP]。图3示出了图形表示。上述两种形式的启动都可以用于生成BIO标签或标记预先识别的候选参数。我们发现触发和论证角色的启动通常更成功，除非另有说明，我们在下面报告最后，我们还开发了一个启动模型的触发检测和分类。在这里，输入是由句子中的单个标记启动的。所以，语言模型再次看到这样的东西：[CLS]定罪[SEP]人群抗议对Ildar Dadin的定罪[SEP]。然而，对该模型提出的问题不是关于定罪的论点，而是关于定罪本身是否是触发因素的一部分，如果是，是什么样的。该模式针对两个培训目标。一个目标预测触发器的输出跨度，使用bi-LSTM和CRF进行BIO标记，类似于参数提取。另一个目标将触发器标记和类标记的语言模型输出的连接作为输入，并应用线性变换来预测事件类型。因此，在上面的示例中，我们期望将conviction标记为 触 发 跨 度 ， 并 且 来 自 [CLS] 的 语 言 模 型 输 出 和conviction将引导模型生成JUSTICE.CONVICT作为事件类型;图4显示了这一点，跨度与启动令牌重叠，模型输出仅以启动令牌作为其跨度的触发器。变体：预先生成的候选参数为了 更好地与 之前的跨 语言工 作进行比 较（例如Subburathinam et al.（2019）），我们开发了一个系统的变体，该系统将预先生成的候选参数作为输入，而不是在解码时在句子中查找参数跨度在本文中，我们使用这种变体来产生结果，在实验设置中，使用黄金实体mentions作为参数候选人。我们在三个小方面调整我们的架构以适应这种设置。首先，让模型考虑任意跨度不再有意义，所以我们不是所有标记，而是提供一系列候选参数，并要求模型根据指定的触发器对每个参数进行分类。(We重复使用相同的架构：在Transformer堆栈顶部使用基于CRF的损耗函数对于每个候选词，我们将候选词的“最具代表性”的标记的Transformer输出作为其表示例如，模型将使用Smith的向量来表示Bob Smith，或使用student的向量来表示医科学生。为了为每个候选参数选择这个标记，我们在其依赖关系解析中获取最高级别的标记，如果可用，5;如果没有，我们只需选择参数的第一个（不需要使用依赖性解析，并且通常只提供比总是选择第一个标记小的（1-2点）增益。其次，我们通过将实体类型的输出向量嵌入到为候选日期连接的向量集中来增强我们的参数模型以考虑实体类型。第三，我们限制我们的系统只产生我们注意到，这种方法也可以应用于系统生成的候选参数，如果它们存在训练数据（例如在ACE 2005数据集中）。然而，在我们的跨语言实验中，我们的原始系统（将所有可能的跨度视为参数）提供了更高级的结果，因此我们没有进一步研究这个变体，除非当需要使用黄金实体提及的实验时。4实验装置我们报告结果在两个实验设置，都使用ACE 2005语料库（英语和阿拉伯语）6。我们相信第一个设置提供了一个更准确和完整的完整事件提取任务的图片，但我们包括第二个（它只评估事件参数角色标签）与以前的工作进行全面比较。我 们 的 主 要 实 验 设 置 使 用 标 准 的 英 语 文 档train/dev/test分割这个数据集（Yang图形形式。系统仅在且仅在以下情况下输出触发如果预测了事件类型;如果BIO标记未提供4不同的ACE事件类型可能有不同的参数角色：我们的系统只查询为触发器指定的事件类型所允许的角色。5在此使用spaCy（https：//spacy.io/）以英语生成，或使用从 布 拉 格 阿 拉 伯 语 DepartmentTreebank （ https ：github.com/UniversalDependencies/UDArabic-PADT）为UDPipe（Straka and Strakova '2017）以阿拉伯语训练的模型生成。6https://www.ldc.upenn.edu/collaborations/past-projects/ace+v：mala2255获取更多论文图2：触发定罪的句子。跨度Ildar Dadin被标识为DEFENDANT参数。图3：触发信念和论元角色DEFENDANT的句子启动。spanIldar Dadin被标识为一个参数，因此被分配了被查询的角色（DEFENDANT）。图4：启动一个句子，以确定跨度信念是否是JUSTICE.CONVICT类型的触发器。单声道交叉en→ en ar→ ar en→ arDuandCardie（2020）65.4表1：从启动论元提取中获得的论元分类F1分数（在我们的主要实验设置中使用金触发器）。对于本文中报告的所有结果，IE-PRIME使用触发器+角色配置进行启动，除非另有说明。and Mitchell2016）和Xuet al.（2021）提出的阿拉伯语分裂。在这两种情况下，我们从Xu等人（2021）提供的数据中提取句子中断，该数据使用DyGIE++代码库生成。7.我们在运行时进一步拆分Arabic句子，以确保最大长度为80个标记（我们仍然对未拆分的引用进行评分 我们还使用Farasa（Abdelaliet al. 2016年），以消除tatweels和地图表示形式的标准代码范围。除表2外，本文中报告的所有结果均使用该实验设置，并且是五个种子的平均值。我们的第二个实验设置只评估事件-论元角色标签。它复制了7https://github.com/dwadden/dygiepp由Subburathinam等人提出。（2019），其要求系统标记由 黄金标记 和黄金实 体提及 组成的个 体实例。train/dev/test拆分不考虑每个实例的来源，这意味着在train和test中可以找到相同的句子和触发器这在跨语言环境中无关紧要，但在评估单语结果时应予以考虑。此外，在先前的工作之后，训练和测试都对负实例的数量进行下采样，以匹配正实例的数量。因此，与真实世界场景相比，观察到的精度显著过度膨胀;报告的F-测量应根据此考虑。本文中使用该实验设置的唯一表格是表2。除非另有说明，否则对于语言模型，我们使用BERT的大型大小写版本（Devlin et al. 2019）用于单语英语条 件 ， 以 及 XLM-RoBERTA 的 大 版 本 （ Conneau etal.2020）用于跨语言或仅阿拉伯语条件。我们使用BERT的单语英语，以确保公平的比较，以前的工作，XLM- RoBERTA也可以使用类似的结果。遵循社区评估指标的做法，例如，Zhang，Ji和Sil（2019），如果其偏移量和事件类型正确，则我们认为触发器正确，如果其偏移量，事件类型和角色在地面真值中找到匹配，则我们认为参数正确。Lin等人（2020年）69.3––IE-BASELINE63.253.344.7IE-PRIME72.467.750.3+v：mala2255获取更多论文†起爆方法召回精度F-measureSubburathinam等人（2019年）–61.8Ahmad，Peng和Chang（2021） –68.5IE-BASELINE–67.179.672.8IE-PRIME触发器+角色66.582.973.8IE-PRIME触发67.583.774.7表2：次级实验设置：在具有黄金触发和黄金实体提及的零镜头跨语言条件（英语训练，阿拉伯语测试）中的论证分类F1，在从（Subburathinam et al. 2019年）的报告。杜和卡迪（2020）表3：在我们的主要实验设置中，端到端系统的触发器和参数分类F1。IE-PRIME的第一个版本包括基线触发器组件和启动参数提取组件。第二个版本包括启动触发器组件和启动参数提取组件。表明我们的本地重新运行（Wadden et al.2019年）的报告。5结果参数提取我们首先评估我们的新启动架构直接对论点提取的影响。为了做到这一点，我们首先在我们的主要实验环境中展示了金触发器的结果。表1显示了在单语和跨语言条件下全面启动的改善。我们还报告了Du和Cardie（2020）的英语结果，也是受问答方法的启发，以及OneIE（Lin et al.2020）8。IE-PRIME在单语言英语条件下的表现明显优于之前的两个基线。为了在跨语言环境中与先前的工作进行比较，我们接下来在我们的第二个实验环境中呈现类似的结果。9此设置表示事件参数角色标记的较窄任务（使用黄金触发器和黄金实体提及）。表2列出了我们在该实验条件下的结果，其中IE-P RIME显示出比先前报道的最佳结果（Ahmad，Peng和Chang2021）提高了6个点以上。我们注意到，这个次级实验条件有些人为，不仅依赖于黄金实体提及（跨度和实体类型），而且在训练和测试期间排除了90%的负面实例。为了减轻这方面的重大数据集偏倚，8我们使用发布的代码训练完整的OneIE模型，然后在测试时将其约束为gold触发器。9我们不知道任何已发布的英语→阿拉伯语跨语言ACE事件提取的完整系统结果。在这种情况下，我们运行了一个版本的系统，该系统将用五种不同种子训练的模型发现的参数的联合作为输出，允许我们强制系统优先召回。我们还显示了两个引发变量的次要实验条件（引发触发器和触发器和作用在一起）的结果。 在最初的实验条件下，触发+角色的启动方法总是更好的，这就是我们在本文中通常报告的（例如表1）。然而，在这里，仅限用户的版本是优越的，也许是因为它允许完整模型立即查看针对给定触发器预测了多少参数，因此再次允许模型支持更高的召回率，以更好地近似该版本数据中的（有点不切实际的）分布。端到端系统为了在现有技术的范围内进一步改进我们的系统， 我们必须考虑端到端系统，因为当前性能最好的事件提取系统共同优化了实体提及、触发和参数的提取。我们的启动系统（如到目前为止所分析的）只专注于提高论元提取性能，实际上，我们的简单模型我们的系统也不使用实体注释，这里显示的两个前期工作基线都使用了实体注释。尽管如此，我们在表3中看到，尽管触发器性能较弱，并且没有使用任何实体注释，但我们的英语单语论元提取单舌的跨语言en→enar→aren→arWadden等人（2019年）触发69.7论点48.8触发–论点–触发–论点–Wadden等人（2019）†Lin等人（2020年）70.472.474.752.253.156.861.5––44.4––41.6––22.0––IE-PRIME（仅参数）IE-PRIME（参数+触发器）71.268.155.352.961.260.248.948.742.451.030.232.4+v：mala2255获取更多论文→图5：IE-BASELINE和IE-PRIME之间的差异分析，用于具有黄金触发器的零发射阿拉伯语（平均超过五个种子）。图6：使用黄金触发器进行英语培训和测试时的错误分类。接近最先进的系统。10阿拉伯语的事件提取性能没有像英语那样被广泛报道，阿拉伯语训练集的大小只有英语训练集的40%，这使得它成为一个资源较少的条件。继Xu等人（2021）之后，我们将在Arabic数据集上训练的DyGIE++模型作为基线。阿拉伯语（单语或跨语言）的结果证实了我们的论点提取方法相对于最新技术水平的优势，无论是在低资源阿拉伯语单语条件下（比DyGIE +4.5）还是在零射击跨语言条件下（比DyGIE +8.2）。最后，注意到触发作为一个薄弱点，在我们的基线系统，我们进一步探索启动的可能性，通过测试我们的启动触发模型在跨语言的背景下。虽然我们在单语条件下没有看到增益，但我们在跨语言上下文中看到了非常显著的增益（对于触发分类，从42.4到51.0），这表明启动的主要强度是使底层语言模型能够在任务特定的训练数据有噪声时（例如，来自另一种语言）进行补偿。10请注意，由于这是一个端到端系统，触发器性能直接影响参数提取性能，因为系统en → enar→ ar en→ ar基数大基数大基数大IE-BASELINE60.0 66.046.9 53.335.6 44.7IE-PRIME69.074.160.867.740.250.3表4：基于预训练语言模型大小的参数分类F1（使用黄金触发器）的比较。6进一步分析错误分析为了关注启动的影响，我们首先分析了零镜头英语-阿拉伯语语境中IE-B ASELINE和IE-P RIME输出之间的差异（图5）。如果一个系统的输出范围与黄金重叠，但确切的范围或作用是不正确的，则被归类为替代;如果两个系统提供的输出重叠，但确切的范围或作用不同，则被标记为相似。结果表明，IE-PRIME总体上提供了更多的正确答案，在两个系统发现的100个答案之外增加了47个，而IE-BASELINE只增加了IE-PRIME没有发现的19个答案。替换的总数保持恒定，并且IE-PRIME的正确猜测的增加产生了60%的新缺失（未命中）减少比较删除和插入，两个系统更有可能在删除（模型遗漏的项目）上达成一致，而插入则更加异质。这是很直观的：有更多独特的方式来幻觉一个错误的警报参数比有独特的正确答案删除。我们注意到，IE-PRIME与IE-BASELINE相比，确实减少了四分之一的新插入，这表明从搜索中获得的改进在召回率和准确率方面都是有效的。在定性分析方面，我们着重于单语英语条件下的IE-PRIME。图6总结了我们的观察结果。总的来说，我们发现系统在删除（所有错误的40%）和插入（43%）之间平衡。另外17%被归类为替换，只有角色（7%）或参数跨度（10%）中的一个我们将观察到的错误分为六类：• 注释判断调用（22%）：对于新读者来说，系统决策似乎是合理正确的。• 跨度选择错误（14%）：模型没有为参数选择正确的跨度，例如。在预计安全总部时标记总部在这里，对参数跨度进行更高级别的重新评分可能会有所帮助• 需要推理（21%）：有时系统任务需要世界知识和/或超出本地句子的文档上下文知识（我们的模型没有考虑）。例如，较早的句子可能会提示某人是走私者，使他们更有可能在CONVICT事件中被发现为DEFENDANT;纳入文档上下文是我们方法的重要下一步。• 由于相邻事件引起的混淆（13%）：由于其他事件的文本中的接近性，可能会出现一些项因产生虚假触发器的参数而受到惩罚或缺少触发器的参数。[11]仅检查了使用种子1235的系统。+v：mala2255获取更多论文IE-BASELINE（en）IE-PRIME（en）IE-BASELINE自变量F-测度∼→∼英语测试集80阿拉伯语测试集8060 6040 4020 40 60 80 100训练集大小20 40 60 80 100训练集大小图7：通过近似训练集大小比较IE-BASELINE和IE-PRIME。这里的训练大小计算为文档集中的事件数量，并显示为完整英语训练集大小的百分比。括号中表示了训练模型的数据语言。本图中的实验使用金触发器。例如，在Davies is leaving to become chairman of theLondon School of Economics中，我们的模型正确地将伦敦经济学院标记为become（主席）的实体参数，但我们也错误地将其标记为leave（离开）的实体。添加一个机制来确保事件之间的一致性可能会有所帮助。• 实体类型（6%）。少数错误涉及语义类容易出错的实体，例如，模型可能不理解Milton Keynes作为地名。• 其他（24%）：其余的错误缺乏任何现成的解释，但似乎有些错误可能会受益于更明确的句法信息建模或重新评分以考虑事件间的相互作用。预训练的模型大小我们相信，从训练中获得的收益来自于给基础语言模型更多的机会来补偿训练数据中的差距。另一种提高依赖于预训练语言模型的体系结构性能的常见方法是简单地增加该模型的大小（参数用户的数量，或在训练期间看到的数据集，或两者兼而有之）。表4显示了我们的基线和预处理模型的结果，其中包括基本和大尺寸版本的XLM-RoBERTA。正如我们所看到的，从启动和语言模型大小获得的收益是互补的。在所有条件下，我们都看到了添加启动或移动到更大的语言模型的基线改善，并且在所有条件下，我们都看到了添加两者的显着进一步收益。我们注意到，无论语言模型大小如何，添加启动的绝对收益都非常相似。训练集大小我们假设启动在低资源条件下特别有效为了验证这一点，我们改变了训练集的大小，并检查了在每种条件下启动的相对增益。为了简单起见，图7只显示了参数提取的结果，并使用了黄金触发器。训练大小计算为文档集中的事件数，并显示为英文因此，完整的阿拉伯语训练集（1.7K事件）大约相当于英语训练集（4.2K事件）的40%。我们做两个主要的观察。首先，在最低资源设置中，基线和启动系统之间的差距确实最大，这表明当模型资源不足时，启动例如，当只有20%的英语数据可用时（850个事件），我们看到添加启动的增益为12.8分;当100%的数据可用时，增益较小（8.1分）。阿拉伯语单语和英语-阿拉伯语跨语言情况也是如此。其次，我们发现启动能够显著地克服低资源条件.在英语中，IE-PRIME只需要20%的训练，就几乎等同于IE-BASELINE训练100%的数据。在跨语言条件下也是如此我们还看到，在这种最低资源条件下（20%，或850个事件），IE-PRIME在跨语言条件下的性能实际上几乎等于在相同数量的本地阿拉伯语数据上训练的IE-BASELINE所有这些结果都表明，当只有少量数据（或来自错误局域网的数据gauge）可用。7今后的工作我们在这里已经表明，我们的新启动架构改善了触发和参数检测和分类显着超过最先进的零杆跨语言设置。我们的方法也提供了显着的增益参数提取在单语上下文中。然而，在这个新的范例中，仍然有许多领域有待探索例如，先前的工作已经显示出通过联合建模触发器和参数的改进;我们预计这也将是一个收获的领域。以前的工作也显示了文档级信息的价值，在我们目前的工作中没有一个被利用。我们期待着调查纳入这些元素（和其他），因为我们继续探索这个有前途的范例。自变量F-测度+v：mala2255获取更多论文确认这 项 研 究 是 基 于 部 分 由 国 家 情 报 总 监 办 公 室（ODNI），情报高级研究项目活动（IARPA），通过合同号。2019-19051600007。本文中包含的观点和结论是作者的观点和结论，不应被解释为必然代表ODNI、IARPA或美国的官方政策，无论是明示的还是暗示的。政府的美国政府获授权为政府目的而复制及分发重印本，即使其中有任何版权注释。引用Abdelali，A.; Darwish，K.; Durrani，N.; Mubarak，H.2016. Farasa：阿拉伯语的快速和愤怒的分段器。在计算语言学协会北美分会2016年会议记录：演示，11-16。加利福尼亚州圣地亚哥：计算语言学协会。doi：10.18653/v1/N16-3003。网址https://www.aclweb.org/anthology/N16-3003。艾哈迈德，W。★、Peng，N.;和Chang，K.- W. 2021.GATE：图形注意力Transformer编码器，用于跨语言关系和事件提取。在AAAI人工智能。Conneau，A.; Khandelwal，K.; Goyal，N.; Chaudhary，V.; Wenzek，G.; Guz ma'n，F.; Gr av e，E.; Ott ，M.;Zettlemoyer，L.;Stoyanov，V.2020年。无监督跨语言表征学习的规模。在计算语言学协会第58届年会的会议记 录 中 ， 8440 在 线 ： 计 算 语 言 学 协 会 doi ：10.18653/v1/2020.acl-main.747.网址https://www.aclweb.org/anthology/2020.acl-main.747。Devlin，J.;张，M.-W的; 李，K.;和Toutanova，K.2019年 。 BERT ： Deep Bidirectional Transformers forLanguage Understanding的预训练。在计算语言学协会北美分会2019年会议的会议记录中：人类语言技术，第1卷（长论文和短论文），4171-4186。明尼阿波利斯 ， 明 尼 苏 达 州 ： 计 算 语 言 学 协 会 . doi ：10.18653/v1/N19-1423 。 网 址 https ： //www.cn.cnaclweb.org/anthology/N19-1423。杜，X.;和Cardie，C. 2020.通过回答（几乎）自然问题进行事件提取。2020年自然语言处理经验方法会议论文集。计算语言学协会。Feng，R.;袁，J.;和Zhang，C. 2020.小镜头事件抽取的阅读理解模型探索与微调。李，X.;冯，J.;孟，Y.;汉，Q.;吴，F.;和Li，J.2019年a。用于命名实体识别的统一MRC框架arXiv预印本arXiv：1910.11476。李，X.;Yin，F.;孙，Z.;李，X.;Yuan，A.;Chai，D.;周，M.;Li，J. 2019 b.多轮问句的相似关系抽取。在计算语言学协会第57届年会的会议记录中，1340-1350.意大利佛罗伦萨：计算语言学协会。doi：10.18653/v1/P19-1129 。 网 址 https ： //www.cn.cnaclweb.org/anthology/P19-1129。林，Y.;季，H.; Huang，F.;和Wu，L. 2020.一种用于全局特征信息提取的联合神经网络模型。在计算语言学协会第58届年会的会议记录中，7999-8009。在线：计算语言学协会。doi：10.18653/v1/2020.acl-main.713.网址https://www.aclweb。org/anthology/2020.acl-main.713.刘，J.;陈玉;刘，K.; Bi，W.;和Liu，X. 2020.事件提取作为机器阅读理解。2020年自然语言处理经验方法会议（EMNLP），1641-1651。在线：计算语言学协会.doi：10.18653/v1/2020.emnlp-main.网址https://www.aclweb。org/anthology/2020.emnlp-main.128.Mikolov，T.; Sutskever，I.; Chen，K.;科拉多湾S.的;Dean，J. 2013. 词和短语的分布式表示及其组合性。在Burges，C.J.C.; 博 图 湖 ;Welling ， M.;Ghahramani ， Z.;Weinberger，K.问：编辑，神经信息处理系统进展，第26卷。CurranAssociates，Inc.网址https://proceedings.neurips.cc/paper/2013/file/9aa42b31882 ec 039965 f3 c4923 ce 901 b-Paper.pdf。阮，M。五、和Nguyen，T. H. 2021.基于语义通用句结构的事件论元提取的跨语言迁移研究第六届阿拉伯语自然语言处理研讨会论文集，237-243。基辅，乌克兰（ 虚 拟 ） ： 计 算 语 言 学 协 会 网 址https://www.aclweb.org/anthology/2021.wanlp-1.27。Peters，M.; Neumann，M.; Iyyer，M.; Gardner，M.;克拉克，C.;李，K.;和Zettlemoyer，L. 2018.深度上下文化的单词表示。在计算语言学协会北美分会2018年会议论文集：人类语言技术，第1卷（长论文），2227-2237。路易斯安那州新奥尔良：计算语言学协会. doi：10.18653/v1/N18-1202 。 网 址 https://www.aclweb 。org/anthology/N18-1202.Scao，T. L.的; Rush，A. M. 2021.一个Prompt值多少个数据点？CoRRabs/2103.08493。网址arxiv.org/abs/2103.08493.Straka，M.;和Stra kova'，J. 2017 年。使用UDPipe对UD 2.0进行分词、词性标注在CoNLL 2017共享任务的会议记录中：从原始文本到通用语法的多语言解析，88-99 。 温 哥 华 ， 加 拿 大 ： 计 算 语 言 学 协 会 doi ：10.18653/v1/K17-3009 。 网 址 https://www.aclweb 。org/anthology/K17-3009.Subburathinam，A.;陆，D.;季，H.; May，J.;张，S.- F.地; Sil，A.;和Voss，C. 2019.用于关系和事件提取的跨语言结构转换。在2019年自然语言处理经验方法会议和 第 九 届 自 然 语 言 处 理 国 际 联 合 会 议 （ EMNLP-IJCNLP）的会议中，+v：mala2255获取更多论文313-325.中国香港：计算语言学协会。doi：10.18653/v1/D19-1030。网址https：//www.aclweb.org/anthology/D19-1030的网站。Wadden，D.; Wennberg，U.; Luan，Y.; Hajishirzi，H.2019.实体、关系和事件提取与上下文化的跨度表示。在2019年自然语言处理经验方法会议和第九届自然语言处理国际联合会议（EMNLP-IJCNLP）的会议记录中，5784-5789。中国香港：计算语言学协会。doi：10.18653/v1/D19-1585。网址https：//www.aclweb.org/anthology/D19-1585的网站。吴，W.;王，F.;Yuan，A.;吴，F.;和Li，J.2020年。Core-fQA：作为基于查询的跨度预测的共指消解。在第58届年会的会议记录中，计算语言学协会，6953-6963 。 在 线 ： 计 算 语 言 学 协 会 。 doi ：10.18653/v1/2020.acl-main.622.网址https://www.aclweb。org/anthology/2020.acl-main.622.徐，H.; Ebner，S.; Yarmohammadi，M.; White、白背天蛾A. S.的; Van Durme，B.; Murray，K. 2021.低资源域自适应的逐步微调。第二届NLP领域适应研讨会论文集，214-221。基辅，乌克兰：计算语言学协会。网址https://www.aclweb.org/anthology/2021.adaptnlp-1.22。杨，B.; 和Mitchell，T. M. 2016. 文档上下文中事件和实体的联合提取。在计算语言学协会北美分会2016年会议论文集：人类语言技术