没有合适的资源?快使用搜索试试~ 我知道了~
+v:mala2277获取更多论文CUP:基于课程学习的内隐事件论元提取华东师范大学计算机科学与技术学院2复旦大学jiajulin@stu.ecnu.edu.cn,{ qchen,jjin,lhe} @ cs.ecnu.edu.cn,jiezhou@fudan.edu.cn摘要隐式事件参数提取(EAE)的目的是识别分散在文档中的参数以往的研究大多集中在学习参数和触发器之间的直接关系,而隐含的关系与长程依赖没有得到很好的研究。此外,最近的基于神经网络的方法依赖于大量的标记数据进行训练,由于高标记成本,这是不可用的。在本文中,我们提出了一个基于计算机的学习,Pampt tuning(CUP)方法,解决了IM-图一: RAMS中的隐式EAE示例固体隐式EAE分为四个学习阶段。根据与触发器的关系定义阶段行链接触发器和[argument]角色。 虚线将语义图中的节点,它很好地捕捉了参数和触发器之间的长距离依赖关系此外,我们集成了一个基于提示的编码器-解码器模型,以在每个阶段从预训练的语言模型(PLM)中获取相关知识,其中提示模板随着学习进度进行调整,以增强参数的推理。在两个著名的基准数据集上的实验结果显示了我们所提出的方法的巨大特别是,我们在完全监督和低数据场景中的表现优于最先进的模型。11介绍事件参数提取(EAE)在人工智能中发挥着重要作用,已 广 泛 应 用 于 全 球 危 机 监 测 和 决 策 [Zhan 和 Jiang ,2019;Mostafazadeh Davani 等 人 。 , 2019;Chenet al. ,2020]。与传统的EAE不同,传统的EAE主要关注在给定触发的单个句子内提取参数,隐式EAE关注文档级参数提取,参数可能跨越多个句子,这更具挑战性[Ebneretal. ,2020]。如图1所示,单词隐式EAE的目的是提取与句子层面之外的角色相对应的论元,即鞑靼语(地点)、质量*通讯作者1我们的代码可在https://github.com/linmou/CUP上获得跨句子边界共指实体。谋杀(目标),Andrey Shpagonoy(攻击者)和fireamrs(工具)。隐式EAE中的一个关键挑战是如何捕获参数和给定触发器之间的长范围依赖关系。以前的方法主要依赖于成对学习范式,该范式对每个参数和触发器之间的直接关系进行建模。Ebner等 [2020]根据候选论元跨度与角色表征之间的匹配得分确定最佳论元跨度。Du和Cardie;Lietal. ; Liuet al. [2020 b;2020;2020]设计了触发和角色特定问 题 来 定 位 论 点 跨 度 , 将 其 视 为 机 器 阅 读 理 解(MRC)。最近的方法往往incorpo-率较长的依赖关系,以提高参数提取。Du和Cardie;Duet al. [2020 a;2020]介绍了一种基于生成变换器的框架,该框架对文档级上下文进行编码并逐个解码参数。然而,参数生成的顺序很难确定,这容易受到先前研究中所示的错误传播的影响[Xiangyuet al. ,2021]。另一个挑战是如何在低数据场景中获得良好的性能。由于长距离复杂依赖性,获取大规模标记数据用于训练通常是昂贵的。即使是最先进的模型的性能急剧下降时,论点是两句远离触发[张等人。,2020]。 为了缓解这个问题,刘等人。 [2021]建议的隐式和前-事件:冲突/攻击/fireamrattack• S1:西班牙鞑靼斯坦,狩猎营,1992年4月26日:• S2:9人死亡,1人受伤• 学生3:1992年的[鞑靼斯坦]枪击案是一个[大规模谋杀]目标。• 材料4:1992年4月26日,23岁的袭击者[Andrey Shpagonoy],前猎人,前往一个狩猎营地。• 他去偷乐器了。arXiv:2205.00498v1 [cs.CL] 2022年5月+v:mala2277获取更多论文基于MRC的隐式数据扩充方法。然而,这些方法依赖于外部数据的质量,其中域偏移或噪声将对性能产生副作用。最近,研究了基于机器学习的方法,以从低数据场景的预训练语言模型(PLM)中获取知识[Li和Liang,2021;Lester等人,2012]。,2021]。Li等人 [2021]在编码器-解码器框架中引入了带掩码参数的模板,通过参数填充有条件地生成完整的模板,在零拍场景中取得了良好的性能。然而,模板是基于在许多情况下不可用的事件本体来定义的此外,模板文本描述不能很好地反映多个参数和触发器之间的因此,更有效的提示模板建模的复杂依赖关系仍有待研究。为了解决上述两个问题,本文提出了一种基于电流学习的隐式EAE参数整定(CUP)方法。具体来说,我们首 先 将 文 档 解 析 为 抽 象 意 义 表 示 ( AMR ) 图[Banarescuet al. ,2013],它可以通过从参数到给定触发器的显式路径来很好地捕获远程依赖。为了获得有效的论元提取顺序,我们提出了一个课程学习框架,该框架根据从简单层次到困难层次逐步学习的认知过程,分四个阶段学习论元提取,难度递增。这四个学习阶段是基于中心的提取,基于邻域的提取,基于文档的提取和基于文档的提取没有线索。学习难度由AMR图中提取部分和触发节点之间的跳数定义。在每个阶段中,我们利用了一个基于XML的编码器-解码器模型,它通过从PLM中提取相关知识来解决数据不足的问题。值得注意的是,提示模板根据不同阶段的学习困难对于句子靠近触发节点的前两个阶段而对于最后两个阶段,重点是文档提取(硬级别),我们还设计了各种基于图的模板,这增强了跨多个参数和触发器的推理能力。对于测试中的推理,我们提出了一种流水线解码方法,从句子周围的触发器到整个文档,逐步解码参数在两个众所周知的基准数据集上进行实验,即RAMS[Ebneret al. ,2020]和WikiEvents [Liet al. ,2021],结果表明了该方法的有效性。特别是,我们在完全监督和低数据场景中表现出最先进的方法。我们工作的主要贡献如下:• 据我们所知,这是第一次尝试将内隐EAE分为四个外显课程学习阶段,很好地捕捉了长距离依赖和提取顺序。低数据场景中目标论证的推理能力• 我们对两个基准数据集上的实验结果进行了详细的分析,并更好地理解了我们的方法的有效性。2我们的方法我们提出的方法的框架如图2所示。具体来说,我们首先为描述事件的文档构建AMR图,该图很好地反映了参数和给定触发器之间的长程依赖性然后,根据AMR图中与触发节点的距离选择文档的不同部分,然后通过四阶段课程学习将其用于内隐EAE。特别是,我们将不同的提示模板集成到预训练的语言模型(BART)中[Lewisetal. ,2020],其通过变元预测生成完整的模板。在推理过程中,我们使用流水线解码器,它也会根据学习进度逐渐生成参数,如图3所示。2.1AMR图构造抽象意义表示(AMR)图[Banarescuet al. ,2013]是表示句子的语义结构的sembanking语言。与传统的依存句法分析相比,AMR中的节点是实体而不是词,关系更符合逻辑,更不容易受到句法表示或词序变化的影响。因此,我们利用AMR来建模参数和给定触发器之间的相互依赖性首先,我们利用基于转换的AMR解析器[Zhouetal. ,2021]在AMR 2.0注释上训练,为文档中的每个句子生成AMR图。考虑到某些实体将被拆分为多个令牌并由多个节点表示然后,我们将文档级AMR图通过文档中共享的共引用实体链接到一起。这里,我们采用由Al-lenNLP 2提供的现成的共指消解器[Leeet al. ,2018]。最后,得到了与该文档对应的大AMR图形式上,给定一个doc-codeD,其文档级AMR图表示为GD=(VD,ED),其中VD表示包括参数和给定触发器的节点,并且ED指示反映节点之间的依赖性的边2.2课程学习与教师受人类和动物从易到难逐渐学习知识的认知过程的启发,我们提出了课程学习[Bengioet al. ,2009]的框架来重新解决隐式EAE的几个阶段,学习提取参数从触发周围的句子到整个文档。具体地说,学习阶段根据文档AMR图中从给定触发到目标参数的跳数来定义,较好地反映了文档AMR图的依赖长度和提取难度。四个阶段• 不同的模板适用于不同的即时调整学习阶段,这可以进一步提高2https://demo.allennlp.org/coreference-resolution+v:mala2277获取更多论文⟨⟩C⟨ ⟩ ⟨ ⟩ ⟨ ⟩−注释准则:arg> attacked arg> using arg> at arg> place:trigger:argument1992年4月26日,西班牙鞑靼斯坦狩猎营:9死1伤。1992年的鞑靼斯坦枪击案是一场大屠杀。1992年4月26日,23岁的安德烈·什帕戈诺夫,前猎人,去了一个狩猎营地。他去偷枪了。:触发器:论证:共参实体:其他:句子:句子选择:即时生成训练阶段基于中心的提取基于邻域的抽取基于文档的抽取基于文档的无线索AMR图提示攻击arg>使用 at arg> place<常见问题文档1992年鞑靼斯坦训练>射击训练>是一场大屠杀<常见问题攻击大屠杀使用在鞑靼斯坦地方<常见问题9人死亡1人受伤1992年鞑靼斯坦训练>射击训练>…狩猎营地<常见问题安德烈·什帕戈诺夫被攻击的质量murderusingin gpaaitnT. a t 1 a 9 r s 9 t 2 a:n 9 p k l a i lc l d.1 w und.1992年鞑靼斯坦<的射击训练,<19年9月2日上午9点,一名男子被枪杀,1992年9月2日上午9点,一名男子被枪杀。 u.nAdnedr. 1992<年的Tatarhutingtrgca>mshpo. o这种<... ...让所有人都感到轻松。大屠杀狩猎营地他攻击arg>使用<第一章第九节第二节第九节第一节第二节第九节第一节第二节第三节第四节第二节第三节第四节第五节第六节第五节第六节第七节第1992年鞑靼斯坦<训练>射击<训练>在19... 9 2 a:9 m k a i s l l s e d m. u 1 r d w e or r.u.ndAendd. 这<19个2T的数据库是一个很好的数据库。 这<是一个很好的例子。大屠杀狩猎营地他BART BART巴特巴特巴特巴特攻击大屠杀使用arg>在鞑靼斯坦地方Andrey Shpagonov攻击群众Andrey Shpagonov攻击群众使用arg>在鞑靼斯坦地方谋杀在鞑靼斯坦地方使用火器谋杀安德烈·什帕戈诺夫袭击了在鞑靼斯坦图2:培训期间带提示的课程学习概览。训练阶段从左到右进行。在前两个阶段,我们选择包含或围绕触发词的句子。提示是基于指南的,逐渐充满了线索。在最后两个阶段中,输入被扩展为完整的文档,并从AMR图中生成额外的结构化提示。基于中心的解码基于邻域的解码基于文档的解码其中ti表示句子中的第i个标记,trg是触发字的索引。 然后,xi与一个图3:推断期间的流水线解码。基 于 中 心 的 提 取 ( Cent Ex ) 、 基 于 邻 域 的 提 取(Neighborhood Ex)、基于文档的提取(Doc Ex)和基于文档的无线索提取(Doc Ex(w/o Cl))。此外,我们在不同的学习阶段采用不同的学习策略每个学习阶段的细节如下。基于中心的提取。直觉上,含有触发节点的句子与事件的关联性更强,可以认为是中心句。在第一阶段,我们专注于从中心句中提取论点图2中橙色背景的句子)。换句话说,我们只需要进行中间级EAE,并在此阶段提取与触发器具有最短依赖性的最近参数。预先训练的语言模型,即BART [Lewiset al. ,2020],用于参数提取。具体来说,对于一个中心句xi,里面有触发器,我们首先使用特殊的tokenxi=[t0,., tt rg−1,trg,tt rg,t rg,tt rg+1.,(1)通过函数λ(·,·)提示模板p:Xp=λ(p,xi)=sp/sxi/s(2)这里,p是根据事件注释指南手动修改的,在事件注释指南中,所有参数都被占位符标记arg替换,s和/s表示句子的开始和结束分别在BART。之后,我们获得编码器的输入,即,然后对它进行编码,生成一个填充模板,用提取的参数替换占位符标记基于邻域的提取。在从中心句子中提取后,我们扩展了AMR图中概念节点靠近触发器和提取参数的邻居句子。如图2所示,从相邻句子(绿色背景)中的论元到触发节点的链接至少要经过一个共指节点,这增加了提取难度。为了便于提取,我们通过用先前提取的参数作为线索填充占位符来调整手动提示模板,这表示为pc。因此,我们的模型可以捕捉提取的参数之间的关系,并推断跨句子的论点更有效。形式上,编码器的输入表示为:Xpc=λ(p,[xi−1;xi;xi+1])(3)其中xi1和xi+1表示相邻句子,并且“;”表示连接。基于文档的提取。在这个阶段,我们将抽取范围扩大到整个文档。考虑到论点可能跨越多个句子,我们设计了一个攻击arg>使用 at arg> place<常见问题1992年的鞑靼斯坦枪击案是一场大屠杀。<常见问题在鞑靼斯坦地区<常见问题9人死亡1人受伤1992年鞑靼斯坦训练>射击训练>大屠杀AndreyShpagonov使用arg>在鞑靼斯坦地方狩猎营地西班牙1992年鞑靼斯坦训练>射击训练>大屠杀. AndreyShpagonov.狩猎营地.他<常见问题巴特巴特巴特在鞑靼斯坦地区Andrey Shpagonov攻击大规模谋杀Andrey Shpagonov攻击大规模谋杀使用arg>在鞑靼斯坦地方谋杀使用火器在鞑靼斯坦+v:mala2277获取更多论文GG··⟨⟩Σ.- 是的Σ--GG.- 是的Σ在上述非结构化的文本提示之外,还增加了基于图形的结构化提示,旨在增强对触发条件具有长距离依赖性的论元的推理能力具体地说,我们首先找到GD的最小子图,该子图包含触发器(trg)、中心句中的最近论元(ac)和待提取的目标论元(at)。然后,通过线性化函数将子图转换为序列以形成提示模板,其公式化为:pc=Linear(subgraph(GD,trg,ac,at)) (4)其中,子图是从包含对应于trg、c和t的节点的GD定位最小子图的函数,线性是将子图变换成序列的函数,其可以通过如在[Bevilacquaetal. ,2021]。在这里,我们应用深度优先搜索(DFS)算法来获得序列。利用基于图形的提示和先前的基于文本的提示(具有提取的线索),我们通过函数λ(,)将它们与文档组合,以获得两个基于文本的表示,分别作为编码器的输入:Xpc=λpc,D Xpc=λpc,D(5)其中D是通过用特殊的“trg”令牌围绕触发器而从D基于文档的无线索提取。最后一个阶段是不使用先前提取的文档作为线索的文档提取除了在第一阶段中使用的原始手动提示(即,p),我们设计了一个额外的结构化提示,没有任何以前的线索。具体来说,AMR图中的触发节点和目标参数节点之间的最短路径用于形成结构化提示,而无需线索:pg=path(GD,trg,at)(6)其中,path是在AMR图G_D中找到从触发器trg到目标自变量a_t的最短路径的函数。在此阶段,我们还为编码器提供了两种输入,其目的是通过原始文本提示和基于结构化路径的提示来增强基于文档的参数提取:X p=λ p,DX pg =λ pg,D(7)2.3培养目标对于每个阶段,我们将相关文本与提示符一起馈送到BART编码器中,表示为X,并通过解码器获得每个输出令牌的条件生成概率为:p(o c|o
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功