基于MRC的跨度-跨度预测的依赖分析方法及其有效性的实验证明

+v：mala2277获取更多论文基于MRC的跨度-跨度预测的依赖分析Leilei Gan<$$>，Yuxian MengXiaofei，Kun Kuang<$$>，XiaofeiSunXiaofei，Chun FanXiaofeng，Fei Wu<$ and JiweiLi<$Y◆浙江大学浙江大学YPeng Cheng Laboratory，Shannon.AI{yuxian_meng，xiaofei_sun，qinghong_han，jiwei_li}@shannonai.com{雷雷干，昆匡，吴飞}@zju.edu.cn摘要高阶依赖分析方法可以部分但不完全解决依赖树中的边应该在文本跨度/子树级别我喜欢蒂姆的猫我喜欢蒂姆而不是文字层面。在本文中，我们提出了一种新的依赖分析方法来解决这个问题。所提出的方法构造依赖树直接建模跨度跨度（换句话说，子树子树）的关系。它由两个模块组成：文本跨度建议模块，提出候选文本跨度，每个候选文本跨度代表依赖树中的一个子树，表示为（根，开始，结束）;和跨度链接模块，构建建议跨度之间的链接。我们使用机器阅读理解（MRC）框架作为骨干形式化的跨度链接模块在MRC设置，其中一个跨度被用作查询提取文本跨度/子树，它应该被链接到。所提出的方法具有以下优点：（1）它解决了依赖树中的边应该在子树之间构造的基本问题;（2）MRC框架允许该方法在跨度建议阶段检索缺失的跨度，这导致对合格跨度的更高召回率。在PTB、CTB和UD基准测试上的大量实验证明了该方法的有效性。我们能够在PTB和UD基准上实现新的SOTA性能代码可以在https://github.com/ShannonAI/mrc-for-dependency-parsing上找到。1[1]甘蕾蕾和孟玉贤对本书的贡献相当。图1：句子“I”的两种可能的依赖树喜欢Tim对于右手边的树，如果我们在词-词的层次上操作，“爱”与“猫”联系起来是正确的但是如果我们在子树-子树级别操作，链接是不正确的，因为“cat”后面的span/子树是不正确的1介绍依存句法分析是自然语言处理（NLP）中的一项 基 本 任 务 （ Eisner ， 1997; Nivre ， 2003;McDonald et al. ，2005 b）。在现有的依赖性解析器的努力，基于图的模型（麦克唐纳等人。，2005 a; Pei等人，2015）是广泛使用的一类模型，其将任务转化为在有向图中找到最优最大生成树。基于图的模型提供了比移位-归 约 模 型 更 全 局 的 视 图 （ Zhang 和 Nivre ，2011;Chen和Manning，2014），从而导致更好的性能。基于图的方法面临着一个根本性的挑战：它们通过使用词对作为建模的基本单元来构造依赖边，这是不够的，因为依赖分析是在跨度/子树级别执行的。例如，图1显示了句子“I loveTim's cat”的两个可能的依赖关系树。在这两种情况下，在令牌层面，“爱”与“猫”联系在一起。如果我们只考虑词与词之间的关系，第二种情况下，但是如果我们在子树-子树级别查看树，链接是不正确的，因为“cat”后面的span/子树是不正确的。虽然高阶方法能够通过聚集相邻边的信息来缓解这个问题，但它们不能完全根nsubjobjnmod根obj恩苏布杰奥布arXiv：2105.07654v1 [cs.CL] 2021年5月+v：mala2277获取更多论文解决这个问题。在本质上，token-token策略可以被看作是span-span（子树-子树）策略的粗略简化，其中token-token策略中的根token可以被看作是覆盖它的所有span的平均值。我们希望有一种方法，直接使用token后面的精确子树来建模span-span关系，而不是覆盖它的所有span的平均值。为了解决这一挑战，在这项工作中，我们提出了一个模型的依赖关系分析，直接操作的跨度跨度关系的水平。该模型由两个模块组成：（1）文本跨度建议模块，提出符合条件的候选文本跨度，每个跨度表示依赖树中的一个子树，用（root，start，end）表示;（2）跨度链接模块，在建议的跨度之间建立链接，形成最终 的 依 赖 树 。 我 们 使 用 的 机 器 阅 读 理 解（MRC）框架作为骨干形式化的跨度链接模块在MRC设置，其中一个跨度被用作查询提取的文本跨度/子树，它应该被链接到。通过这种方式，所提出的模型能够直接建模跨度跨度关系，并建立一个自底向上的递归方式的完整的依赖树提出的模型提供了以下三个方面的好处：（1）首先，它自然地解决了在香草基于图的方法中的词-词建模的缺点，并直接在跨度水平上执行;（2）与MRC框架，在跨度建议阶段中遗漏的跨度仍然可以在跨度连接阶段被检索，从而可以减轻未提取的跨度的负面影响;和（3）MRC形式化允许我们利用现有的最先进的MRC模型，与模型的表达能力可以被增强，从而导致更好的性能。在广泛使用的依赖性分析基准PTB和通用依赖性（UD）上的大量实验证明了该方法的有效性。我们能够在PTB和UD基准上实现新的SOTA性能，并在CTB数据集上实现与以前SOTA模型竞争的性能。2相关工作2.1依存句法分析基于转换的依赖分析从输入单词中递增地构造依赖树通 过 一 系 列 的 移 位 - 减 少 动 作 （ Zhang 和Nivre，2011; Chen和Manning，2014; Zhouetal. ，2015; Dyer等人，2015; Yuan et al. ，2019;Han et al. ， 2019 年 ; Mohammadshahi 和Henderson，2020年）。基于图的依赖性解析在所有可能的依赖性树的空间中搜索最大化得分的树（Pei et al. ，2015; Wang et al. ，2018;Zhang et al. ，2019）。基于图的依赖分析首先由McDonald等人提出。 （2005年a、b）。 他们将依赖解析的任务 形 式 化 为 在 有 向 图 中 找 到 最 大 生 成 树（MST），并使用大间隔目标（Crammer etal. ，2006）来有效地训练模型。Zhang等人（ 2016 ） 引 入 了 一 种 概 率 卷 积 神 经 网 络（CNN），用于基于图的依赖性解析，以对三 阶 依 赖 性 信 息 进 行 建 模 Wang 和 Chang（2016）;Kiperwasser和Goldberg（2016）提出采用LSTM作为编码器来提取特征，然后用于对 单 词 之 间 的 依 赖 性 进 行 评 分 。 ZhangandZhao（2015）;Zhang et al.（2019）;Wangand Tu（2020）整合了跨广告依赖边缘的高阶特征，以构建依赖树。Ji等人（2019）通过使用图神经网络捕获高阶依赖性信息biaffine方法（Dozat和Manning，2016）是一种特殊的基于图的方法，它改进了基于图的依赖解析中的vanilla评分函数。Ma et al.（2018）结合了biaffine分类器和指针网络，以自上而下的方式构建依赖树。Jiaet al.（2020）;Zhang et al.（2020 a）将biaffine方法扩展到条件随机场（CRF）框架，提高了CRF模型用于依赖分析的效率和有效性。Mrini等人（2020）将标签信息纳入自我注意力结构（Vaswani等人，2019）。，2017）的biaffine依赖解析，并取得了最先进的性能。2.2NLP任务的MRC机器阅读理解（MRC）采用（上下文，问题，答案）三元组的形式，通过从上下文中提取问题的答案近年来，MRC框架扩展到不同类型的NLP任务的趋势（McCann et al. ，2018;Gardner et al. ，2019; Zhanget al. ，2020 b）。Levy et al.（2017）以MRC方式进行关系提取，其中每个关系类型r（x，y）被表征为问题q（x）+v：mala2277获取更多论文→→→→nΣ|∈∈答案是y。Li等人（2019 b）提出通过逐步询问由问题模板定义的问题来提取关系 Li等人（2019 a）介绍了一个用于命名实体识别的QA框架，其中每种类型的实体对应于一个特定的问题。Wu et al.（2019）将共指消解形式化为MRC任务。MRC的其他应用包括实体链接（Gu et al. ，2021），文本分类（Chai etal. ，2020）、对话状态跟踪（Gao et al. ，2019，2020）、SQL生成（Yan et al. ，2020）和事件提取（Du和Cardie，2020; Liu et al. ，2020）。3方法我爱蒂姆的猫跨链接Troot：root我爱蒂姆Tlove：I love Tim's cat我爱蒂姆的猫TTim表1：图1中左边树的跨度和链接。评分函数为：分数（Tw0）=分数跨度（Twi）3.1符号给定输入令牌序列s =（w，w，...，i=1+λ（wi→wj）∈Tw0分数链接（Twi，Twj）（二更）0 1wn），其中n表示句子的长度，并且w0是表示句子的根的虚拟标记，我们将依赖性解析的任务形式化为在所有可能的以w0为根的树中找到具有最高得分的树。T= arg maxscore（Tw0）（1）Tw0输入句子中的每个记号wi对应于以wi为根的完整树T中的子树Twi，并且该子树可以由文本跨度来表征，其最左边记号的索引在原始序列中为Twi.s，并且其最右边记号的索引在原始序列中为Twi.e如图1的第一个例子所示，子树Tlove覆盖的跨度是完整的句子每个方向弧其中scorespan（Twi）表示以wi为根的子树覆盖从T.s到T.e的文本跨度的可能性。score_link（Twi，Twj）表示树Twj是Twi的子树的可能性，即从wi到wj有一条弧，λ是平衡score_span和score_link的h型参数.我们将在下面的章节中详细说明如何对跨度（T）和链接（T1，T2）进行表1显示了图1左侧树的所有跨距和链接。3.3跨度建议模块在本节中，我们将介绍span proposal模块。该模块在等式中给每棵树Twi一个分数分数 跨 度（Twi）。（2）表示以wi为根的子树覆盖从Twi.s到Twi.e的文本跨度的可能性。分数可以被分解成两个分量T中的wi→wj表示父子关系在Twi和Twj之间，其中Twj是我也是。这意味着Twj覆盖的文本跨度分数跨度 （Twi）=分数星号t（Twi.s|（i）+score en d（Twi.e|（i）（三）完全包含在Twi覆盖的文本跨度中。值得注意的是，目前提出的范式只能处理投射的情况。我们将在3.5节回到如何调整当前范式以适应非投射情境。3.2评分函数利用上一节中定义的符号，我们现在说明如何计算等式中的得分（Tw0）（一）.由于我们希望在依赖树中对跨度-跨度关系进行建模，其中树由跨度和它们之间的链接组成，因此我们形式化我们建议将分数星t（Twi.s|wi）作为开始于Twi.s，结束于w i的文本跨度的分数，将任务转换为文本跨度提取问题。具体地说，我们使用双仿射函数Dozat和Manning（2016）通过计算score start（j i）来对文本跨度进行评分，score start（j i）分数星号t（j|i）=xTiUstar txj+wsTtar txj （4）其中U ∈ Rd×d和w ∈ Rd是可训练参数，xiRd和xjRd是wi和 wj关于iv el y的表征。Toobtainxiand+v：mala2277获取更多论文Σ|n母--母双亲J母L跨距 =−母J我们转向一个更方便的策略，（j）|（一））母我J母我J（我|Twj）。此外，由于母J母我J母我J母J我J|用分数r表示xj，我们把句子s传给BERT。 xi和xj是BERT针对wi和wj 输 出 的 最 后 一 层 表 示。我们使用以下机翼损失来优化左半翼展建议模块：n其中、、和是特殊标记，分别表示span的开始、root的开始、root的结束和span的结束。 上述构造查询的方式的一个问题是位置信息开始exp（分数星号t（Twi.s|（一））i=1nj=1 exp（评分开始（五）关于TW不包括在查询中在实际操作中，该目标强制模型为每个单词wi找到正确的跨度开始Tw.s。我们忽略损失查询是原始句子，带有特殊标记，，，and用于为我w0，虚拟根令牌，因为它的跨度是注意孩子的位置这样，位置覆盖0n。scoreend（Twi.e wi）可以以类似的方式计算，其中模型提取以索引wi为根并以Twi.e结束的文本跨度：scoreen d （ j|i ） =xTiUen dxj+weTn dxj（6）右半跨损失优化建议模块可以自然地考虑用于子Twj信息。答案提取答案是父项，跨度Twi.s，Twi.e以Twi .e为根。我们可以通过识别答案跨度的开始和结束来直接从MRC模型中获取框架，分别用分数 s （T w.s）表示|T w）和得分 e（Tw.e|T w）。我们还希望确定端最大值（分数和时间）|（一））i=1j=1（七）根T wi 答案是性格L跨距 =−nexp（score end（j|（一））由作为跨度的根的Wi使用Eq.（4）和Eq.中的右半跨度得分（6）计算全部Eq.（3）我们可以计算出我们还想确定关系类别是-在父母和孩子之间，分数表示需要添加的关系标签，用任何子树的得分，文本跨度从两个wi.s，结束于Twi.e，根源于wi。L母（l）|Twj，wi）。3.4跨度连接模块对于四元组（Twi.s，Twi.e，Twi，l），其注意到跨度Tw.s，Tw.e以Tw为根，第五，我我我给定两个子树Twi和Twj，跨度连接模块给出一个分数-这意味着Twi是Twj的父，并且与Twj相关联的跨度，即，（Twj.s，Twj.e）完全包含在与Tw，即，（Tw.s，Tw.e）。它的最终得分是Twj的答案，并且子树之间的关系是l，由下式给出得分亲本（Twi|Twj）=分数r（w i|T w）+评分s（T w.s|T w）+分数e（T w.e|T w）+得分l （l|T w，T w）我我我我们建议使用机器阅读理解框架作为主干来计算这个分数。它对三元组{context（X），query（q）和answer（a）}进行操作上下文X是原始句子s。查询q是子跨度（Twj.s，Twj.e）。我们希望从上下文输入句子s中提取答案，即父跨度（Twi.s，Twi.e）。构造查询在查询中，我们应该同时考虑跨度和它的根。查询（九）在用于QA的MRC设置中，输入是查询和上下文的连接，由[cls]，query，[sep]， context表示，其中[cls]和[sep]是特殊标记。输入被馈送到BERT，我们获得每个输入令牌的表示令ht表示BERT输出的索引为t的令牌的表示。第t个 token 是 答 案 的 根 的 概 率 ， 由 scorer （ wtTw）表示，是上下文中所有组成标记上的softmax函数：因此形式化如下：，T wj.s，T wj.s +1，.，T wj − 1，，分数r（w t|Tw）=exp（hTroot×ht）t′∈xtexp（hTroot×ht′）T wj，，T wj+1，.，（十）其中hTroot是可训练参数r。分数sTwj.e−1，Twj.e，（8）并且可以以类似的方式计算得分e评分+v：mala2277获取更多论文ΣΣ××L LL|不⊆Twwi母J我我Jw0孩子我孩子J我我我S母得分e（wt|Twj）=exp（hT开始×ht）t′∈xtexp（hTstart×ht′）exp（hTend×ht）（根标记w0仅产生一个跨度），其中每个候选跨度与其子树跨度得分scorespan（）相关联。然后，我们构造的最佳依赖树的基础上，只有这些ex-ternal跨度通过连接它们。这一战略，父母t（wt|Twj）= t′∈Xtexp（hTend×ht′）得到一个局部最优方程。（2），因为我们要计算第一部分的最优解其中hT开始和hT结束（十一）可训练参数 为ni=1分数跨度（Twi）取决于第二部分得分l（l）|T w，T w），表示关系式等式（2），即，（w→w）∈T分数链接（T wi，Twj）。在Twi和Twj之间标记，我们可以用简单的方法计算它。由于hwi已经通过自我关注对hwj的信息进行了编码，因此wi的表示hwi被直接馈送到标签集合L中所有标签上的softmax函数：但在这种幼稚的策略中，第二部分是在第一部分之后计算的。值得注意的是，只使用前k得分跨度的天真解决方案还有另一个严重的问题-得分lexp（hTl×hwi）sue：在span提案阶段遗漏的span可以永远不会成为最终预测的一部分，因为父母|Twj，Twi）=l′∈L exp（hTl′×hwi）跨度链接模块仅在建议的（十二）相互依赖仔细看看Eq。（9）揭示了它只模拟了Twi是Twj的父节点的单向依赖关系。这是次优的，因为如果Twi是Twj的父答案，则Twj应该是Twi的子答案。因此，我们建议使用Twi作为查询q，Twj作为答案a。评分儿童d（Twj|Twi）=分数er （wj|Tw）+评分s （Tw.s|Tw）+分数e（T w.e|T w）+得分l （l|T w，Tw）跨度。如果top-k足够大，可以回忆起地面实况中的几乎每个跨度，这就不是一个大问题然而，跨度建议本质上比跨度链接更难因此，我们建议使用跨度链接模块来检索更多正确的跨度。具体地说，为每跨度T WJ提出的跨度 提案 模块，我们 使用参数maxTwi得分亲本（Twi|Twj）到retriev e孩子ji孩子I j（十三）它的得分最高的父母作为额外的跨度因此，最终得分得分链接由下式给出：score link k（Twi，Twj）=scor echil d（Twj|Twi）+评分（Tw i）|Twj）（十四）候 选 人 回 想 一 下 ， span 提 案 提 出 了 1+nkspan。 加上由跨度链接模块提出的跨度，候选跨度的最大数量是1+2n k，因为由由于一棵树可能有多个孩子，但只能有一个父母，我们使用多标签交叉条目损失L父母的得分父母t（Twi|Twj）并使用二进制交叉熵损失L子项，子项得分（Twj Twi）。 我们联合优化这两个损失link=parent+ child的跨度链接模块。3.5推理给定输入句子s =（w0，w1，w2，...， wn），所有可能的子树的个数跨越（wi，Tw.s，Tw.e）是O（n3），因此运行MRC跨度链接模块和跨度建议模块建议的跨度。投影解码给定检索的跨度，在建议阶段，我们使用CKY风格的自下而上的动态规划算法，以找到投影树的最高分数的基础上方程。（二）、该算法存在于算法1中。关键的思想是，我们可以推广的定义得分（Tw0）在方程。（2）根据以下定义对任何w：每个候选跨度的程序都是计算的，禁止性的。一个简单的解决方案是使用spanproposal模块来提取以每个token为根的前k个得分span。这产生评分（Tw）=0+λ分数跨度（Twi）分数链接（Twi，Twj）（十五）评分+v：mala2277获取更多论文·一组跨度候选T，大小为1+n×k（wi→wj）∈Tw+v：mala2277获取更多论文←e∈Ci{|}Σ算法1：投射推理跨度分别以wi和wj为根：输入 ：输入句子s，跨度候选T，跨度评分（w，w）=max[得分（T）scores scorespan（T），<$T∈ T输出：每个跨度得分（T）的最高得分，T∈ T边ijTwi，Twj跨度wi（十七）/*基于等式计算链接分数（14）*分数链接（T1，T2）←评分和评分（T1|T2）+评分儿童d（T2|T1），n（T1，T2）∈T/*计算得分（T），<$T∈ T*/+分数跨度（Twj）+λ分数链接（Twi，Twj）]树T的最终得分由下式给出：评分（T）= 平均评分（w，w）（18）for len ← 0 to n dofor T ← T do如果T.e-T.s=len，则（wi→wj）∈T边ij端端端/*T一个字一个字 *如果len= 0，则score（T）scorespan（T）其他/*C是构成T的直接子树的集合*/score（T）← scorespan（T）+maxC（T）（T[（Ti）+λscorelink（T，Ti）]）端在此定义下，MST可容易地用于解码。4实验4.1数据集和数据库我们在三个广泛使用的依赖性解析基准上进行了实验：英语Penn Treebank v3.0（PTB）数据集（Marcus et al. ，1993）、中国树库v5.1（CTB）数据集（Xueet al. ，2002）和通用依赖树库v2.2（UD）（Nivre et al. ，2016年），我们选择了12种语言进行评估。我们跟着妈其中T wiT wiT w，i=0，1，.，n是Tw内的所有子树，即在Tw中有一条路径，w→ w i1→...，→ w i使用这个定义，我们可以用递归的方式重写score（Tw）等人（2018）处理所有数据集。PTB数据集包含39832个用于训练的句子和2416个用于测试的句子。CTB数据集包含16091个用于训练的句子和1910个用于测试的句子UD数据集中的12种语言的统计数据与Ma等人相同。 （2018年）。评分（Tw）=分数跨度（Tw）我们使用未标记依恋评分（UAS）和标记依恋评分（LAS）进行评估。+Twj∈C（Tw）[score（Twj）+λscorelinkk（Tw，Twj）]（十六）在评估过程中忽略所有数据集中的标点符号训练细节对于所有实验，我们将-其中C（T w）={T wi|（w→w i）∈T w，i=0，1，. n}是Tw的所有直接子树的集合。值得注意的是，在算法1中有效地找到组成树T的一组子树需要树是投影的（投影属性保证每个子树在文本中是连续的跨度），并且第4节中的实验表明，该算法在大多数树是投影的数据集上表现良好，但在许多树是非投影的情况下表现较差。为了解决这个问题，我们调整所提出的策略的MST（最大生成树）算法（麦当劳等。，2005 b）。MST的关键点是获得每对k个元素wi和wj（而不是跨度）的得分，用得分边e（wi，wj）表示。我们建议将wi和wj连接起来的分数是两个wo所获得的最高分数将100d POS标签嵌入与1024d预训练的令牌嵌入 链 接 ， 然 后 使 用 线 性 层 将 它 们 投 影 到1024d。根据Mrini et al. （2020），我们进一步在上面添加1-3个额外的编码器层，让POS嵌入与预训练的令牌嵌入很好地交互我们尝试了 两 种 不 同 类 型的 附 加 编 码 器 ：Bi-LSTM（？）和Transformer（？）.对于Bi-LSTM，隐藏大小的数量是1024 d。对于Transformer，注意力头部的数量和隐藏大小与预训练模型相同（注意力头部为16，隐藏大小为1024 d）。我们对预训练模型使用0.1的辍学率，对额外的层使用0.3的辍学率。我们使用亚当（？）作为优化器，并为调度器提供线性速率衰减。权重参数λ在开发集上由0.1到10.0，最佳λ用于测试。+v：mala2277获取更多论文4.2基线• Biaffine：Dozat和Manning（2016）将成对的单词输入到biaffine分类器中，以确定它们之间的依赖关系。• StackPTR：Ma et al. （2018）将指针网络与基于转换的方法相结合，使其受益于整个句子和所有先前导出的子树结构的信息。• GNN：Ji et al.（2019）使用图神经网络（GNN）来学习基于图的依赖解析的令牌表示。• MP2O：Wang和Tu（2020）使用消息传递将二阶信息集成到biaffine主干• CVT：Clark等人（2018）提出了交叉视图训练，这是一种提高模型性能的半监督方法。• HPSG：Zhou和Zhao（2019）使用中心词驱动的短语结构语法来联合训练选区和依存关系解析。• HPSG+LA：Mrini等人 （2020）在HPSG中添加了标签注意力层，以提高模型性能。HPSG+LA还依赖于额外的选区解析数据集。我们实现了我们提出的模型和双仿射模型的基础上RoBERTa大（刘等。，2019），Roberta-wwm large （ Cui et al. ， 2019 年 ） 、 XLM-RoBERTA大型（Lample和Conneau，2019年）分别用于PTB、CTB和UD。我们对所有数据集应用4.3主要结果表2将我们的模型与PTB/CTB测试集上现有的最先进模型进行了比较。在PTB上，该模型实现了97.17%UAS和95.45%LAS的新SOTA性能在CTB上，我们的最佳模型与其他SOTA性能相当。由于PTB和CTB几乎只包含投影树，投影解码策略明显优于非投影MST算法。值得注意的是，由于HPSG和HPSG+LDA依赖于选区解析的额外标记数据，因此HPSG的结果与我们的结果不可比较。我们在这里列出它们以供参考。表3将我们的模型与UD测试集上现有的最先进方法进行了比较。除了es，其中所提出的模型略逊一筹PTB CTBUAS LAS UAS LASStackPTR95.8794.1990.5989.29GNN95.8794.1590.7889.50+预训练模型具有附加的标记的选区解析数据HPSGb97.2095.72--HPSG+LAb97.4296.2694.5689.28无附加标签双仿射96.87孔塔鲁95.34恩蒂帕西92.45ng数据90.48CVT96.695.00--MP2O96.9195.3492.5591.69Proj97.2495.4992.6890.91（+0.33）（+0.15）（+0.13）（-0.78）乌尔-恩普罗伊97.1495.3992.5890.83（+0.23）（+0.06）（+0.03）（-0.86）表2：PTB和CTB上不同模型的结果。b：这些方法在他们的方法中同时利用了依赖性和构成信息，因此与我们的方法不可SOTA模型提高了0.02，该模型在所有其他11种语言上都达到了SOTA性能，平均性能提高了0.3。由于UD中的许多语言都有显着的非投射树部分，MST解码显着优于投射解码，几乎在所有语言集上都实现了5消融研究和分析我们使用PTB进行全面的消融研究，以了解所提出的模型的行为。由于投射解码对PTB效果最好，因此本节中报告的分数均来自投射解码。5.1候选跨度数我们想要研究由跨度提议模块提议的候选跨度的数量的影响，即，k的值。我们将k的值从1变化到25。如表4所示，增加k值会导致更高的UAS，并且一旦k足够大（k >15），性能就停止增加。5.2跨度连接对跨度检索的影响如表5所示，跨度回忆在跨度连接阶段的存在下显著这与我们的预期一致，因为在建议模块中缺失的跨度可以在跨度链接阶段由QA模型检索。当k变大时，召回率提升会变窄，这是预期的，因为在第一阶段提出了更多的候选人+v：mala2277获取更多论文→→BGCACSdeenesfr它nl没有roruAvg.投影%99.899.699.297.799.699.699.799.899.499.399.499.299.4GNN90.3392.3990.9579.7388.4391.5687.2392.4488.5789.3885.2691.2089.37MP2O91.3093.6092.0982.00+预训练模型90.75 92.62 89.3293.6691.2191.7486.4092.6191.02双仿射93.0494.1593.5784.8491.9392.6491.6494.0792.7894.1788.6694.9192.15Ours-Proj93.6194.0493.184.9791.9292.3291.6994.8692.5194.0788.7694.6692.21（+0.57）（-0.11）（-0.47）（+0.13）（-0.01）（-0.32）（+0.05）（+0.79）（-0.27）（-0.10）（+0.10）（-0.25）（+0.06）Ours-NProj93.7694.3893.7285.2391.9592.6291.7694.7992.9794.5088.6795.0092.45（+0.72）（+0.23）（+0.15）（+0.39）（+0.02）（-0.02）（+0.12）（+0.72）（+0.19）（+0.33）（+0.01）（+0.09）（+0.30）表3：UD上不同模型的LAS我们使用ISO 639-1代码来表示UD的语言1 2 5 10 15 20无人机96.94 97.10 97.22 97.23 97.24 97.23表4：跨度候选者K1251015不带链接的召回97.0998.8899.5799.7799.86召回w/link97.7699.1499.6999.8599.92表5：具有/不具有跨度链接模块的提案阶段。跨度连接阶段可以通过使用较少数量的建议跨度来提高计算效率，同时实现相同的性能。5.3评分功能我们研究了在所提出的模型中使用的评分函数的每一部分的效果表6显示了结果。我们有以下意见：(1) token（query）-token（answer）：我们简 化 了 模 型 ， 只 在 查 询 中 表 示 根 token（ child ） ， 并 在 上 下 文 中 提 取 根 token（parent）。该模型实际上通过在令牌-令牌级别上工作而退化为类似于Biaffine的模型。我们观察到显着的性能下降，0.57 UAS和0.34LAS。(2) token（query）-span（answer）：在查询（child）中仅表示token，在answers（parent）中提取span，分别导致UAS和LAS减少0.13和(3) span（query）-token（answer）：在查询（ child ） 中 表 示 span ， 但 仅 在 answers（parent）中提取token，这导致UAS和LAS分别减少0.07和(1)、（2）和（3）证明了在依赖分析中建模跨度-跨度而不是标记-标记关系的必要性：对于父或子，将基于跨度的策略替换为基于标记的策略会导致性能下降。型号UAS LAS全部97.24 95.49token（query）-token（answer）96.67（-0.57）95.15（-0.34）span（query）-token（answer）97.17（-0.07）95.44（-0.05）token（query）-span（answer）97.11（-0.13）95.41（-0.08）- 相互97.18（-0.06）95.43（-0.06）表6：从评分功能中(4) 删除只使用子-父关系而忽略父-子关系的相互依赖模块也会导致性能下降。5.4分析继Ma et al.（2018）;Ji et al.（2019）之后，我们分别分析了Biaffine解析器和所提出的方法在句子长度、依赖长度和子树跨度长度方面的性能。结果如图2所示。句子长度。如图2（a）所示，与Biaffine相比，所提出的解析器在长句上实现了更好的性能。特别地，当句子长度大于50时，Biaffine分析器的性能显著下降，而建议的分析器的下降幅度要小得多（从0.97下降到0.964）。依赖长度。图2（b）显示了依赖长度的结果。该分析器在处理长范围依赖关系方面显示出了优势。我们假设跨度级信息对长距离重复是有益的。子树跨度长度。我们进一步对子树跨度长度进行了实验。我们将跨度连接模块中两个跨度的平均长度分成七个桶。我们假设我们的解析器应该在长子树跨度上表现出优势，图2（c）中的结果验证了我们的猜想。+v：mala2277获取更多论文0.980.970.960.980.970.960.950.940.990.980.970.960.95[1，10] [11，20] [21，30] [31，40] [41，50]>50句子长度（一）0.930.921 2 3 4 5 67相关长度（b）第（1）款0.95[1、2][2、3][3、5][5、7][7，10）[10，15）>=15子树跨度长度（c）第（1）款图2：Biaffine和我们的解析器w.r.t.在PTB测试集上的性能。句子长度、依赖长度和子树跨度长度。总之，span-span策略明显优于token-token策略，特别是对于长序列。这种解释如下：令牌-令牌策略可以被视为跨度-跨度策略的粗略简化，其中令牌-令牌策略中的根令牌可以被视为覆盖它的所有跨度的平均值，而在跨度-跨度策略中，它表示精确的跨度，而不是平均值。当序列较短时，与平均值的偏差相对较小，但随着序列长度的增长而变得较大，因为覆盖令牌的跨度数量随着长度呈指数增长。这使得令牌-令牌策略对于长序列的效果明显更差。6结论在本文中，我们提出了构建依赖树的直接建模跨度跨度，而不是词与词之间的关系。我们使用机器阅读理解框架来形式化span链接模块，其中一个span被用作查询来提取它应该链接到的文本span/子树。在PTB、CTB和UD基准测试上的实验表明了该方法的有效性引用多柴，吴伟，韩庆红，吴飞，李继伟.2020.基于描述的文本分类与强化学习。机器学习国际，第1371-1382页。PMLR。Danqi Chen和Christopher D Manning。2014年。一个快速准确的依赖分析器，网络.在2014年自然语言处理经验方法会议（EMNLP）的会议中，第740放 大 图 片 作 者 ： Kevin Clark ， Minh-ThangLuong，Christopher D.曼宁和阔克·勒2018.具有交叉视图训练的半监督序列建模。2018年自然语言处理经验方法会议论文集，第1914-1925页，比利时布鲁塞尔。计算语言学协会。Koby Crammer、Ofer Dekel、Joseph Keshet、Shai Shalev-Shwartz和Yoram Singer。2006.在线被动攻击算法。J·马赫。学习. Res. ，7：551Yiming Cui，Wanxiang Che，Ting Liu，BingQin，Ziqing Yang，Shijin Wang，and GuopingHu.2019年。中文bert的整词屏蔽预训练arXiv预印本arXiv：1906.08101。Timothy Dozat和Christopher D Manning。2016年。深度双仿射注意神经依赖解析。arXiv预印本arXiv：1611.01734。杜馨雅和克莱尔·卡迪。2020.通过回答（几乎）自然的问题来提取事件。在2020年自然语言处理中的EM-pesticide方法会议（EMNLP）的会议记录中，第671计算语言学协会Chris Dyer，Miguel Ballesteros，Wang Ling，Austin Matthews和Noah A Smith。2015.基于转换的栈长短期记忆依赖分析 . arXiv预印本arXiv：1505.08075。杰森·博纳。1997. 三个新的概率模型-BiaffineOursBiaffineOursUASBiaffineOursUASUAS+v：mala2277获取更多论文依赖解析的元素：探索。arXiv预印本cmp-lg/9706003。Shuyang Gao ， Sanchit Agarwal ， TagyoungChung，Di Jin，and Dilek Hakkani-Tur.2020.从机器阅读理解到对话状态跟踪：跨越鸿沟.arXiv预印本arXiv：2004.05827。ShuyangGao ， AbhishekSethi ， SanchitAgarwal ， TagyoungChung ， andDilekHakkani-Tur. 2019.对话状态跟踪：神经阅读增强方法。arXiv预印本arX