智能系统与应用18（2023）200190用增强的全局和局部特征引导双向层提高图依赖分析的性能Mücahi t Altıntasa，b，，A. CüneydTantugZurgaa计算机和信息工程，伊斯坦布尔技术大学，Maslak，伊斯坦布尔，34469，土耳其b土耳其伊斯坦布尔Mahmutbey Unsped Costoms咨询公司研发部，邮编34218A R T I C L E I N F O A B S T R A C T保留字：人工智能自然语言处理依赖分析人类句子解释句子表示超级令牌功能人类和机器之间日益增长的互动提高了对更复杂的自然语言理解工具的需求。依存分析对于捕获句子的语义至关重要。虽然基于图的依赖分析方法优于基于转换的方法，因为它们不像它们的竞争对手那样暴露于错误传播，但它们的特征空间相对有限。因此，基于图的解析的主要问题是如何扩展特征集以提高性能。在本研究中，我们建议扩展基于图的解析器的特征空间。为了从整个句子内容的全局意义中受益，我们将句子表示作为额外的标记特征。此外，为了突出构建子树结构的本地单词协作，我们在令牌嵌入上使用卷积神经网络层。我们通过在测试集上分别获得未标记和标记的依恋分数，实现了土耳其语，英语，匈牙利语和韩语的最新结果;土耳其IMST上的82.64%和76.35%匈牙利塞格德树库为90.85%和87.39%;韩国GSD树库为92.44%和89.58%。我们的实验结果表明，增强的全局和局部特征增强了基于图的依赖解析器的性能。1. 介绍句法分析是通过分析句子的成分来确定句子中单词之间关系的过程。这种句法分析是计算语言学的一个重要组成部分，旨在表示句子的语义提问（QA）（Luo等人，2018年，Wudaru等人，2019，Zeng等人，2021，Zhang等人，2022）、机器翻译（MT）（Wu等人，2018，Zhang等人，2019，Currey Hea field，2019），情绪分析（SA）（Pouran Ben Veyseh等人，2020，Zhao等人，2021，Ke等人，2021，Xiang等人，2022），机器阅读理解（MRC）（胡巧，2020，张等人，2020）、名称实体识别（NER）（Li，Yan等人，2022）、数据到文本生成（D2T）（Seifossadat Sameti，2022）和自然语言理解（NLU）（Schlegel等人，2019年），这是几个值得注意的自然语言处理（NLP）子任务，使用syn- tactical分析来提高系统性能。最近，Li，Parnow，et al.（2022）建议结合句法信息来提高语法纠错（GEC）的性能。Zhang et al.（2021）通过使用依赖分析来提取关系三元组，以优化抽象摘要的实际准确性。石*通讯作者。等人（2022）考虑了Aspect Sentiment Triplet EX traction（ASTE）的单词之间的句法关系。 Liu，Yang，et al.（2022）引入了语法特征，以确保生成的摘要忠于源。Wahab和Sifa（2021）证明，在学习单词表征时，整合依赖性信息可以提高表征的质量。在会话的情感识别（ERC）（Shou et al.，2022）和事件真实性预测（EFP）（Liu，Huang等人，2022年）。计算句法分析可以通过采用不同的方法和形式来完成成分分析主要依赖于上下文无关语法（CFG）来识别构成成分的词的跨度和该成分的类型在依赖形式主义中，词之间的有向二元语法关系描述了句子的句法结构（Jurafsky Mar- tin，2014）。对于形态丰富的语言（如土耳其语和芬兰语），可以在词的形态子单位之间定义额外的依赖关系，因为这些形态子单位在句子中表现出句法功能（O Escherazer，2003）。主要方法˘电子邮件地址：maltintas@itu.edu.tr（M. Altıntas公司），tantug@itu.edu.tr（A.C. Tantug）。https://doi.org/10.1016/j.iswa.2023.200190接收日期：2022年10月18日;接收日期：2023年1月6日;接受日期：2023年1月29日2023年2月8日在线提供2667-3053/© 2023作者。由Elsevier Ltd.发布。这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect智能系统及其应用杂志主页：www.journals.elsevier.com/intelligent-systems-with-applicationsM. AltıntasA.C.坦图智能系统与应用18（2023）2001902依赖性解析是基于转换和基于图的技术。基于转换的方法通过对可能的动作进行评级来构建依赖树，以根据阶段配置来引导解析过程，而基于图的方法通过对令牌或单词之间的每个边缘进行评分来寻找评级最高的依赖树。因此，基于图的技术直接解决问题，而基于transi- tion的方法间接解决问题，这需要进一步的步骤。基于转换的解析考虑到配置的当前状态和每一步的先前转换。这种类型的解析可以利用基于历史的广泛特征表示。由于它们的贪婪性质，基于转换的模型相对快速和高效，然而，由于误差传播，它们的准确性通常低于基于图的模型。基于转换的句法分析研究主要关注的是如何在保持高效率和特征丰富的模型的同时增强学习和推理。例如，Ma et al.（2018）提出了一个堆栈指针网络，通过使用每个步骤的注意力得分来解析句子。而不是 一个解析器，Yuan等人（2019）训练两个：从左到右和从右到左的定向解析器。他们通过联合解码这两个解析器的预测来获得最终的依赖树。然而，基于转换的方法仍然落后于基于图的方法在解析性能方面。基于图的依赖分析算法在给定句子的所有潜在树中寻找最可能的分析树。为了简化搜索，接受整体树得分作为边得分的总和的树。基于图的依赖分析算法通过两个步骤来分析句子：首先，它们为每个可能的边分配一个分数，然后选择得分最高的树作为句子的依赖树。此外，它们能够解析非投射句，这对于许多语言来说是不可忽略的比率，而基于转换的模型只能解析投射句。虽然目前大多数的最先进的结果是通过基于图的方法，基于图的分析的主要问题是如何扩大的范围的功能，以提高性能，而不恶化的时间复杂度在推理。很少有研究关注有效地丰富特征集。例如，Wang和Tu（2020）试图预测二阶依赖关系，如兄弟姐妹，祖父母和共同父母，除了一阶依赖关系外，还用于依赖Ji et al.（2019）建议使用图神经网络（GNN）来构建更全面的依赖树节点表示，以便将高阶属性纳入基于神经图的依赖解析中。在这项研究中，我们介绍了新的增强的中间层特征表示的图为基础的依赖分析。为了丰富特征的范围，从人类大脑用来解释句子的启发，提出了增强的全局和局部特征。我们对这项研究的贡献如下：• 作为一个新的功能，句子表示，存储整个意义的句子已被用作一个额外的令牌功能，提供有关上下文的全局知识。• 采用由卷积神经网络（CNN）层获得的超级令牌特征，以便考虑可以指示局部合作的子树结构，诸如形容词从句、名词短语等，作为令牌的另一新颖的扩展特征。• 增强的局部和全局特征提高了基于图的依赖分析器在分析具有复杂依赖结构的句子时的性能。• 在通用依赖树（UD）树库中对增强了所提出功能的解析器进行了实验评估。我们得到了土耳其语、英语、匈牙利语和韩国语的最新无标签依恋得分（UAS）和标签依恋得分（LAS）。• 一些最近发布的土耳其树库在本研究中首先进行了解析。本研究报告分为七个部分。本文的其余 如下第二部分阐述了本研究的目的和动机。第3节描述了该方法。我们的数据、评估指标和实施规范在第4节中描述。第5节讨论了实验结果和分析。第6节概述了以前的工作。 第7节总结了研究报告，并介绍了今后的工作方向。2. 动机本节概述了我们如何受到启发进行这项研究，以及主要目标是什么。Dozat和Manning（2016）提出了利用深度学习技术进行基于图的依赖关系解析的基石。这项工作的架构是由一个双向层堆叠在一个多层双向长短期记忆（Bi-LSTM）的顶部，它生成输入单词的上下文级别表示（见图1）。需要注意的是，在本文中，在上述研究中，输入词表示是通过连接的基本向量的uncased词与词性（POS）嵌入。单词表示被馈送到模型中，然后由单词级多层Bi-LSTM网络处理以产生上下文单词表示。下一级中的四个单独的线性层使用这些单词表示来生成四个专门的向量表示，这些向量表示用于识别单词之间的依赖关系。这四个专用向量表示中的一个表示寻求其头部的依赖令牌，第二个表示寻求其所有依赖的头部，第三个表示决定其标签的依赖，并且最后一个表示决定其依赖的标签的头部。然后，这些向量被馈送到两个双向注意力分类器中，这两个分类器提供包括依赖性和依赖性标签概率的得分矩阵，每个可能的从属头对。然后，通过使用Dozat等人（2017）中基于字符的表示和Qi等人中的形态句法和引理特征扩展（2018年）。在寻找可能的方法来改善这种架构，我们分析人类的行为在句子的句法分析。 当一个人在解释一个句子时，其单词在阅读或听力过程中被顺序感知，大脑同时通过利用遇到的单词构建预期的解析树（LeeWatson，2012）。然后，通过根据下一个即将到来的单词在预期的解析树上进行修改来递增地继续解释句子，直到句子结束要检索作者或演讲者想要表达的信息，大脑的句子处理器咨询句法知识和支持或依赖于句法知识的各种信息来源（Ramachandran，2012）。这些信息源之一是频率信息，包括特定结构或单词的概率。此外，语义信息编码的意义是如何转移到句法结构被列为一个额外的来源，支持人类的解析过程。书面或口头交流通常由会话或话语中的一系列相关短语组成，这些短语被处理器用来进行句法分析判断。最后，韵律信息，这是由节奏，音调，并在话语中的词的分组，协助检索的作用，一个短语在人类的分析。当我们绘制这些人类用来感知的信息源把感知行为的倾向性引入依存句法分析方法，我们可以说有以下几点见解。 我们预计神经网络可以隐式地学习频率信息。韵律信息与声音有关。从理论上讲，我们可能会增加依赖M. AltıntasA.C.坦图智能系统与应用18（2023）2001903图1.一、具有深度双向注意力的神经依赖解析器的模型结构。如果我们有包括韵律信息的声音或表示而不是纯文本，则通过使用韵律信息来解析效率，这是非常罕见的任务。 另一方面，通过使用整个句子的语义信息和根据捕获关于相关短语的信息的上下文进行解析，在依存关系解析方面似乎仍有改进的空间。我们可以把短语这个词暗示为句子或句子中的一组词。这对双方都是正确的判断。然而，由于我们独立地解析句子，因此考虑句子中的相关词可能会提高依赖解析性能。虽然多层Bi-LSTM层应该对每个单词的左右上下文提供的上下文信息进行建模，但我们建议通过合并可能形成子树结构（如形容词子句和名词短语）的局部上下文来改进这些表示。为了实现这一点，我们在最后一个Bi-LSTM层之后使用CNN层。在句法上相互关联的单词通常在句子中出现得很近。这样，我们尝试通过CNN与Bi-LSTM合作来改善上下文表示。我们将CNN层的输出命名为超级令牌特征。虽然看起来更好地建模单词上下文是有益的，但我们也建议用整个句子的表示来指导双上下文层。该句子表示可以帮助双向语法层通过使用整个句子的含义来绘制决策。根据这种直觉，句子表示向量在将它们馈送到线性层之前被广播到每个令牌。 除了基于图的依赖分析之外，在其他一些自然语言处理任务中，对句子的向量表示的描述已经取得了丰硕的成果。在Lin et al.（2016）的研究中，句子表征在注意力机制中使用，以克服远距离监督关系提取的不正确标记问题。Yang等人（2016）采用句子表示法，以捕捉文档的结构信息进行分类。Ma et al.（2018）通过首先阅读整个句子，然后在基于转换的依赖分析中决定动作，从整个句子的信息中受益。3. 方法这一部分在3.1节中描述了我们的基本模型先前的研究通过采用基于字符的单词表示、POS标签、形态标签、词元和表面形式来增强Dozat和Manning（2016）基本架构的输入的话（Qi等人，2018年，Dozat等人， 2017年）。 为了更好地捕捉单词级别 的 信 息 ， 特 别 是 对 于 像 土 耳 其 语 这 样 形 态 丰 富 的 语 言 ，AltıntasRandandTantug（2022）使用了单词片段（Kudo Richardson，2018）作为单词的额外子单词成分。我们的模型结合了所有前面提到的进步，以产生一个全面的单词表示。图2显示了我们模型的架构。字的子字单位，如字符 句子片段部分由单独的单层LSTM处理，并为每个不同的子词单元类型构建注意机制。子词表示只是连接在一起的词级特征，如表面形式的词，词元，POS和形态句法标记向量。多层BiLSTM鼓励模型提取上下文信息。作为一个补充功能，句子表示，持有语义知识的整体句子中的标记被复制并为每个标记分配的其它附加特征是子树结构的表示。卷积层捕获本地协作，即描述某个主题的句子中的单词组。 Bi-a Bogne分类器M. AltıntasA.C.坦图智能系统与应用18（2023）2001904图二、我们的模型架构概述。预测标识依赖性树和依赖性标签的得分矩阵。������=������,1,������,2,...,是对应词的句段部分的顺序，其中，���������������3.1. 基础模型这个词矢量图���是从标记嵌入的串联中派生出来的，形式上，=0，1，...，������是一个有很多单词的句子，���向量和子令牌表示（Equ.①①）。标记表示Ventionally，在DE-ROOT中，将ROOT0是表面形式，引理，POS标签和形态学的串联特征向量（Equ.（2））。子令牌表示通过以下方式获得：挂起解析每个单词可以由多个特征的集合表示;标记级特征，诸如表面形式词本身、词元词、POS标签词和形态特征词;以及子标记级特征，诸如对应单词的字符和句子片段������������=������,1,������,2, ...,���������是对应单词的字符序列，其中，n是单词字符的数量，������将基于句子片段的单词表示和基于字符的单词表示（等式1）连接起来。（三））。������=������������������ ⊕���������������������������(1)������������������=���(���)⊕��� (��� ���) ⊕ (��� ���) ⊕ (��� )(2)������������������M. AltıntasA.C.坦图智能系统与应用18（2023）2001905���⨁������������������������������������=���(��� ) ⊕��� (��� )(3)������每个子令牌表示由神经网络来计算，神经���网络接受一个序列，������������������������作为输入，并产生单个向量。此函数（Equ.（4））使用对堆叠的隐藏状态的注意力（等式（4））。（6））的一层LSTM（Equ.（5））。在注意机制中采用了S形激活函数（Equ.（七））。���������������（ℎ��� =������������((���(������,0),...,���������������（���=[���（6）���������������������������������������������������������=为了从语义向量生成上下文单词表示，单词���在训练阶段，这两个双向分类器关于交叉熵损失的总和进行联合训练。在推理阶段，使用Chu-Lie-Edmonds技术（Chu，1965）从所得得分矩阵中提取最大生成树。图3示出了如何利用结果来形成标记依赖性解析树。3.2. 句子表征扩充解析器可以在解析之前查看整个句子，这允许提取关于句子的整个含义的全局知识，这可以帮助解析器识别句子中单词之间的依赖关系。在文献中，获得句子向量表示的方法可以分为两类。第一个水平多层Bi-LSTM被利用（Equ.（八））。预先训练的词向量-tor通过与最后一个Bi-LSTM层上的对应单词的右隐藏状态和左隐藏状态级联而被包括在模型中（等式10）。（9））。在一些早期的作品中（Qi等人，2018年，Li等人，2019，2020，Ji等人，2019），预训练的词向量在Bi-LSTM层之前被包含到模型中。当采用非上下文预训 练 的 词 向 量 如 word2vec （ Mikolov 等 人 ， 2013 ） 、 FastText（Joulin等人，2016）或GloVe（Pennington等人，2014），这是产生上下文敏感的单词表示的正确方法。然而，采用上下文预训练的单词表示，如BERT（&Toutanova，2019），ELECTRA（Clark等人，2020）和ELMo（Peters等人，2018）作为递归神经网络（RNN）的输入，冗余地增加了参数的数量和复杂性。因此，我们建议稍后添加上下文预训练的单词向量，特别是在Equ（9）中应用的单词级Bi-LSTM层之后。（������，）=������������������（（���0，.，������中文（简体）������=���(������)⊕⃖ℎ⃖⃖⊕ℎ⃖⃖⃗(9)������其中，表示词的预训练模型向量，������������词的左、右方向的最后一个隐藏状态分别表示在左、右方向上的最后一个隐藏状态，词的中间层表示是词的中间层表示。���Dozat和Manning（2016）建议的深度双注意力被用作分类器。为了得到集中的特征和去除冗余的特征，将多层感知器（MLP）应用于特征编码器的输出，作为特征编码器的输出。������两种替代表示法用于head和dependent。其中一个代表令牌作为一个头，寻求其依赖（方程。（10），而另一个将令牌表示为寻找其头部的依赖（Equ.（11））。然后，这些表示被馈送到双向注意机制中，该双向注意机制为句子中的每个标记产生包含作为对应标记的父标记的概率的得分向量（Equ.（13））。一种是基于单独的令牌表示，包括简单或加权平均和深度平均网络（DAN）（Iyyer等人，2015年）。此外，RNN层可以用来找到一个特殊的嵌入，通过使用单独的令牌嵌入来加密单词序列。第二类可以直接计算句子嵌入，例如Doc 2 vec（Le Mikolov，2014），Sentence-BERT（Reimers等人，2019），通用句子编码器（Cer等人，2018），以及BERT嵌入。为了在这项工作中获得句子表示，可以使用BERT（Toutanova，2019）或ELECTRA（Clark等人，2020）采用预先训练的语言模型。在这两种语言模型中，它们也被训练来预测下一个句子，每个序列都以一个特定的分类标记开始。���������它对应于整个输入序列的表示。为了丰富句子表示，除了预训练模型的最后隐藏向量之外，顶部Bi-LSTM层的向后和向前方向的最后隐藏状态���������（Equ. （18））。������������������������������������ ���������=���(���������)⊕⃖ℎ⃖0⃖⊕ℎ⃖⃗���(18)其中，返回预训练模型的整个序列表示，而E_和D_分别指示左方向和右方向的最后隐藏的n个状态���������������3.3. 通过CNN（超级令牌）进行将上下文中的中间级别单词表示（单词表示）堆叠在一起以形成矩阵XXx x（等式1）。（19））。 然后，将卷积用作CNN层的输入，CNN层具有不同的内核大小，这些内核大小负责通过在由上限卷积限制的两个或更多个顺序令牌上操作的多滤波器来抓取子树结构（Equ.（20））。在我们研究的语言中很少遇到长于5个单词的子树结构，因此我们在本研究中将上限K限制为5。我们将得到的向量命名为超级令牌，因为它包含跨越多个令牌的依赖信息���=[������������（19）������������������（（−）��������� （中文）（10）���������������������������������������������������=���（（，））（20）���������������������������������������������������������������（���（���������−���������）= [（���������−���������）;...; （���������−��������� 1）]（12）=2特征编码器0���相应的单词“calling”是由连接contextualized������������������������������������������������������������（token表示法、super token表示法和sentence表示法，������类似地，另一个双向分类器用于获得具有每个潜在头部的对应令牌的依赖性标签概率（Equ. （17））。���������������������������������������������������（���������������������������������������������������（���（���������−���������）= [（���������−���������）;...; （������������������16）在句子中为每个标记广播的句子（Equ.（21））。������=������ ⊕������������������������������������������������ ⊕������������������������������������������(21)所获取的令牌表示被用作深度双向注意层的输入，如第3.1节所示。尽管额外的CNN层通过将学习参数的数量增加8%而引入了额外的计算开销，但它们使0���更好地利用当地情况作出决定，并有助于������������������������������������������������������������（平均超过0.3分������M. AltıntasA.C.坦图智能系统与应用18（2023）2001906图3.第三章。使用模型输出生成标记依赖树，模型输出是依赖分数矩阵和关系分数张量。表1在我们的实验中使用的树库的一些突出特性。火车组中的句子计数12543 910 4400 3664 7803 15398 8658--15375测试集中的句子计数2077 449 989 983 979 1643 540 1000 2880 2193验证集2001中的句子计数441 950 988 979 1646 359--2181唯一令牌数量19337 13469 35846 17105 35201 45036 20573 7352 5098 5126句子中的平均标记数15.33 23.35 12.67 10.26 12.53 9.56 9.14 16.88 5.96 4.66语系印欧语系乌拉尔语朝鲜语突厥语4. 实验设置我们将在本节中描述如何实施和评估所提出的方法。4.1. 数据和评价指标我们提出的增强测试在四种语言：土耳其语，英语，匈牙利语和韩语。我们已经利用土耳其IMST，英语EWT，匈牙利Szeged，韩国GSD树库上的通用语法项目1，它提供了一个框架，统一语法标注（词性，形态特征和句法依赖关系）在100多种人类语言。为了对土耳其语进行更全面的检查，我们还聘请了土耳其BOUN，土耳其KeNet，土耳其Penn，土耳其PUD，土耳其GB和土耳其旅游。表1显示了这些树库的一些细节。除了PUD和GB之外，所有上述树库都有训练集、验证集和测试集。PUD和GB只有一个测试集。我们已经使用了一种特殊的分裂方法，都是在树库里提供的所提出的模型使用训练集进行训练，验证集用于微调超参数，并且使用测试集评估模型，该测试集在测试期间没有看到。训练阶段。虽然之前的一些研究，如（Suluba-cakEryigelit，2018）在训练和评估阶段排除了非投射依赖性，但我们选择在测试中包括非投射和投射依赖性，以便更好地模拟真实用例，其中可以包括这两种依赖性。图图4显示了土耳其IMST的一个例句在句子之间留一个空行注释行以散列（“#”）开头。每个单词包含十个注释字段，由单个选项卡分隔。‘Id’ is the index of the word, ‘Form’ is how the word appears in“Deps”字段包含增强的依赖关系图信息。最后，土耳其IMST（Sulubacak等人，2016）包括5，635个注释句子，这些句子从日常新闻故事和文学中收集。English EWT（Bies等人，2012年）包括半自动标注的16,621句话，这些句子是从博客，新闻组，电子邮件，评论和雅虎！应答匈牙利Szeged（Zeroze et al.，2010）包含了1,800个来自报纸的人工注释的句子，涉及各种主题，如政治、经济、体育和文化。韩国GSD（Chun等人，2018）包括从博客和新闻通讯社收集的6，339个手动注释的句子BOUN（Türk等人，2021）是一个手动注释的树库，由9，757个这些句子取自土耳其国家语料库。2文章，新闻来自全国性报纸、教学文章、流行文化故事和传记文本构成其内容。KenetTreebank（Özçelik等人，2019），其中包括小说中的句子，日常对话，诗歌中的诗句，从土耳其语作为-1https://universaldependencies.org/。2https://www.tnc.org.tr/。英语EWT匈牙利塞格德韩国GSD土耳其IMST土耳其BOUN土耳其KeNet土耳其佩恩土耳其PUD土耳其GB土耳其旅游M. AltıntasA.C.坦图智能系统与应用18（2023）2001907表2图四、 一个来自Universal Advertisements Turkish IMST Treebank的例句。表3每种语言都开发了语言模型。语言语言模型参考EnglishELECTRAClark et al. （2020年）匈牙利BERTNemeskey（2020）韩国ELECTRAKim（2020）电影ELECTRASchweter（2020）sociation土耳其Penn树库有9，560个注释句子，这些句子是从英语Penn树库翻译过来的（Marcus et al.，1993年，土耳其。句子长度限制在 15 个 字 以 内 。 一 种 半 自 动 形 态 学 -翻 译 后 使 用 cal 分 析 器 。dependency注解都是手工进行的。PUD包括来自新闻领域和维基百科的注释1，000句。GB Treebank（2015年）包含2，802个句子，这些句子被仔细注释为语法书示例。旅游树库包含19，750个手动注释的句子，这些句子来自一家旅游公司的真实客户评论使用基于词的未标记依恋评分（UAS）和标记依恋评分（LAS）作为评价指标。他们被定义为正确中心词所占的百分比和正确关系类型的正确中心词所占的百分比。评估脚本与CoNLL 2018 UD共享任务中使用的脚本相同。44.2. 实现细节和超参数为了获得与先前研究可比的结果，我们使用与先前研究相同的超参数（Dozat等人， 2017）和（Li等人，2020年，进行了一些小的修改。为了获得单词级的上下文表示，采用了三个堆叠的Bi-LSTM层。一层LSTM用于获得子字级表示。弧向量和标签向量的维数分别为512和128。学习率和辍学率分别为0.00005和0.5。使用具有线性计划预热的AdamW优化器（Loshchilov Hutter，2018）。初始预热步骤和最大训练步骤数分别为0和500 K。ELEC-TRA预训练语言模型用于生成预训练词向量和句子向量，如表2所示。由于匈牙利ELECTRA模型在本研究时不可用，因此我们使用匈牙利BERT模型。在训练期间，从预训练模型的最后一层开始，在每次迭代中再调整一层。所有树库都使用相同的超参数。表3总结了我们实验的超参数。3https://sozluk.gov.tr/。4http://universaldependencies.org/conll18/。我们研究的超参数。：如果没有特别提到，层的隐藏维度可以是LSTM，线性等。它被用作400。超参数值字级Bi-LSTM层3字嵌入暗淡。75标记嵌入尺寸50子令牌嵌入dim.100弧矢量尺寸512标签矢量尺寸128默认隐藏调光。∗400辍学率0.5AdamW优化器0.900美元20.999美元学习率5e-5我们裁剪某些子标记序列，因为某些子标记类型具有异常长的输入序列。前十个句子片段被用来生成基于句子片段的标记表示，而其余的句子片段被忽略。类似地，对于基于字符的令牌表示，仅使用前20个字符。5. 讨论本节讨论了实验结果。与早期研究相比，所提出的改进对模型和所获得的结果的影响。不同的复杂性的依赖树的建议的特点的影响investi-门。还描述了特征的消融检查5.1. 结果我们在UD土耳其IMST、UD英语EWT、匈牙利塞格德和韩国GSD树库上的实验的UAS和LAS结果在本节中给出，以及先前在相同树库上报告的最新结果。表4显示了每个树库的四个不同模型的性能：基本模型和在基本模型之上构建的三个增强模型。我们的基本模型是通过使用预先训练的向量和Bi-LSTM输出构建的，它只是Dozat和Manning（2016）的扩展版本，具有第3.1节中描述的一些额外的单词和子单词单元处理。增强模型分别是使用句子表示的模型，如第3.2节所述，使用超级令牌的模型，如第3.3节所述，以及使用这两种增强的模型。我们报告的结果具有95%（百分比）的置信水平误差范围，并给出了其他研究的误差范围（如果在参考文献中可用）M. AltıntasA.C.坦图智能系统与应用18（2023）2001908表4UAS和LAS实验树银行;土耳其IMST，英语EWT和匈牙利塞格德和韩国GSD。树银行模型UAS LAS GGDP（Li等人，2020年）82.0671.50BIAF（Ma等人，2018年）79.84 ±0.23 68.63 ±0.29STACKPTR（Ma等人，2018年）79.56 ±0.22 68.03 ±0.15Stanza（Qi等人，2020年）75.09 69.57UDify（Kondratyuk Straka，2019）74.66 67.30UDify + IMST微调74.53 67.65土耳其IMST英语EWT匈牙利塞格德韩国GSDStraka et al.（2019年）74.19 67.56UDPipe 2.0 with BERT+Flair 76.30 70.11混合规则与变形（Özates et al.，（2022年）我们的基础模型81.74 ±0.42 75.98 ±0.19+句子表征82.60 ±0.30 76.33 ±0.37+超级令牌特性82.64±0.3276.35±0.08+句子重复+超级令牌功能82.49 ±0.06 76.33 ±0.30GGDP（Li等人，2020年）93.17 90.79BIAF（Ma等人，2018年）91.91 ±0.17 89.82 ±0.16STACKPTR（Ma等人，2018年）91.93 ±0.07 89.83 ±0.06UDify（Kondratyuk Straka，2019）90.96 88.50Straka et al.（2019年）89.63 86.97UDPipe 2.0 with BERT+Flair 92.50 90.40我们的基础模型93.09 ±0.15 91.21 ±0.09+句子表征93.25 ±0.16 91.26 ±0.13+超级令牌特性93.27 ±0.1091.34±0.11+句子重复+超级令牌功能93.36±0.2791.34±0.26UDify（Kondratyuk Straka，2019）89.68 84.88Straka et al.（2019年）84.04 79.73UDPipe 2.0 with BERT+Flair 88.76 85.12我们的基础模型90.51 ±0.07 87.00 ±0.15+句子表征90.65 ±0.12 87.34 ±0.03+超级令牌特性90.85±0.0687.39±0.12+句子重复+超级令牌功能90.79 ±0.19 87.37 ±0.16UDify（Kondratyuk Straka，2019）82.74 74.26Straka et al.（2019年）87.70 84.24UDPipe 2.0 with BERT+Flair 89.38 86.05我们的基础模型92.10 ±0.07 89.27 ±0.15+句子表征92.24 ±0.10 89.47 ±0.15+超级令牌特性92.26 ±0.09 89.56 ±0.23+句子重复+超级令牌功能92.44±0.1389.58±0.20结果表明，句子表征和超词项特征都有助于依存句法分析的准确性，产生了比基础模型更高的UAS和LAS值。超标记特征对所有实验语言的贡献都超过了句子表征。这意味着本地协作特征至少和依赖解析中的全局特征一样重要。事实上，这一结果是预料之中的，因为无论语言如何，大多数单词都倾向于cre- 与位置更近的单词产生句法依赖关系。这种情况下，可以通过使用单词在特定距离处的相邻单词来捕获单词的语义含义，如word2vec中所示（Mikolov et al.，2013）等是人类大脑的自然行为，因为认知记忆的限制（Gómez-Rodríguez et al.，2019年）。认知局限性渗透在语言学概念中通过揭示人类语言生产力的本质，我们发现，具有句子表示和超级标记特征的模型为英语EWT和韩语GSD产生了最高的UAS和LAS分数，但它低于土耳其IMST和匈牙利塞格德的超级标记特征模型所获得的结果。本研究采用连接技术将基本表征特征、句子表征特征和超表征特征结合起来。作为一个直接的结果，分类器的输入维度增长。更高的向量基数增加了分类器的复杂性，并需要更多的训练数据才能成功泛化。表1表明，土耳其IMST和匈牙利塞格德树库的训练数据大小小于英语EWT和韩国GSD树库，当两者都增强时，英语EWT和韩国GSD树库提供最高分数。tures被使用。这一发现表明，结合这两个增强的功能会导致树库的过度拟合问题，训练数据不足，无法提供良好的泛化。表4亦包括我们从一些重要的早期实验树木库研究中报告或获得的UAS和LAS值。尽管先前最先进的结果与我们的一些顶级结果之间的差异相对较小，但我们结果的置信区间表明我们始终获得较高的分数。因此，我们获得了优于以前报道的国家的最先进的结果依赖分析所有测试树库。为了突出增强功能的优点和缺点，表5展示了来自土耳其IMST测试集的几个样本句子的标记依赖树预测。国家的预测全局贪婪依赖解析器（GGDP）等（2020），我们的基本模型和我们的增强模型利用提出的增强。这两种改进都提高了解析器的预测能力。超级标记增强赋予解析器更多的能力，而不是句子表示，特别是在检测名词，从句和修饰语依赖关系。为了对土耳其语进行更详细的评估，我们在更多的土耳其语树库上进行了广告实验。表6显示了在所描述的树库的训练集上训练的模型在这些树库的测试集上的UAS和LAS值。表6中的最后一行显示了相应测试集上先前发布的最佳UAS和LAS。Türk等人（2021）通过结合IMST和BOUN训练集获得了BOUN和PUD的规定评分。其中一些M. AltıntasA.C.坦图表9智能系统与应用18（2023）2001909标签依赖树预测和来自土耳其IMST测试集的样本
我的内容管理
展开
