如果我们有包括韵律信息的声音或表示而不是纯文本,则通过使用韵律
信息来解析效率,这是非常罕见的任务。 另一方面,通过使用整个句
子的语义信息和根据捕获关于相关短语的信息的上下文进行解析,在依
存关系解析方面似乎仍有改进的空间。我们可以把短语这个词暗示为句
子或句子中的一组词。这对双方都是正确的判断。然而,由于我们独立
地解析句子,因此考虑句子中的相关词可能会提高依赖解析性能。
虽然多层层应该对每个单词的左右上下文提供的上下文信息
进行建模,但我们建议通过合并可能形成子树结构(如形容词子句和名
词短语)的局部上下文来改进这些表示。为了实现这一点,我们在最后
一个层之后使用层。在句法上相互关联的单词通常在句子
中出现得很近。这样,我们尝试 通过与合作来改善上下
文表示。我们将层的输出命名为超级令牌特征。
虽然看起来更好地建模单词上下文是有益的,但我们也建议用整个
句子的表示来指导双上下文层。该句子表示可以帮助双向语法层通过使
用整个句子的含义来绘制决策。根据这种直觉,句子表示向量在将它们
馈送到线性层之前被广播到每个令牌。 除了基于图的依赖分析之外,
在其他一些自然语言处理任务中,对句子的向量表示的描述已经取得了
丰硕的成果。在 ()的研究中,句子表征 在注意力机制
中使用,以克服远距离监督关系提取的不正确标记问题。等人
()采用句子表示法,以捕捉文档的结构信息进行分类。
()通过首先阅读整个句子,然后在基于转换的依赖分析中决定动
作,从整个句子的信息中受益。
3.
方法
这一部分在节中描述了我们的基本模型
先前的研究通过采用基于字符的单词表示、标签、形态标签、词
元和表面形式来增强和()基本架构的输入 的话
(等人,年,等人, 年)。 为了更好地捕捉单词级
别 的 信 息 , 特 别 是 对 于
像
土 耳 其 语
这 样
形 态 丰 富 的 语 言 ,
()
使用
了
单词片段( ,
)作为单词的额外子单词成分。我们的模型结合了所有前面提到的
进步,以产生一个全面的单词表示。图显示了我们模型的架构。字的
子字单位,如字符 句子片段部分由单独的单层处理,并为每个不
同的子词单元类型构建注意机制。子词表示只是连接在一起的词级特
征,如表面形式的词,词元,和形态句法标记向量。多层鼓
励模型提取上下文信息。作为一个补充功能,句子表示,持有语义知识
的整体
句子中的标记被复制并为每个标记分配的
其它附加特征是子树结构的表示。卷积层捕获本地协作,即描述某个主
题的句子中的单词组。 分类器