"ACL 2022：将预训练语言模型与手工特征结合的无监督词性标注"

ACL

2022

PDF格式 | 18.83MB | 更新于2025-01-16 | 174 浏览量 | 举报

327

计算语言学协会发现：ACL

2022，第3276-3290页，2022年5月22日至27日，计算语言学协会c2022

将预训练语言模型和手工特征结合起来进行无监督词性标注

周厚权，李阳，李正华，张敏，苏州大学计算机科学与技术学院人工智能研究所，中国{hq

zhou，ylinlp}@stu.suda.edu.cn；{zhli13，minzhang}@suda.edu.cn

摘要

近年来，大规模预训练语言模型（PLMs）在大

多数自然语言处理任务中取得了非凡的进展。

但是，在无监督词性标注任务中，利用PLMs的

研究工作很少，并且未能达到最先进的性能（S

OTA）。最近的SOTA性能是由He等（2018）

提出的一种高斯HMM变体实现的。然而，作为

一种生成模型，HMM做出了非常强的独立性假

设，这使得很难将PLMs的上下文化词表示纳入

其中。在这项工作中，我们首次提出了一种用

于无监督词性标注的神经条件随机场自编码器

（CRF-AE）模型。CRF-AE的判别式编码器可

以直接纳入PLM词表示。此外，受到特征丰富

的HMM的启发，我们将手工特征重新引入CRF

-AE的解码器中。最后，实验证明我们的模型在

Penn

Treebank和多语言通用依存树库v2.0上的性能

明显优于先前的最先进模型。

1引言

无监督学习一直是自然语言处理中一个重要且具有

挑战性的研究方向（Klein和Manning，2004；Lia

ng等，2006；Seginer，2007）。直接从无标注

数据中训练模型可以减轻痛苦的数据标注工作，因

此对于资源匮乏的语言尤其具有吸引力（He等，2

018）。作为句法分析的三个典型任务，无监督词

性（POS）标注（或诱导）、依存句法分析和短语

结构句法分析在过去三十年中吸引了广泛的研究兴

趣（Pereira和Schabes，1992；Christodoulopo

ulos等，2010）。与树结构依存和短语结构分析相

比，词性标注对应于更简单的顺序结构。

周厚权和杨阳对本文贡献相等。李正华为通讯作者。

我看了看我的手表。

代词过去式动词介词代词所有格名词。

图1：词性标注示例。

简单来说，无监督词性标注任务旨在将一个词分配

一个词性标签，如图1所示。除了减轻标注数据的

负担外，无监督词性标注对于儿童语言习得研究尤

为有价值，因为每个孩子都能在没有标注数据的情

况下诱导出句法类别（Yuret等，2014）。

现如今，基于大规模标注数据训练的监督式词性标

注模型已经能够达到极高的准确率，例如在英文Pe

Treebank（PTB）文本上可以达到97.5%以上的准

确率（Huang等，2015；Bohnet等，2018；Zho

u等，2020）。然而，无监督词性标注虽然吸引了

很多研究兴趣（Lin等，2015；Tran等，2016；H

e等，2018；Stratos，2019；Gupta等，2020）

，但在多对一（M-1）准确率上最多只能达到80.8

%，其中M-1表示在测试数据上评估模型时，多个

诱导标签可以映射到一个单一的真实标签。

生成式隐马尔可夫模型（HMMs）是无监督词性

标注最具代表性和成功的方法（Merialdo，1994

；Graça等，2009）。通过将词性标签视为潜变

量，一阶HMM将句子和标签序列的联合概率p（x

，y）分解为独立的发射概率p（xi∣yi）和转移概

率p（yi−1∣yi）。训练目标是最大化边缘概率p（

x），可以通过EM算法或直接梯度下降求解（Sala

khutdinov等，2003）。Berg-Kirkpatrick等（2

010）提出了一种特征丰富的HMM（FHMM），

它进一步使用许多手工特征参数化p（xi∣yi）。

+v:mala2277获取更多论文

3277

形态学特征极大地提高了基本HMM的M-1准确率

，从63.1提升到了75.5。在深度学习时代，研究人

员对无监督POS标注的HMM进行了大量的关注。L

in等人（2015年）提出了高斯HMM（GHMM）

，其中p(xi∣yi)对应于xi的预训练词嵌入（在训练期

间固定）相对于yi的高斯分布的概率。Tran等人（

2016年）提出了神经HMM模型（NHMM），其

中p(xi∣yi)和p(yi−1∣yi)都通过具有POS标签和词嵌

入作为输入的神经网络计算得出。He等人（2018

年）通过引入可逆神经投影（INP）组件来扩展Lin

等人（2015年）的高斯HMM，用于预训练词嵌入

，这在训练期间具有调整词嵌入的类似效果。他们

的INP高斯HMM（INP-GHMM）方法迄今为止在

PTB上实现了最先进的（SOTA）M-1准确率（80.

8）。HMM的主要缺点是在发射概率p(xi∣yi)中存

在强独立性假设，这直接阻碍了来自强大的预训练

语言模型（PLMs）如ELMo/BERT（Peters等人，

2018；Devlin等人，2019）的上下文化词表示的

使用。这是一个遗憾，因为PLMs能够极大地提升

许多NLP任务的性能。在这项工作中，我们首次提

出了一种用于无监督POS标注的神经条件随机场自

编码器（CRF-AE）模型，受到Ammar等人（201

4年）提出的非神经CRF-AE模型的启发。在CRF-A

E的判别式编码器中，我们直接引入了ELMo词表示

。此外，受到特征丰富的HMM（Berg-Kirkpatric

k等人，2010年）的启发，我们将手工特征重新引

入CRF-AE的解码器。总之，这项工作做出了以下

贡献：●

我们首次提出了一种用于无监督POS标注的神经C

RF-AE模型。

●

我们在CRF-AE模型中成功地将PLMs和手工特征

●

我们的模型在45个标签的英文PTB数据上实现了83.21

的新SOTA

●

经过一些简单的调整，我们的模型在12个标签的多

语言通用依存树库v2.0（UD）上实现了新的SOTA

M-1准确率，平均超过了之前的最佳结果4.97。我

们在https://github.c上发布了我们的代码

y1y2y3...yn

x1x2x3...xn

图2：CRF-AE的示意图

https://github.com/Jacob-Zhou/FeatureCRFA

E，包括我们重新实现的HMM和FHMM模型。

2VanillaCRF-AE

在这项工作中，我们采用CRF-AE方法作为我们无

监督POS标注的基本模型。非神经CRF-AE模型最

早由Ammar等人（2014年）提出，用于无监督序

列标注任务，受到神经网络自编码器的启发。Cai

等人（2017年）也将这个想法扩展到非神经无监

督依存句法分析。基本思想是首先使用一个判别式

CRF在观察到的句子上生成潜在结构，即POS标签

序列，然后在给定每个潜在结构的情况下重构原始

句子。这两个步骤分别对应编码器和解码器。训练

损失。我们将一个句子表示为x=

x1,x2,...,xi,...,xn，将一个POS标签序列表示为y=

y1,y2,...,yi,...,yn。给定一个不包含任何POS标签序

列的无标签数据集D，训练损失为：

L(D;φ,θ)=-∑x∈DlogE[yp(y∣x;φ)]p(x∣y;θ)

+λ(∥φ∥22+∥θ∥22),(1)

其中p(y∣x;φ)是CRF编码器；p(x∣y;θ)

是解码器；φ和θ是模型参数。这个训练损失鼓励

模型符合这样的直觉：高概率的POS序列也应该具

有高概率的句子重构能力。

Ammar等人（2014年）采用期望最大化（EM）算

法进行训练。在这项工作中，我们直接通过前向算

法计算训练损失。然后，我们利用深度学习的强大

AutoGrad函数计算每个参数的梯度。我们在HMM

和特征丰富的HMM上进行的初步实验表明，这种

基于梯度的方法在效率和性能上始终优于EM。

+v:mala2277获取更多论文

)

. . .

3278

推理。在评估过程中，我们遵循Ammar等人（20

14年）的方法，使用CRF和重构概率来获取最优的

标签序列：

y=argmaxyp(y∣x;φ)p(x∣y;θ),(2)

这可以通过维特比算法求解。CRF编码器：p(y∣x;

φ)。作为一种判别性对数线性模型，CRF编码器定

义了一个条件概率：

p(y∣x;φ)=exp(S(x,y;φ))

Z(x;φ)≡∑yexp(S(x,y;φ)),

其中Z(x)是分区函数，也称为归一化项。给定x的

标签y的分数被分解为二元分数：

S(x,y;φ)=∑i=1ns(x,yi−1,yi;φ).(4)

Ammar等人（2014年）使用手工离散特征获取二

元分数。

s(x,yi−1,yi;φ)=φg(x,yi−1,yi,i).(5)

解码器：p(x∣y;

θ)。解码器计算给定POS标签序列y的重构概率x，

该概率基于强独立性假设分解为位置上的逐个生成

概率。

p(x∣y;θ)=∏i=1np(xi∣yi;θ).(6)

Ammar等人（2014年）使用一个分类分布矩阵θ

，通过EM训练进行更新，以维护所有生成概率p(x

i∣yi)，即由标签yi生成的词xi。

3提出的方法

在这项工作中，我们首次提出了一种神经CRF-AE

，并利用PLM表示和手工特征进行无监督的词性标

注。

3.1CRF编码器w/PLM表示

如第2节所讨论的，CRF-AE框架由两个主要组件组

成，即CRF编码器和用于句子重构的解码器。我们

首先介绍如何增强CRF编码器。

x1x2x3...xn

00000000

y1

x1x2x3...xn

p(x1∣y1;θ)

s(x,y1;φ)t(y2,y3;φ)

减号操作

首字母大写：

层的”

y

图3：提出模型的架构。x是“CRF编码器w/ELMo表示

”，y是“重构w/手工特征”。

CRF编码器的主要挑战是如何通过有效的上下文表

示更准确地引导潜在序列。与DL时代之前的大多

数工作一样，Ammar等人（2014年）使用手动设

计的特征来表示上下文。DL带来的主要进展之一

是通过LSTM和Transformer等神经网络进行上下

文表示的强大能力。此外，预训练语言模型（如EL

Mo和BERT）极大地增强了这一优势，并且已被证

明能够显著提高几乎所有NLP任务的性能。然而，

除了Tran等人（2016年）和Gupta等人（2020年

）之外，很少有研究尝试利用这种神经上下文化编

码器进行无监督的词性标注。最重要的是，据我们

所知，迄今为止还没有成功地利用PLM进行无监督

的词性标注的研究。在这项工作中，我们提出利用

PLM的上下文表示来增强CRF-AE模型的CRF编码

器。这里我们使用ELMo（Peters等人，2018年）

来说明我们的方法，其他PLM如BERT也是一样的

。

ELMo输出。ELMo的编码器由三层组成（Peters等

人，2018）。底层通过逐字卷积神经网络计算无上

下文的单词表示。顶部两层，每层有两个单向LST

M，通过连接正向和反向表示获得上下文感知的单

词表示。

+v:mala2277获取更多论文

剩余14页未读，继续阅读

cpongm

粉丝: 6

"ACL 2022：将预训练语言模型与手工特征结合的无监督词性标注"

8-4乐府：预训练语言模型在诗词对联生成中的应用.pdf

ACL_2019_模型预训练_2020_01_26.pptx

基于acl库封装c\c++ 的redis-client客户端源码

nlp预训练微调原理

华为ensp acl配置实验

acl访问控制列表的部署

ensp中查看acl策略的命令

如何实现访问控制列表（ACL）：某些操作系统支持访问控制列表（ACL），您可以使用 ACL 来限制对文件的访问。通过设置适当的 ACL 权限，只允许授权的用户或组进行读写操作。

fatal error: sys/acl.h: no such file or directory

华为ACL的所有配置命令

最新资源