小 型 微 型 计 算 机 系 统
Journal of Chinese Computer Systems
2019
年
6
月 第
6
期
Vol. 40 No. 6 2019
1
MUC. http: / /en. wikipedia. org. wiki /Message_Understanding_Conference.
2
ACE. http: / /en. wikipedia. org. wiki /Automatic_Content_Extraction.
收稿日期
: 2018-08-28
收修改稿日期
: 2018-09-26
基金项目
:
国家自然科学基金青 年基金项目
( 61602401)
资助
;
河北省高等学校科学 技术
研究青年基金项目
( QN2018074)
资助
.
作者简介
:
冯建周
(
通讯作者
) ,
男
,1978
年生
,
博士
,
副教授
,CCF
高级会员
,
研究方向为知识图谱
、
语义
web;
马祥聪
,
男
,1994
年生
,
硕士
,
研究方向为知识库补 全
;
刘亚坤
,
男
,1997
年生
,
研究方向为命名实体识别
、
实体关系抽取
;
宋沙沙
,
女
,1992
年
生
,
硕士
,
研究方向为命名实体识别
、
实体关系抽取
.
关于命名实体识别的生成式对抗网络的研究
冯建周
,
马祥聪
,
刘亚坤
,
宋沙沙
(
燕山大学 信息 科学与工程学院
,
河北 秦皇岛
066004)
(
燕山大学 河北 省软件工程重点实验室
,
河北 秦皇岛
066004)
E-mail: fjzwxh@ ysu. edu. cn
摘 要
:
本文结合条件生成式 对抗网络
( CGAN)
和改进的
Wasserstein
生成式对抗网络
( WGAN-GP) ,
提出一种适合于命名实
体识别任务的条件
Wasserstein
生成式对抗网 络模型
( CWGAN) .
该模型借鉴
CGAN
以文本描述为条件的图像概率分布的思
想
,
来完成以句子 序列为条件获得标注序列概率分布的任务
.
该模型的生成器和判别器都采用
BiLSTM
结构
,
不同的是生成器
生成命名实体标签的概率分布
,
判别器则为生成器的 生成质量打分并反馈给生成器
,
生成器根据反馈更新 梯度从而提升生成标
签概率的质量
.
另外
,CWGAN
采用梯度惩罚的方法 来保证梯度在反向传播的过程中保持平稳
,
通过拉近真实样本分布和生成
样本之间的
Wasserstein
距离
,
优化目标函数
.
最后通过实验 验证了该方法的可行性和优越性
.
关 键 词
:
命名实 体识别
;
生成式 对抗网络
; BiLSTM; Wasserstein
距离
; CWGAN
中图分 类号
: TP311
文献标 识码
: A
文 章 编 号
: 1000-1220( 2019) 06-1191-06
Research on Generative Adversarial Networks of Named Entity Recognition
FENG Jian-zhou,MA Xiang-cong,LIU Ya-kun,SONG Sha-sha
( Yanshan University College of Information Science and Engineering,Qinhuangdao 066004,China)
(
Yanshan University Key Laboratory of Hebei Softw are Engineering,Qinhuangdao 066004,China)
Abstract: This paper proposed a Generative Adversarial Nets suitable for the task of named entity recognition named Conditional Was-
serstein Generative Adversarial Nets( CWGAN) ,inspired from Conditional GAN and improved Wasserstein GAN. Relative to the im-
age probability distribution conditioned on textual description in CGAN,CWGAN obtains the NER label sequence probability distribu-
tion conditioned on sentence sequences. Both the generator and the discriminator use a bidirectional LSTM network. The difference is
that the generator generates the probability distribution of the named entity tags,and the discriminator scores the generation quality of
the generator and feeds it back to the generator. The generator updates the gradient according to the feedback to improve the quality of
the probability of generating tags. In addition
,this paper use gradient penalty in improved Wasserstein GAN to ensure that the gradient
remains stable during backward propagation. Meanwhile
,this paper use the mean which decrease the Wasserstein distance between real sam-
ple distribution and generate sample ensure that the target functio n is optimized. Experiments show that the C WGAN model we proposed is
effective in the task of named entity recognition. Finally,the feasibility and superiority of the method are verified by experiments.
Key words: named entity recognition; generative adversarial networks; bidirectional LSTM; w asserstein distance; conditional wasser-
stein generative adversarial nets
( CWGAN)
1
引 言
互联网的快速发展使网络信息呈爆发式增长
,
同时网络
信息的形式也变得越来越多样化
,
这给用户有效利用网络信
息资源带来了很大的不便
.
面对网络信息爆发式增长带来的
挑战
,
信息抽取技术逐渐发展起来
.
信息抽取是指从大规 模的
无结构文本中提取出用户真正感兴趣的信息
,
并以结构化或
半结构化的形式存储 或输出
[1]
.
信息抽取技术起源于
20
世纪
70
年代早期对自然语言处
理
( Natural Language Processing,NLP)
的研究
,
而后从
20
世纪
80
年代中 期开 始 蓬 勃 发 展 起 来
,
这 得 益 于 消 息 理 解 会 议
( Message Understanding Conference,MUC)
1
的推动
.
继
MUC
之后
,
自动内容抽取
( Automatic Content Extraction,ACE)
2
评
测会议也对信 息抽取技术的发展起着关键性的作用
.
根据
ACE
的划分
,
信息抽取主要包括
4
个方面的研究
:
命名实 体识别
、
指代消解
、
实体关系抽取和事件 抽取
.
其中
,
命
名实体 识别
( Named Entity Recognition,NER)
是这些任务中
最关键的部分
.
这是因为命名 实体识别是
NLP
领域中一些复
杂任务
(
如机器翻译
、
问答系统
、
信息检索等
)
的基础
.
同时命
名实体 识别
又是实体关系抽取的基础
.
例如
,
在机器翻译中
,