![](https://csdnimg.cn/release/download_crawler_static/18268869/bg1.jpg)
书书书
收稿日期:20180620;修回日期:20180810 基金项目:NSFC广东联合基金资助项目(U1501254);广东省自然科学基金资助项目
(2014A030306004,2014A030308008);广东省科技计划资助项目(2015B010108006,2015B010131015);广东特支计划资助项目(2015TQ01X140);广
州市珠江科技新星资助项目(201610010101);广州市科技计划资助项目(201604016075)
作者简介:郝志峰(1968),男,江苏苏州人,教授,主要研究方向为机器学习、人工智能(mazfhao@scut.edu.cn);陈培辉,男,硕士,主要研究方
向为自然语言处理、机器学习;蔡瑞初,男,教授,主要研究方向为因果关系、机器学习、数据挖掘;温雯,女,副教授,主要研究方向为文本挖掘、机器
学习;王丽娟,女,副教授,主要研究方向为高维数据聚类分析
.
基于叠层循环神经网络的语义关系分类模型
郝志峰
1,2
,陈培辉
3
,蔡瑞初
1
,温 雯
1
,王丽娟
1
(1.广东工业大学 计算机学院,广州 510006;2.佛山科学技术学院 数学与大数据学院,广东 佛山 528000;
3.汕尾职业技术学院 信息工程系,广东 汕尾 516600)
摘 要:基于循环神经网络结合句法结构的方法被广泛运用于关系分类,利用神经网络对输入的编码信息自动
获取特征并实现关系分类;然而,目前已有的方法主要是基于单一特定句法结构的模型,而特定句法结构的模型
不能够迁移到其他句法结构类型上。针对该问题,提出一种融合多句法结构的叠层循环神经网络模型。该叠层
循环神经网络分为两层进行网络构建,首先在序列层进行实体预训练,通过 BiLSTMCRF融合 attention机制,提
高模型对文本序列上实体信息的关注度,从而获取更加准确的实体特征信息,促进关系层阶段更好地分类;其次
在关系层,将 BiTreeLSTM嵌套在序列层之上,并将序列层的隐状态与实体特征信息传入关系层,利用共享参数
对三种不同的句法结构进行加权学习,通过端到端的模型训练并实现语义关系分类。实验结果表明,该模型在
SemEval2010Task8语料库上的 marcoF
1
值达到了 85.9%,并进一步地提升了模型的鲁棒性。
关键词:叠层循环神经网络;多句法结构;BiTreeLSTM;注意力机制;关系分类
中图分类号:TP183 文献标志码:A 文章编号:10013695(2020)01028013505
doi:10.19734/j.issn.10013695.2018.06.0461
Sematicrelationclassificationmodelviahierarchicalrecurrentneuralnetwork
HaoZhifeng
1,2
,ChenPeihui
3
,CaiRuichu
1
,WenWen
1
,WangLijuan
1
(1.FacultyofComputer,GuangdongUniversityofTechnology,Guangzhou510006,China;2.SchoolofMathematics&BigData,FoshanUniversity,
FoshanGuangdong528000,China;3.Dept.ofInformationEngineering,ShanweiPolytechnic,ShanweiGuangdong516600,China)
Abstract:Themethodbasedonrecurrentneuralnetworkcombinedwithsyntacticstructureiswidelyusedinrelationclassifi
cation,andtheneuralnetworkisusedtoautomaticallyacquirefeaturesandrealizerelationclassification.However,theexisting
methodsaremainlybasedonasinglespecificsyntacticstructuremodel,andthemodelofaspecificsyntacticstructurecannot
betransferredtoothertypesofsyntacticstructures.Aimingatthisproblem,thispaperproposedahierarchicalrecurrentneural
networkmodelwithmultisyntacticstructure.Itdividedthehierarchicalrecurrentneuralnetworkintotwolayersfornetwork
construction.Firstly
,itperformedentitypretraininginthesequencelayer,andusedtheBiLSTMCRFfusionattentionmecha
nismtoimprovethemodel’sattentiontotheentityinformationonthetextsequence,therebyobtainingmoreaccurate.Themore
accurateentityfeatureinformationpromotedbetterclassificationintherelationlayerstage.Secondly,intherelationlayer,the
BiTreeLSTMwasnestedabovethesequencelayer
,andpassedthehiddenstateandentityfeatureinformationofthesequence
layerintotherelationlayer,thenitweightedlearnedthreedifferentsyntaxstructuresusingthesharedparametersandclassified
thesemanticrelationfinally.TheexperimentalresultsshowthatthemodelhasamarcoF
1
valueof85.9% ontheSemEval
2010Task8corpus,andfurtherimprovestherobustnessofthemodel.
Keywords:HRNN;multisyntacticstructure;BiTreeLSTM;attentionmechanism;relationclassification
0 引言
为了应对互联网产生的海量非结构化文本数据,通常将其
转换为结构化的数据,从而帮助人们更快速地获取其中重要的
信息。关系分类
[1]
作为其中使用最广泛的技术之一,越来越
多地受到了研究界的关注。而关系分类主要涉及到文本序列
和句法依赖两类重要的信息,如何引入结构化知识,将两者进
行更好的融合去提高分类效果,是本文的研究重点。
近年来,随着深度学习的高速发展,关系分类的做法正在
由传统的基于构造特征工程
[2~4]
和构造核函数
[5~7]
的方法,逐
渐过渡到直接使用深层神经网络对输入的编码信息进行学习
并实现分 类。其 中,代 表性的 工作包 括 基 于 循 环 神 经 网 络
(
recurrent/recursiveneuralnetwork)和卷积神经网络(convolu
tionalneuralnetwork
)的方法,而基于 RNN的模型在结构上更
适应文本问题,它能够直接地表示语言结构,如文本序列和句
法依赖树结构。在关系分类过程中,主要包括两阶段的任务,
分别是命名实体识别和语义关系分类,对应的主流方法分别是
基于序列标注
[8~10]
和基于句法结构
[11~13]
的方法。在进行第
二阶段的任务时,目前主要基于单一特定的句法结构,这类模
型存在一定的局限性,只能够处理特定的句法结构,不能够很
好地迁移到其他句法结构上。比如,对于 序 列 “Athiefwho
triedtostealthetruckbroketheignitionwithscrewdriver”,其最
短路径结构(
SDP)包含了实体对“thief”“ignition”以及实体对
之间的谓语成分“broke”;对于同样的序列,其子树结构(sub
Tree)不仅包含了 SDP,同时包含了其他成分信息如定语“A”,
修饰成分 “
withscrewdriver”等。因 此,SDP的网络 模 型对 于
第 37卷第 1期
2020年 1月
计 算 机 应 用 研 究
ApplicationResearchofComputers
Vol37No1
Jan.2020