收稿日期:20190219;修回日期:20190428 基金项目:国家自然科学基金资助项目(61672208)
作者简介:左梅(1993),女,四川绵阳人,硕士,主要研究方向为情感分析(zmmz@whu.edu.cn);荆晓远(1971),男,江苏南京人,教授,博导,
博士,主要研究方向为模式识别、机器学习、数据挖掘.
基于深度记忆网络的特定目标情感分类
左 梅,荆晓远
(武汉大学 计算机学院,武汉 430072)
摘 要:只基于注意力机制的深度记忆网络不能有效处理目标上下文情感依赖于具体目标的情况,为了解决该问
题,提出了一个对目标敏感的深度记忆网络模型。该模型利用注意力机制来获取决定目标上下文情感的信息,然
后通过交互模块将上下文情感表示和上下文与目标之间的交互信息融合成分类特征,最后分类得到目标的情感极
性。在 SemEval2014task4的两个数据集上进行实验,实现了比只基于注意力机制的 DMN模型明显更好的 F
1
值。
实验结果表明,在解决上下文情感依赖于具体目标的问题时,考虑上下文与目标之间的交互信息是有效的。
关键词:特定目标情感分类;深度记忆网络;情感极性;目标敏感
中图分类号:TP391 文献标志码:A 文章编号:10013695(2020)08010229205
doi:10.19734/j.issn.10013695.2019.02.0049
Targetlevelsentimentclassificationbasedondeepmemorynetwork
ZuoMei,JingXiaoyuan
(SchoolofComputerScience,WuhanUniversity,Wuhan430072,China)
Abstract:Memorynetworkonlyfocusingonattentionmechanismcan’ttacklethissituationwherethecontextsentimentrelies
ontheconcretetarget.Inordertoaddressthisproblem
,thispaperproposedatargetsensitivedeepmemorynetworkmodel.This
modelexploitedattentionmechanismtocapturethesentimentinformationofcontextcorrespondingtoagiventarget.Thenthe
interactionmoduleintegratedcontextsentimentexpressionandinteractioninformationbetweencontextandtargettotheclassifi
cationfeatures.Finally
,itclassifiedthefeaturestogetsentimentpolarityoftarget.Thispaperconductedexperimentsonthetwo
datasetsfromSemEval2014task4.Theproposedmodelachievedbetterperformancethanattentionbasedmemorynetworks.The
experimentalresultsshowthatconsideringtheinteractionbetweencontextandtargetiseffectivetosolvetheproblemthatcon
textsentimentreliesontheconcretetarget.
Keywords:targetlevelsentimentclassification;deepmemorynetwork(DMN);sentimentpolarity;targetsensitive
0 引言
线上评论的发展提供了大量可用于挖掘的短文本数据,获
取这些文本中的情感观点既蕴涵巨大的商业价值也带来了很
多挑战性的学术研究问题。情感分析也称为观点挖掘,研究目
标就是分析文本中人们对评论事物(如产品、服务、时事话题
等)的情感、观点或者具体态度。情感分析在成为自然语言处
理中的一个研究主题后迅速成为了热点研究领域
[1,2]
。特定
目标情感分类是情感分析研究中的一项细粒度子任务,确定了
具体的文本对其所评论目标的情感极性(即
positive、negative
和 neutral),例如句子“AveragetogoodThaifood,butterriblede
livery.”,分别对目标“Thaifood”和“delivery”表达了积极和消
极情感。从这个例子中可以看出,一个评论句子对不同的目标
可能表达相反的情感;同时,判断一个目标的情感极性只需要
关注一部分的上下 文,例如通过 “
good”能够确 定目标“Thai
food”的情感极性,但却不影响“delivery”的情感判断。因此,为
了正确判定目标的情感极性,一个关键步骤就是要确定描述了
对特定目标情感的上下文。近几年,研究人员主要使用机器学
习来训练情感分类模型,其中神经网络被广泛应用于目标情感
分类的研究中
[3,4]
。受记忆网络(memorynetwork,MN)在问答
系统
[5,6]
中成功运用的启发,Tang等人
[7]
提出了深度记忆网络
模型来解决目标情感分类问题,实现了与 SVM模型
[8]
相当的
效果。为了获得给定目标的正确上下文,深度记忆网络中引入
了注意力机制
[9]
。尽管基于注意力的记忆网络在目标情感分
类中获得了较好的效果,但是仍然存在还没有解决的问题。
Wang等人
[10]
从数学理论上证明了只使用注意力机制的记忆
网络不能处理上下文的情感依赖于具体目标的情况,例如在句
子“Thepriceishigh.”和 “Thequalityishigh.”中,对 于目标
“Theprice”和“Thequality”,它们的上下文相同,但是情感极性
却相反,即分别对应消极和积极情感。深度记忆网络利用注意
力机制可以有效地找到关键的上下文“high”,但是却无法区分
这两种情况的情感极性,因为不同于情感词 “good”和 “terri
ble”,“high”本身不带有明确的情感。深度记忆网络可以直接
推断“
good”修饰的目标情感是积极的,而“terrible”是消极的,
因为这些上下文带有明确的情感;然而词语“
high”的情感极性
判断依赖于具体的目标,也就是说,判断句子对目标的极性需
要考虑上下文与给定目标之间可能存在的交互情况。
为了解决上述问题,本文提出了一个对目标敏感的深度记
忆网络模型来执行特定目标情感分类任务。模型同样利用了
注意力机制来计算每个上下文单词对决定具体目标情感的重
要性或权重,然后结合权重信息和对应的文本词向量作为文本
表示,并进一步将上下文与指定目标的交互信息融入文本表
示,以最终的表示作为文本的情感分类特征,最后通过分类得
到句子对特定目标表达的情感极性。
1 相关工作
11 特定目标情感分类
特定目标情感分类是情感分析中一个粒度较细的分类研
第 37卷第 8期
2020年 8月
计 算 机 应 用 研 究
ApplicationResearchofComputers
Vol37No8
Aug.2020