基于注意力的位置感知框架在双向长短期记忆网络中的情感分析

沙特国王大学学报基于注意力的位置感知框架在双向长短期记忆Azizkhan F Pathana，1，Chetana Prakashb，1a印度卡纳塔克邦达旺热尔577003，耆那教理工学院计算机科学工程系bBapuji工程技术学院计算机科学工程系，Davangere 577004，卡纳塔克邦，印度阿提奇莱因福奥文章历史记录：收到2021年2021年9月11日修订2021年9月12日接受2021年9月17日网上发售保留字：双向长短期记忆深度学习情绪分析A B S T R A C T基于语义的意见挖掘是一种细粒度的情感分析，它对句子中体词和上下文词之间的语义关系进行建模。各种语境词的存在对句子的情感极性有显著影响。因此，在设计模型时，有必要考虑方面和上下文词的相互作用。虽然现有的方法已经考虑到了一个方面在本文中，我们提出了一个基于注意力的位置感知双向长短期记忆网络的框架，它结合了情感强度词典。体词的预训练向量被调整为更接近语义上和情感上相似的最近邻居，并且更远离情感上不相似的邻居。建议的框架计算方面的权重连接的外部知识的形式与词嵌入和位置信息的词汇情感强度分数。该框架在SemEval 2014数据集上进行了实验。实验结果表明，在双向长短期记忆网络中注入外部知识可以显著提高分类精度。版权所有©2021作者。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍意见挖掘涉及到情感和意见的组织和监督。意见挖掘分析评论和推文中的文本，并提供信息的简洁视图。从各种电子商务网站和博客收集的评论是关于特定的人，产品或位置进行分析，并分配积极，消极或中性极性。主要目标是在评论中定位用户的意见。意见挖掘由于其在分析来自各种在线来源的非结构化数据中存在的隐藏信息中的广泛使用而得到了很大的响应（Liu，2012）。在文档级和文档级的意见挖掘并不能提供完整的信息，因此，1附属于Visvesvaraya技术大学，印度卡纳塔克邦Belagavi。沙特国王大学负责同行审查。制作和主办：Elsevier电子邮件地址：apathan21@gmail.com（A.F Pathan）采矿（ABOM）。ABOM是最流行的意见挖掘技术之一，它执行细粒度的分析任务。方面情感分类（ASC）是基于方面情感的意见挖掘的关键步骤。ASC将一个句子关于一个方面的情感极性分类根据文献（Jiang等人，2011），情感分类中40%的错误仅仅是因为情感评估任务中没有考虑这些方面。因此，需要考虑情感分类的方面及其上下文。注意机制是影响关键词选择的因素之一。长短期记忆（LSTM）但是，该模型与情感分类的应用引起了一个问题，我们不能解决这个问题，仅仅依靠注意力机制。它降低了模型的准确性，只要有一个体与语境词之间的依存关系。考虑以下审查：(1) 屏幕分辨率很好，但价格很荒谬。(2) 成本更高。(3) 备用电池更多。https://doi.org/10.1016/j.jksuci.2021.09.0111319-1578/©2021作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comAzizkhan F Pathan和C. Prakash沙特国王大学学报8717LSTM模型可以很容易地设想审查的极性（1），因为它捕获了给定方面的上下文信息。因此，在回顾（1）中，每当考虑体词分辨率时，其上下文词一旦确定了正确的方面上下文单词，训练好的LSTM模型就能正确地将“优秀”分类为正极性，将“荒谬”分类在这种情况下，确定极性是非常简单的，因为单词本身传达了情感。但在评论（2）和（3）中，情感语境是“更多”。也就是说，两个句子都有同样的注意力。“更多”这个该模型需要考虑评论（2）中的“更多”和成本以及评论（3）中的“更多”和电池备份之间的相互作用我们将在本文中讨论这个问题。我们提出了方面敏感的双向LSTM，它考虑了方面和上下文单词之间的交互。此外，体对句子进行编码的重要作用。例如，考虑一下评论“great”和“bitbetter”都只有把位置信息编码到每个词的表征中，我们才能把在这方面，我们使用位置嵌入来编码句子并生成位置感知表示。该模型将能够学习编码句子的位置和语义信息我们利用词向量细化模型，该模型利用情感词典提供的实值情感强度得分来增强现有的面向语义的词向量，而不是从标记数据构建新的词嵌入模型。 细化模型通过调整预训练向量来工作使得它可以更接近于语义和情感上相似的最近邻居的集合（即，具有相同极性的那些）同时远离情感上不同的邻居（即，具有相反极性的那些）。我们的研究成果被列出下图：我们提出了一个基于注意力的位置感知双向LSTM（Bi-LSTM）的框架，通过考虑方面和上下文的相互作用，基于方面的意见以情感强度词典形式的外部知识库被加载到Bi-LSTM中。结果表明，这是有效的。我们使用情感词典的情感强度得分来细化每个方面词的预训练向量所提出的框架计算方面的权重，通过conconconate-nate的外部知识的形式，词汇情感强度分数与词嵌入和位置信息。我们的框架的评估结果清楚地强调，我们的模型在准确性方面比基线方法表现得更好。2. 相关工作基于方面的意见挖掘使用细粒度分析来基于给定方面对句子进行分类。在本文中，我们发现一个句子的情感优先方面的情感检测任务。句子内的一组标记的方面术语将用于确定每个方面术语的情感极性（Pontiki等人， 2014年）。Nasukawa等人（Nasukawa和Yi，2003）提出了一种使用预定义规则和句子上的依赖性解析来预测关于方面的情感的方法Jiang等人 （Jiang等人， 2011）使用句子的语法结构来创建目标相关特征，这进一步提高了目标相关情感分类的性能。利用这些目标相关特征和其他内容特征，给出了SVM分类器。在文献（Kiritchenko等人，2014; Wagner等人，2014年;Vo和Zhang，2015年）作者使用外部资源，如语言分析器和情感词典作为传统统计学习算法的预测特征。Vo和Zhang（Vo和Zhang ，2015）在他们的工作中使用了词嵌入和情感词典，这些词典是手动设计的丰富功能。此方法的性能取决于手工特征的有效性。在最近的许多研究工作中，神经网络被用来编码使用低维向量空间的句子。 递归神经网络（Socher等人，2011年; Dong等人，2014;Qian例如，2015）、卷积神经网络（Blunsom等人，2014; Kim，2014）、LSTM（Hochreiter和Schmidhuber，1997）和树结构LSTM是用于意见挖掘的神经网络方法的一些示例（Tai等人，2015年）。对于情感极性预测，这些方法不考虑方面的信息。Tang等人 （Tang等人，2016 a）通过开发两个基于方面的LSTM模型，隐式地考虑方面信息，用方面对左右上下文进行建模。这些LSTM模型Wang等人 （Wang等人， 2016）通过开发基于注意力的LSTM网络对方面和上下文词进行编码。他们提出了一种方法，通过考虑体嵌入来寻找注意向量，从而考虑句子的不同部分Tang等人 （Tang等人，2016 b）使用多层深度记忆网络将方面和上下文单词编码在一起。每一层都学习上下文单词的权重，并应用这些知识来找到上下文表示。Zhang等人（Zhang等人，2016）使用单个门控RNN对句子进行编码，并使用门控机制来突出方面和上下文单词之间的相互作用。 Ma等人（Ma等人，2017）创建了交互式注意力网络，使用注意力机制学习方面和上下文单词的表示。该方法使用两个LSTM网络分别考虑句子和方面目标中的不同部分。他们通过池化操作使用句子的隐藏状态来计算方面目标注意力。3. 拟议框架3.1. 任务描述在 基 于 特 征 的 意 见 挖 掘 中 ， 上 下 文 序 列 包 含 一 系 列 的 词s<$fw1;w2;··· ;wmg和一些预定义的特征序列t<$ft1;t2;··· ;tng。主要目标是计算句子s关于给定方面t的情感极性图1描述了所提出的模型的框架。它主要有以下几层：嵌入层，Bi-LSTM，交互式注意力层和最终的情感分类。3.2. 位置表示为了对句子中的方面的位置信息进行编码，我们使用了位置编码向量的概念（Collobert等人，2011; Zeng等人，2014年）。为此，定义了一个位置索引序列。它和相应的句子一样长.当一个体出现在句子中时，●●●●●Azizkhan F Pathan和C. Prakash沙特国王大学学报87181>>2M12n级联到的上下文嵌入h1;h2; ·· · ;h m表示输入句子和h1;h2; ·· · ;hn图1.一、基于注意力的位置感知框架，用于基于注意力的意见挖掘。 fu0;u0;· ··;u0 g表示句子中的精炼上下文嵌入，是m，fv0;v0;· ··;v0g表示长度为n的句子中的修饰体词。fp1;p2;· ··;pmg是体项的位置，体的上下文表征S表示隐藏的不不SS不位置索引表示为8>ji-jsj;ijs9>=索引序列是p ={1，0，1，2，3}。该序列嵌入位置维度由dp表示。在火车上在这个过程中，嵌入矩阵将被初始化，并被释放。pi¼0;js≤i≤je：ji-jej;i>je;ð1Þ最近更新。虽然LCR-Rot（Zheng和Xia，2018）和AOA-LSTM（Huang等人， 2018）也有位置编码通过他们的注意力-体的起始索引和终止索引分别用js和je表示，句子中第i个词与体的相对距离用pi表示考虑句子基于机制（transformers），所提出的方法考虑了给定序列中单词与方面的相对距离，而在普通transformer中，位置嵌入不是由相对枢轴创建的，而是由开始位置创建的。Azizkhan F Pathan和C. Prakash沙特国王大学学报87192f···gf···g我我XXX“adistv;vbXIj图二.字嵌入精炼过程。从0开始依次这种技术的困难在于，值只可能增长到相当高，但模型也可能面临比训练中使用的短语更长的短语。此外，模型可能不会遇到任何单一长度的样本，导致模型的泛化受到影响。但在我们提出的框架，我们考虑的相对距离的方面从其他单词在一个给定的序列，我们的主要重点是给予更多的关注方面的位置在给定的句子。3.3. 嵌入层3.3.1. GloVe嵌入设L2R V×dw是预训练的GloVe嵌入矩阵，其中V是词汇量，dw是词向量的维数（Pennington et al.，2014年）。然后，对于方面和上下文序列wi中的每个单词，我们将其映射到适当的嵌入向量。多尔伊R dw 距离L.一旦嵌入查找完成，/Vwijdistvi;vj2联系我们其中，n-要在Vvi-an体词vj-其在排名列表中的最近邻居之一的向量dist（vi，vj）-vi和vj之间的距离wij- 特征词最近邻的权重具有较高等级的方面术语将被赋予更大的权重。该权重用于调节体词向其最近邻居的移动方向。也就是说，体词将被移近更高排名的情感相似的邻居，并远离更低排名的不相似的邻居。我们添加了一个限制，将每个预训练向量保持在其原始向量的指定范围内，以避免太多的单词被移动到同一位置，从而创建太多相同的向量。如等式（3）所示，目标函数被分成两部分：向量u1;u2;;um和v 1;v 2;;v n分别为上下文序列s和特征序列t获得。3.3.2. 精化过程和最近邻排序SemEval 2014数据集中的每个单词都被分配了一个数字n最小值/最小值1/1K不1不我我第1页wijdistvt1;vt#ð3Þ通过训练的Glove模型进行矢量表示。它采用了强度分数的lex图标，指定的强度范围从0到1.通过调整强度，消极情绪被分配小于0.5的分数，而积极情绪被分配大于0.5的分数。为了细化体词，选择前k个语义相似的最近邻居，并按照它们的余弦相似度的降序进行排名。然后，基于体词与列表中的术语之间的绝对差异，情感地重新对语义排名列表进行排名。较小的差异意味着该术语与体词的情感相关性更强，因此排名更高。排名较高的情感相似的邻居将在细化模型中被赋予较高的权重，以改善体词的预训练向量（Liang-Chih等人，2018年）。单词嵌入细化过程如图所示。二、3.3.3. 精化的词嵌入和精化的体嵌入细化模型迭代地减小方面词与其每个方面的前k个最近邻居之间的距离，成品在的设置的的预训练方位向量fv 1;v 2;· · ·;v ng。目标函数因此，可以如等式（2）中给出的那样定义：其中，distvt1;vt表示细化向量与其原始向量之间的距离我们重复运行实验来确定控制变量a和b的值。在强度得分词典中，wij是相对强度得分。与Dudani（Dudani，1976）相反，我们使用相对强度评分（Syeda等人，2019）作为权重来细化情感术语的向量表示。通过并入相对强度分数，根据它们的情感强度对所得向量进行排名，同时通过考虑相邻词来保持语义相似性（Syeda等人，2019年）。然而，改进仅限于情感术语的向量表示，然后将其用于基于方面的意见挖掘。向量细化由a和b的比率表示。如果a= 1且b= 0，则不能细化方面，因为它不能被修改。约束随着比率的减小而减小，并且目标向量更接近其情感相似的词。在a= 0和b= 1的情况下，该约束被禁用，并且函数是相同的。变量a和b将方面的移动调节为更新的矢量表示。由于相对强度分数，不同的情感词得到相对不同的强度，并且目标细化嵌入也是不同的。Azizkhan F Pathan和C. Prakash沙特国王大学学报8720Sv v4Xt¼h=n12avgSSP不SXt¼bhriP12SnSSavg第1页ðs;avg12nchs;tavgtanh不12n不12n不1n我我S12M12MSS不不不SSSXddMno在等式（4）中表示的平方欧几里德距离用于通过k个最近邻（k-NN）计算距离距离v;vdw-挖掘上下文和方面的初始表示（即，c平均值和t平均值）：cavg¼Xhi=m11我jd¼1I j1/1每个体字的向量表示将是itera-n使用迭代方法进行迭代更新，直到i体词向量的位置收敛。当所有的体词都被细化后，细化过程结束，我们得到两组细化的嵌入。一是fu0;u0;· · ·;u0g，表示细化的上下文嵌入1/1我们考虑上下文和方面对，以便定义注意如图1所示。我们使用注意力机制从上下文单词表示中获得注意力向量ai另一个是fv0;v0;· · ·;v0g，它们代表精炼的将方面表示t用于上下文的tionsnh1;h2; ··· ;hmo方面的嵌入。将词汇情感强度分数形式的外部知识如等式（13）所示：不含酒精。hi;tavgai¼Pm 埃普角公司简介ð13Þ3.4. Bi-LSTM我们使用Bi-LSTM模型来学习长期依赖性，因为它避免了梯度消失和爆炸问题。细化的方面嵌入向量fv0;v0;· ··;v0g被馈送其中c是确定h1在上下文中有多重要的评分函数等式（14）示出了如何定义评分函数c：.iΣiT前向LSTM网络来生成一系列前向隐藏状态！htsRn×dh，其中dh是隐藏状态的维数，如等式（5）所示。我们生成另一个序列后向隐藏态h<$sRn×dh 通过将fv0;v0;· ··;v0g进料至其中，W是权重矩阵。ba- 偏倚。tanh -非线性函数tT-t平均值 的转置。反向LSTM，如等式（6）所示。在Bi-LSTM网络中，最终输出的隐态htsRn×2dh 是通过连接-ing！ht和h←代表隐藏的上下文表示a-avg类似地，对于方面，我们计算其注意力向量bi使用如等式（15）中所示的上下文表示c_avg：.我的不如等式（7）中所示的方面。Expcht;cavg15Þh~1/4L-S-T！Mfv0;v0;· ··;v0g5gbi¼n第1页不含酒精。hj;cavgΣÞðh<$$><$LS-T-M-fv0;v02;· ··;v0g6我们根据以下公式推导出上下文和方面表示cr和tr：注意力向量a和b如等式（16）所示中文（简体）（17），在计算单词注意力权重之后：Mht¼ht;htð7Þcr¼X 爱喜ð16Þ类似地，如等式（8）-（10）所示，我们连接细化上下文嵌入向量和位置嵌入，以获得输入的隐藏上下文表示。h~1/4L-S-T！Mfu01;u02;· ··;um0g;fp1;p2;：：：;pmg81/1n我不1/13.6. 最终分类ð17Þh<$$><$LS-T-M-fu0;u0;· ··;u0g;fp;p;：;pg9hs¼h~;h<$10矢量d.如等式（18）所示，我们将d投影到使用线性层的目标C类的空间这里，ht包含一个隐藏状态序列h1;h2; ··· ;hn其指示方面的隐藏上下文表示。类似地，hs包含一个隐藏状态序列nh1;h2; ··· ;hmo，表示隐藏的上下文表示x¼tanhWa：dba18最后，我们包括softmax层以确定句子s以什么概率属于关于方面t的极性cs C，如等式（19）所示：输入句子的类型。Pycexpxcð19ÞIC1/1expxi3.5. 交互式注意层体表征htsRn×2dh与句子表征S12MÞ其中，c的定义与等式（14）的定义相同。为了确定最终的句子表示，将体表示tr和上下文表示cr连接为不Azizkhan F Pathan和C. Prakash沙特国王大学学报8721S在等式（11）和（12）中给出的隐藏状态中，我们确定：我我2hsRm×2dh使用前一步建模按平均池计算通过训练我们的模型，我们使用L2正则化来减少交叉熵损失，如等式（20）所示：损失量：logP=1kkhk220我csCAzizkhan F Pathan和C. Prakash沙特国王大学学报8722.Σ¼ðÞ.Σ¼ðÞ.Σ¼ðÞ.联系我们ÞMCC¼×-×其中I：-指示器函数。k-L2正则化参数。h-Bi-LSTM网络和线性层中的一组权重矩阵。我们丢弃了Bi-LSTM单元的一些输入部分，以避免过拟合，从而使用这种丢弃策略增强了我们的模型4. 实验我们评估了两个假设：（1）体和上下文词之间的相互作用是否有助于正确预测情感。（2）将外部知识以情感词典的形式注入到Bi-LSTM网络中是否进一步提高了模型的准确性。4.1. 数据集表1总结了SemEval 2014任务4（Pontiki等人，2014）数据集，我们用来评估我们的模型。该数据集包括来自笔记本电脑和餐厅领域的评论。体与语境词一起被分配为三个极性，即积极的，中性的和消极的。4.2. 模型性能评价为了衡量意见挖掘性能，我们使用了准确度、精确度、召回率、F1分数和马修斯相关系数（MCC）等指标，如公式（21）-（25）所示：准确度TP21TPTNFPFNPrecisionTP22公司简介召回TP23TPFFNF1得分2 ×精确度×回忆率24精确度和召回率表2超参数设置。精炼的嵌入精炼的手套嵌入用于体词和上下文词。300.第300章意外发现采样均匀分布U（0.01，0.01）用于初始化权重矩阵和偏差。辍学率0.2。L2正则化系数10- 4。学习率0.001。128. biggame隐藏状态对均匀分布U（0.01，0.01）进行采样，并将其用于初始化权重矩阵和偏置。L2正则化系数设置为10- 4，丢失率设置为0.2。为了训练模型，我们使用0.001作为学习率，128作为批量大小。由于我们的数据集是不平衡的，我们使用了上采样方法来平衡少数类的数据。此外，使用不同类别权重的Loss函数来减少类别不平衡。我们已经确定了混淆矩阵来计算不同的评估指标。图3和图4分别显示了餐厅和笔记本电脑领域数据集使用图3和图4中所示的混淆矩阵来计算上述不同的性能度量，并且这些度量的结果在表3中给出。图 5和图 6分别显示了餐厅和笔记本电脑域数据集的阳性和阴性类的ROC曲线。4.3. 比较方法我们将我们的评估结果与表4中提到的以下方法进行了比较：TPTNFPFNPTPFPTPFNT NFPTNFNNFN其中;TP-True PositiveFP-False PositiveTN-TrueNegativeFN -FalseNegativeð25Þ表2显示了我们可以使用的不同超参数设置用来进行我们的实验为了进行实验，20%的训练数据被认为是验证数据集，并使用此超参数进行调整。精化的手套嵌入用于体和上下文词表示。 我们使用300作为词嵌入的维数dw，图3.第三章。餐厅领域的混淆矩阵表1数据集描述。数据集阳性中性阴性火车测试餐厅2164 728 633 196 805 196手提电脑987 341 460 169 866 128Azizkhan F Pathan和C. Prakash沙特国王大学学报8723表4接近。作者方法描述表3见图4。笔记本电脑领域的混淆矩阵。Huang等人，2018Kiritchenko等人，2014Wang等人，2016Tang等人，2016aWang等人，2016Wang等人，2016Tang等人，2016b多数将训练集中出现频率最高的极性分配给测试集中的每个评论。特征+ SVM支持向量机用于取得良好的效果，SemEval 2014通过考虑n-gram、解析和词典特征。LSTM用于学习网络的隐藏状态，以找到平均向量并预测极性。TD-LSTMBi-LSTM网络用于确定方面的左右上下文。情感极性由最后一个隐藏状态决定。AE-LSTM注意力向量由下式确定：通过使用LSTM网络对上下文单词进行建模，将单词的隐藏状态和方面嵌入结合起来。ATAE-LSTM极性通过结合学习到的注意力嵌入和LSTM隐藏状态来确定。MemNet Word嵌入注意力是使用多跳确定的。它会学习我们提出的模型结果。数据集准确度精确度召回率F1评分MCCMa等人，注意关于平均查询向量的上下文词嵌入。IAN生成方面的表示，餐厅0.9470.8270.9330.8770.2932017上下文单词分别由交互式地学习方面和上下文笔记本0.9240.7040.8320.7630.452注意粗粒。Chen等人，2017RAM上下文词的Bi-LSTM模型的隐藏状态用于学习多跳注意和GRU网络提出铮和LCR-Rot从注意力中得到总向量。旋转注意力机制夏，2018使用三个双向LSTM网络来建模右上下文、目标上下文和左上下文之间的关系。上下文Huang等人，2018AOA-LSTM为了联合建模方面和上下文单词，使用AOA网络。图五. 餐厅域的ROC曲线。见图6。 Laptop Domain的ROC曲线Azizkhan F Pathan和C. Prakash沙特国王大学学报87244.4. 主要结果表5将我们提出的模型的结果与其他前沿基线模型的结果进行了比较。SemEval 2014数据集用于评估这些模型的结果此数据集包含Restaurant和Laptop域数据集。表5的结果证明，我们提出的模型在准确性和F1分数方面比所有其他基线模型表现得更好。表5餐厅和笔记本电脑领域数据集的主要结果。基线模型的结果取自已发表的论文。模型餐厅准确性F1得分笔记本电脑精度F1得分大多数0.650.3330.5340.333特征+SVM0.802–0.705–LSTM0.7430.6470.6650.627TD-LSTM0.7560.6670.6810.654AE-LSTM0.762–0.689–ATAE-LSTM0.7720.6920.7210.652蔓梅0.7870.7020.7080.641伊恩0.7860.7130.7210.664RAM0.8020.7080.7450.713LCR-Rot0.813–0.752–AOA-LSTM0.8120.7340.7450.721该模型0.9470.8770.9240.763Azizkhan F Pathan和C. Prakash沙特国王大学学报87254.5. 性能比较图7显示了我们提出的模型与其他最先进的模型在餐厅和笔记本电脑领域数据集上的准确性比较。从准确度图中可以明显看出，我们的模型在餐厅域和笔记本电脑域的准确度方面比任何其他基线模型都要好我们提出的模型与最先进的模型的F1得分比较如图8所示，用于餐厅和笔记本电脑域数据集。与所有其他基线模型相比，我们提出的模型在餐厅域和笔记本电脑域的F1得分方面提供了更好的性能。4.6. 总结如图7和图8所示，多数方法的准确度和F1得分比任何其他模型都低。基于特征的支持向量机是一种依赖于人工设计特征的基本方法。LSTM方法很少关注见图7。餐厅和笔记本电脑领域不同模型的准确性比较。建议的模型精度结果以不同颜色突出显示。见图8。F1-餐厅和笔记本电脑领域不同模型的分数比较。拟定模型F1-分数结果以不同颜色突出显示。Azizkhan F Pathan和C. Prakash沙特国王大学学报8726方面的术语。它以同样的方式对待体术语和其他词。因此，它的性能也很差。即使是TD-LSTM也没有完全探索方面词空间，因为它使用了方面术语的粗略处理AE-LSTM 和ATAE-LSTM 在性能方面都优于LSTM，因为它们使用注意力机制来关注句子中的重要方面特别地，ATAE-LSTM通过将方面术语的串联与作为模型输入的词嵌入建模来获得方面术语的语义信息尽管IAN和MemNet的性能优于所有先前提到的基线模型，但它们的性能仍然无法与我们提出的方法相比。MemNet模型不考虑词嵌入的隐藏语义，用于仅确定记忆向量。与ATAE-LSTM相比，IAN取得了很好的结果，因为它使用两个注意力网络对体术语和上下文单词之间的交互进行了建模。与基线方法相比，LCR-Rot和AOA-LSTM表现更好。LCR-Rot用三个双向LSTM表示左上下文、目标上下文和右上下文他们使用旋转注意机制来模拟体和左/右上下文词之间的AOA-LSTM使用注意力-过度注意力（AOA）网络联合建模方面和上下文单词。我们提出的模型通过将方面的位置信息嵌入到上下文中，性能见图9。体层注意的可视化。见图10。 方面权重的可视化。Azizkhan F Pathan和C. Prakash沙特国王大学学报8727嵌入它结合位置信息和Bi-LSTM注意力机制来确定句子关于方面的极性，从而提高准确性性能。在我们的方法中，外部知识的形式，词汇情感强度分数连接词嵌入和位置信息，以计算方面的权重，并实现改进的句子表示。4.7. 为例图9显示了句子的方面级注意力。颜色强度在确定情感极性时强调了词的相关性颜色强度越深，表明该词的相关性越强，是句子中的重要词。对于评论句我们提出的模型在确定语义时考虑了体的相邻词。当体是氛围时，那么在寻找情感时，它的相邻词但“稍微好一点”这个词这强调了位置信息的重要性对于食物这方面，但是“bit better”这个词被给予了更多的关注，这是因为不同的词在一个方面对一个句子有不同的影响，我们使用双向注意机制来选择更有用的词。在这种情况下，例如，位置感知双向LSTM网络应该更密切地关注单词因此，通过对体词和上下文词之间的相互关系进行建模，位置感知双向LSTM网络能够确定句子的重要部分，以判断情感极性。图10显示了注意力权重的可视化分配给给定复习句子中的每个单词。如图所示在图10（a）中，当方面被认为是“氛围”时，词语“great”被分配更多权重。注意力权重单词“great”是0.97，这被认为是概率情感。因此，该模型将句子的情感极性分配为积极的。该模型将负极性分配给图10（b）中所示的句子，因为这里考虑的体是“food”，并且短语“bit better”对于体“food”给予更多关注。以相同的方式，图10（c）和图10（d）中的句子分别被分配用于方面“图片质量”和“价格”的积极和消极情感极性5. 结论体词和语境词之间的相互作用是决定句子情感极性的关键。此外，一个方面相对于不同上下文词的位置信息对情感极性具有不同的影响。为了实现这一点，我们提出了一个位置感知的Bi-LSTM模型，该模型使用词典外部知识来执行基于Aesthetic的意见挖掘。在我们的模型中，最终的句子表示是通过使用注意机制来关注重要的方面和上下文的话，以及位置信息。我们使用情感词典的情感强度得分来细化每个方面词的预训练向量，使得方面词的预训练向量更接近语义和情感上相似的最近邻居，并且更远离情感上不相似的邻居。在SemEval 2014数据集上的实验评估表明，与所有其他基线模型相比，我们的模型在准确性上有显着提高。竞争利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作。引用刘，B.，2012.情感分析和意见挖掘。人类语言综合讲座5（1），1-167。江，L.莫，尤，周，M.，刘，X.，赵，T.，2011.目标依赖的Twitter情绪分类。在：在：计算语言学协会第49届年会的会议记录：人类语言技术，pp。 151-160。王业泉，黄敏烈，朱晓燕，赵力。2016年。基于注意力的LSTM用于方面级情感分类。In：EMNLP. pp. 606-615杜宇堂，秦冰，刘婷。2016年a。用于目标依赖情感分类的有效LSTM。第26届国际计算语言学会议（COLING 2016）。pp. 3298-3307马德宏，李苏健，张晓东，王厚锋。2017.交互式注意力网络用于高级情感分类。 在：人工智能内部联合会议（IJCAI 2017）的会议记录。pp. 4068-4074.郑世良，夏瑞。2018.左-中-右分离神经网络用于旋转注意下的情绪分析。arxiv预印本arXiv：1802.00892。黄，B.，Yanglan，O.u.，Carley，K.M.，2018年基于Attention-over-Attention神经网络的方面级情感分类在：在：社会计算，行为文化建模和预测以及建模和仿真中的行为表示国际会议，pp。 197-206.Maria Pontiki，Dimitrios Galanis，John Pavlopoulos，Haris Papageorgiou，IonAndroutsopoulos，Suresh Manandhar. 2014. Semeval-2014任务4：基于方面的情感分析。In：SemEval@COLING. pp. 27比35Nasukawa，T.，Yi，J.2003年。情绪分析：使用自然语言处理捕获可解释性。在：第二届知识捕获国际会议的会议记录。pp. 70比77Svetlana Kiritchenko，Xiaodan Zhu，Colin Cherry，Saif M Mohammad. 2014. NRC-Canada-2014：检测客户评论中的方面和情绪。在：第八届语义评估国际研讨会（SEMEVAL 2014）的会议记录。pp. 四三七四四二Joachim Wagner ， Piyush Arora ， Santiago Cortes ， Utsab Barman ， DashaBogdanova，Jennifer Foster，Lamia Tounsi。2014. DCU：SemEval任务4的基于April的极性分类。在：第八届语义评估国际研讨会的会议记录（SemEval 2014）。pp. 223-229武维天，张跃。2015.具有丰富自动功能的目标相关Twitter在：第二十四届国际人工智能联合会议（IJCAI 2015）的会议记录。pp. 1347- 1353年。Socher河，彭宁顿，J.，Huang，E.H.，Ng，A.Y.，哥伦比亚特区曼宁2011.用于预测情绪分布的半监督递归自编码器。在：在：会议论文集的经验方法在自然语言处理，页。151-161.李东，傅汝伟，谭传奇，杜宇堂，周明，徐克。2014.自适应递归神经网络用于目标相关Twitter情感分类。在：ACL。pp. 49比54乔倩，田波，黄敏烈，刘洋，朱璇，朱晓燕2015年。学习递归神经网络中的标签嵌入和标签特定的组合函数。在：计算语言学协会第53届年会的会议记录。pp. 公元1365-1374年。Blunsom，P.，Grefenstette，E.，Kalchbrenner，N.，2014.一个用于句子建模的卷积神经网络。在：在：计算语言学协会第52届年会的会议记录，pp。 655- 665金， Y。 2014. 卷积 神经 网络 用于句 子分 类。2014 年自 然语 言处 理经验 方法 会议（EMNLP 2014）。pp. 1746-1751年。Hochreiter，S.， Schmidhuber，J.， 1997. 长短时记忆。 神经计算9（8），1735-1780。放大图片作者：Richard Socher，Christopher D.曼宁2015.改进了树结构长短期记忆网络的语义表示。于：第53届计算语言学协会年会和第7届自然语言处理国际联合会议（IJCNLP 2015）。pp. 1556-1566年。杜宇堂，秦冰，刘婷。2016年b。基于深度记忆网络的方面级情感分类。2016年自然语言处理经验方法会议（EMNLP 2016）。pp. 214-224张美山，张跃，武杜天。2016年。用于目标情感分析的门控神经网络第30届AAAI人工智能会议（AAAI 2016）pp. 3087-93.科洛贝尔河，Weston，J.，卡伦，M.，Kavukcuoglu，K.，Kuksa，P.，2011.自然语言处理（几乎）从头开始。Journal of Machine LearningResearch 12（1），2493-2537.曾道建，刘康，赖四维，周广友，赵军。2014.通过卷积深度神经网络进行关系分类。在：COLING的诉讼。pp. 2335-2344。Azizkhan F Pathan和C. Prakash沙特国王大学学报8728彭宁顿，J.，Socher河，曼宁角，2014. Glove：Global Vectors for WordRepresentation.2014年自然语言处理经验方法会议（EMNLP）论文集，pp。 1532-1543年。陈鹏，孙忠谦，兵立东，杨伟。2017.基于记忆的递归注意网络在方面情绪分析中的应用。自然语言处理经验方法会议（EMNLP 2017）pp. 452-461Dudani，S.A.，1976.距离加权K近邻规则IEEETransactions on Systems，Man，andCybernetics（IEEE系统、人与控制论汇刊）三二五至三二七Syeda Rida-E-Fatima，Ali Javed，Ameen Banjar，Aun Irtaza，Hassan Dawood，Hussain Dawood，Abdullah Alamri. 2019.一个多层双注意力深度学习模型，具有精细的词嵌入，用于基于情感的情感分析。在：IEEE Access. pp. 114795-114807。梁智，Y.U.，Jin Wang，K.，赖河，张，X.，2018.使用情感分析的强度分数细化词嵌入。IEEE/ACM音频、语音、语言处理。26（3），671-681。