基于双向GRU的阿拉伯语情感分析模型研究

沙特国王大学学报使用基于双向GRU的模型进行Mohammed M.Abdelgwada，Mohammed，Taysir Hassan A Solimana，Ahmed I.Taloba，Mohamed FawzyFarghalyaa埃及艾斯尤特大学计算机和信息学院信息系统系阿提奇莱因福奥文章历史记录：2021年5月20日收到2021年8月14日修订2021年8月31日接受2021年9月8日网上发售保留字：基于情感分析的情感分析（ABSA）深度学习意见目标抽取方面情感极性分类BGRU-CNN-CRF和IAN-BGRUA B S T R A C T基于语义的情感分析（ABSA）完成了细粒度的分析，定义了给定文档或句子的各个方面这一层次的分析是最详细的版本，能够探索审查的细微差别的观点。ABSA的大部分学习集中在英语上，很少有阿拉伯语的工作。大多数以前的阿拉伯语工作都是基于常规的机器学习方法，主要依赖于一组稀有的资源和工具来分析和处理阿拉伯语内容，如词典，但缺乏这些资源带来了另一个挑战。为了应对这些挑战，提出了基于深度学习（DL）的方法，使用基于门控递归单元（GRU）神经网络的两个模型来进行ABSA。第一种是DL模型，它通过组合双向GRU、卷积神经网络（CNN）和条件随机场（CRF）来利用单词和字符表示，构成（BGRU-CNN-CRF）模型，以提取主要的意见方面（OTE）。第二种是基于双向GRU（IAN-BGRU）的我们使用基准阿拉伯语酒店评论数据集评估了我们的模型。结果表明，所提出的方法是优于基线研究的两个任务有39.7%的提高F1分数的意见目标提取（T2）和7.58%的准确性方面为基础的情感极性分类（T3）。T2的F1评分为70.67%，T3的准确率为83.98%。版权所有©2021作者。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍网络技术的进步创造了与用户生成的内容进行交互的新机会，例如博客，社交网络，论坛，网站评论等（Rana和Cheah，2016）。随着数据的显著增加以及管理自然语言中的非结构化文本的复杂性，数据挖掘领域的个人和组织对利用这种流非常感兴趣。情感分析（意见挖掘或情感分析）是一种计算机生成的人类意见，情绪和情感的检查。*通讯作者。电子邮件地址：mohammed.aun.edu.eg（M.Abdelgwad），taysirhs@aun.edu.eg （ T.H. A Soliman ） ， Taloba@aun.edu.eg （ A.I.Taloba ） ，aun.edu.eg（M.F.Farghaly）。沙特国王大学负责同行审查制作和主办：Elsevier情绪（Zhao等人，2016年）。旨在确定与感兴趣的主题相关的特定内容的作者的态度。它决定了文档（评论、推文或新闻）的极性阿拉伯语情感分析有三种方法：基于语料库的、基于词典的和基于混合的（词典和语料库的组合）（Al-Smadi等人， 2018年）。关于阿拉伯语SA的第一篇出版物是在2006年，如（Al-Smadi et al.，2018年）。从那时起，几种方法已经在阿拉伯语SA中发表研究情感分析可以在三个层次上进行（Hu和Liu，2004）：文档层次假设整个文档中只有一个观点，因此任务是确定整个文档的积极，消极或中性观点句子层面的任务将文档分解为一组句子，并决定在每个句子中是否应该表达积极，消极或中立的无论是文档层面还是句子层面的分析都不能准确地确定人们喜欢什么和不喜欢什么。因为句子或评论可能包括对特定实体的不同方面的许多意见。此外，这些观点可能相互冲突。这些审查需要另一个合适的SA，称为ABSA。https://doi.org/10.1016/j.jksuci.2021.08.0301319-1578/©2021作者。由爱思唯尔公司出版代表沙特国王大学这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comM. M.Abdelgwad，Taysir Hassan A Soliman，A.I.Taloba等人沙特国王大学学报6653三个主要的ABSA任务可以被确定为（Pontiki等人，2016）; T1：方面类别识别，T2：方面意见目标提取，T3：方面极性检测。本研究的主题是T2和T3任务。根据（Al-Smadi et al.，SA和ABSA之间有几个区别;例如（a）将文本部分链接到特定方面（即，提取目标意见表达），以及（b）通过提取讨论相同方面（即，电池效率和功率使用都与相同方面相关）的文本部分来对文本进行释义由于其重要性，ABSA一直是备受瞩目的自然语言处理（NLP）会议和研讨会（如SemEval）的主要焦点。SemEval是一个年度NLP研讨会，为科学界提供了许多测试SA系统的活动。第一个ABSA联合任务由SemEval在2014年协调（Pontiki等人，2014年）。这项任务为科学界提供了标准数据集和联合评价程序。ABSA活动在接下来的两年中在SemEval得到了有效的复制（Pontiki等人，2015; Pontiki等人，2016年），因为任务扩展到包括不同的领域，语言和问题。 事实上，SemEval-2016在7个领域和8种语言中为ABSA任务提供了总共39个数据集。此外，一个分类器被证明对NLP任务表现良好，这是支持向量机(SVM)，用于基线评价程序。最近，使用反向传播算法展示了创新机器学习方法的实验工作，称为“深度学习”多层处理技术，其利用连续的单元层来构建连续的输出（LeCun等人，2015年）。在每一层上，输入被转换为数字表示，随后进行分类。因此，获得了越来越大程度的抽象（Goodfellow等人，2016年）。DL被认为是机器学习中高度建议的技术之一，用于各种NLP挑战，例如SA（Kwak等人，2019; Luo，2019），机器翻译（Ameur等人，二〇一七年;Li等人，2019）、命名实体识别（Khalifa和Shaalan，2019）和语音识别（Zerari等人，2019; Algihab等人，2019年）的报告。DL的优势在于，除了其出色的性能之外，它不依赖于手工制作的功能或外部资源。单词嵌入或分布式表示提高了神经网络的性能并增强了DL模型。两种常用的嵌入阿拉伯语单词的方法：Word2Vec（Mikolovet al.，2013）和FastText（Bojanowski等人， 2017年）。首先，Word2Vec利用小型神经网络来计算基于词上下文的词嵌入。有两种方法将这种方法付诸实践。第一种是连续的词袋或CBOW。在这种方法中，网络试图预测哪个单词最有可能在上下文中出现。Skip-gram是第二种方法，其思想非常相似，但网络的工作方向相反，网络试图预测给定目标词的上下文。在NLP的几个领域，Word2Vec已经被证明是有用的。但一个尚未解决的问题是未知术语泛化。其次，由Facebook于2016年创立的FastText发誓要解决这个障碍。深度学习的一个新发展是注意力机制。注意力机制在计算机视觉和许多自然语言处理应用中取得了很好的成功，例如文档情感分类，文档摘要，命名实体识别和机器翻译。 神经网络的注意力机制允许在执行任务时通过选择性地关注句子的主要部分来正确学习。最近，注意力机制已经依赖于SA的几个基于DL的模型（Ma等人，2017年; Huang等人，2018年;Liu等人，2018年; Yang等人，2018年）。注意力机制允许神经网络集中在句子的各个部分，当句子包含不同的内容时，这些部分与每个方面有关ent方面。在几个NLP任务中，交互式注意力网络（IAN）在机器翻译中显示出令人印象深刻的结果（Meng et al.， 2016）、问题回答（Wang等人，2016年; Li等人， 2017）和文档分类（Yang et al.，2016年）。作者（Ma等人，2017年）建议使用IAN进行英语ABSA，并取得了有竞争力的结果。其主要思想是通过交互式学习来再现目标和语境。为了进一步改善目标和上下文的表示，我们提出使用GRU模型提供的特征，特 别 是 双 向 GRU ， 而 不 是 在 基 础 模 型 中 使 用 单 向 长 短 期 记 忆（LSTM），双向GRU通过从两个句子方向提取无限的上下文信息来克服前馈模型有限的能力。为了执行ABSA任务，我们遵循一些步骤，这些步骤最终组成了ABSA工作流程，并且它们是有序的：1. 把评论分解成单独的句子。2. 对每个句子进行预处理（标记化、停用词删除和文本矢量化）。3. T1：使用（BGRU-CNN- CRF）模型提取主要意见方面。4. T2：使用（IAN-BGRU）模型确定与每个方面相关的情绪。所提出的ABSA方法的总体工作流程如图所示。1.一、在本文中，ABSA研究任务由一种类型的RNN（GRU）执行，其中构建了两个GRU模型，如下所示：（a）基于最先进模型的DL架构，该模型通过双向GRU，CNN和CRF的组合利用单词和字符的表示（b）实现基于双向GRU的IAN（IAN-BGRU）以识别朝向从T2提取的方面的意见极性（即，T2：（OTE））。T3）。本研究的主要贡献是：1. 提出的模型不依赖于任何手工制作的功能或外部资源，如词典，这被认为是一个在公共领域中，分析和处理阿拉伯文内容的工具并不广泛，需要大量的努力来收集。2. 与基线研究相比，该模型在意见目标提取（T2）的F1分数和基于方面的情感极性分类（T3）的准确性方面分别提高了39.7%和7.58%。T2的F1评分为70.67%，T3的准确率为83.98%。本文的其余部分安排如下：第2节讨论ABSA的文献综述;第3节说明了提出的模型;第4节解释了数据集和基线方法;第5节介绍了结果和讨论;最后，第6节总结了本文并概述了未来的工作计划。2. 相关工作本节分为两个主要小节，分别涵盖英语和阿拉伯语ABSA的相关工作，每个小节强调了有效的研究，已被应用于OTE和方面的情绪极性任务。2.1. 英语ABSA2.1.1. 意见目标提取（OTE）深度学习方法首次用于Opinion目标提取任务（Irsoy和Cardie，2014），而不是M. M.Abdelgwad，Taysir Hassan A Soliman，A.I.Taloba等人沙特国王大学学报6654Fig. 1. 拟议ABSA方法的总体工作流程。使用常规CRF模型。他们可以使用深度递归神经网络提取意见目标。的作者（Liu等人，2015）也在这个任务上应用了不同的RNN变体，比如支持词嵌入和一些手工特征的LSTM，并取得了比CRF模型更好的结果。（Da'u和Salim，2019）的作者提出了两种类型的词嵌入：通用和特定领域的最好的结果时，应用模型与POS和特定领域的词嵌入。（Chen等人， 2017）应用了Bi-LSTM，CRF在顶部，以提取意见方面。他们对许多数据集进行了实验，并取得了有竞争力的结果。2.1.2. 体情感极性分类ABSA是SA的一个分支，其研究方法可以分为两种方法：常规的机器学习方法和基于DL的方法。在方面水平上的情感分类通常被认为是文本分类的问题文本分类方法，如SVM，可以应用于ABSA，而不考虑指定的目标，如（Pang et al.， 2002年）。在一些早期的工作中，已经开发了几种基于规则的方法来处理ABSA，如（Nasukawa和Yi，2003; Ding和Liu，2007）所示，其中执行句子依赖性解析，然后使用预定义的规则来确定与每个方面相关的句子。虽然这些方法取得了令人满意的结果，但其结果严重依赖于劳动密集型手工艺特征的有效性。NN变体鼓励在NLP的不同领域进行研究，特别是那些需要像ABSA这样的细粒度分析的领域，因为它们能够通过几个隐藏层使用原始特征生成新的表示。递归神经网络（Rec-NN）可用于在树结构上执行语义组合，因此作者采用它在方面级别对情感进行分类（Dong等人，2014; Nguyen和Shirai，2015），通过将意见目标转移到一棵树，并根据上下文和语法关系传播目标的情感。RNN被广泛用于ABSA中，以识别方面级别的情感极性。LSTM是一种有效的RNN网络，能够减少消失梯度问题。然而，LSTM不适合解决上下文和方面之间的交互关系，导致方面相关数据的大量丢失。为了将方面包括到模型中，（Tang等人，2015年）提出了目标相关LSTM（TD-LSTM）和目标相关LSTM（TD-LSTM）。连接LSTM（TC-LSTM）。TD-LSTM将句子分成围绕方面的左右部分，并以不同的前向和后向顺序路径流入两个LSTM模型。为了确定情感极性标签，左LSTM和右LSTM的最终隐藏向量被链接以馈送到Soft-max层。尽管如此，方面目标和上下文之间的交互并没有被TD-LSTM捕获为了解决这个问题，TC-LSTM使用方面和上下文之间的语义交互，通过集成方面目标和上下文单词嵌入作为输入，并通过两个不同的LSTM来回传输，类似于TD-LSTM中使用的那些。注意力机制允许神经网络在执行任务时通过选择性地关注句子的主要部分。基于注意力的LSTM（ATAE-LSTM）是由作者开发的（Wang等人， 2016）通过应用注意机制来帮助识别句子中与所述体相关的重要部分，从而探索体与上下文之间的相关性。ATAE-LSTM结合了上下文和方面的嵌入，并将其用作LSTM的输入，以实现目标信息的最佳使用。隐藏的LSTM向量将提供方面目标的知识，这可以允许模型更准确地获得注意力权重。只有一个注意力可能无法在很长的依赖距离上捕获与不同目标相关联的各种关键上下文词，因此（Chen et al.，2017）建议使用多重注意力来处理这个问题，通过产生对记忆的递归注意力（RAM）。RAM从输入中产生记忆，并且通过在记忆上应用各种注意力，它可以提取基本信息，并且对于预测，它使用从使用GRU的不同注意力中提取的特征的非线性组合。的作者（Tang等人，2016）提出了深度记忆神经网络（MemNet），它包括在句子和上下文的上下文词嵌入上应用多跳注意层，将最后一跳输出作为最终目标表示。复习通常由许多句子组成，每个句子由几个单词组成，因此复习结构是分层的。基于该综述的层次结构，（Ruder等人，2016年a）为ABSA开发了双向分层LSTM（H-LSTM）。他们注意到内部审查结构中的建模知识可以提高模型的性能。为了处理具有多个方面的复杂句子结构，（Liu et al.，2018）提出了CABAC模型。两种类型的注意力，一个在句子层面上，专注于重要的方面的话，和其他注意力类型被用来考虑使用一组记忆的话的顺序和相关性。而M. M.Abdelgwad，Taysir Hassan A Soliman，A.I.Taloba等人沙特国王大学学报6655不不不不LSTM不能并行训练，并且往往像其他RNN一样耗时，因为它们是时间序列NN。因此，一个更简单，更准确，更快的模型，CNN和门控机制的作者（Xue和Li，2018）提出了比具有注意力机制的传统LSTM模型更好的模型，因为它们的模型计算在训练过程中很容易瘫痪，并且没有依赖性。在他们的研究中，他们只集中在两个任务上：体范畴分析和体情感分析，并且在这两个任务上都取得了很好的结果。CNN还用作寻找关键局部特征如语言模式（CNN-LP）的补充方法（Mackay等人，2016）或作为一种有效的方式来替代ABSA的注意力，如目标特定的转换网络（李等人， 2018年）。为了处理这个任务（Li等人，2019）探索BERT嵌入（Devlin等人，2018）与各种简单的神经网络，如线性，GRU，条件随机场，和自我注意层。实验结果表明，基于BERT的神经网络比非BERT复杂模型取得了更好的效果。2.2. 阿拉伯文ABSA尽管有大量的阿拉伯语使用者，并且是一种丰富的形态语言，但目前阿拉伯语ABSA的作品数量仍然有限，其中大部分在下一小节中列出2.2.1. OTE和方面情感极性分类对于阿拉伯语ABSA，进行了一些尝试，其中HAAD数据集在2015年与基线研究一起呈现（Al-Smadi等人，2015年）。HAAD通过SemEval-2014框架进行注释。为了支持ABSA任务，2016年注意到另一个阿拉伯语酒店评论基准数据集，该数据集用于验证多语言ABSA SemEval- 2016 Task 5中提出的一些方法作者（Al-Smadi et al.，2019）建议应用一组基于监督机器学习的分类器，并在阿拉伯语酒店评论数据集上应用一组手工制作的特征，如形态，句法和语义特征。他们的方法包括三个任务：识别方面类别，提取意见目标，并确定情感极性。评估结果表明，他们的方法非常有竞争力和有效。此外，Al-Smadi等人，2018）提出了两种基于监督机器学习的方法，即SVM和RNN，用于阿拉伯语酒店评论数据集，符合SemEval-2016的任务5。研究人员调查了三个任务：体类别识别（OTE）和情感极性识别。研究结果表明，SVM在所有任务中都优于RNN。然而，深度RNN被发现更快，通过比较训练和测试所用的时间，可以得出更好的应用于阿拉伯语酒店评论数据集，并取得了最先进的结果。在本文中，我们研究了BGRU在不同的阿拉伯ABSA任务的建模能力。 对于OTE，我们的模型（BGRU-CNN-CRF）主要依赖于BGRU来提取词级特征。此外，我们还使用了两种不同类型的单词嵌入来训练我们的模型（fastText和Word2vec）。应用fastText嵌入后观察到较高的结果 尽管我们的模型很简单，但它优于基线，并获得了接近于（Al-Dabetet et al.， 2020年）。对于第三个任务，IAN的基础上双向GRU（IAN-BGRU）的实现，以确定情感极性朝向提取的方面。评价结果表明，该模型具有较强的竞争力，达到了最先进的效果。3. 提出方法在本节中，将详细解释先前在图1中的ABSA工作流程中提到的所提出的模型。所提出的模型主要基于GRU，这是RNN的一种形式。RNN是一种人工神经网络（ANN），用于不同的NLP应用。RNN被配置为识别序列数据属性，然后使用模式预测以下场景。与前馈神经网络相比，RNN的主要优点是它能够处理任何长度的输入，并始终记住所有信息，这在任何时间序列预测中都非常有用。RNN使用循环隐藏单元，它们的激活每次都RNN的主要缺点是梯度消失/爆炸的问题，这使得训练和 处理 机器 学习 的主 要问 题变 得更 加困 难（Bengio等 人， 1994;Pascanu等人，2013年）。GRU已经被建议作为这个问题的解决方案，并已被证明是有效的许多NLP问题。因此，已经提出了两个基于GRU的模型来处理研究任务（T2的BGRU-CNN-CRF和T3的IAN-BGRU3.1. 背景这一部分提供了用于构建模型的所有组件的详细描述。他们包括GRU，BGRU，CNN和CRF。3.1.1. 门控经常性单元（GRU）最近，GRU（Cho等人， 2014年），一个家庭的RNN，已被提出来处理梯度消失/爆炸问题。GRU是LSTM网络的一个强大而简单的替代方案（Hochreiter和Schmidhuber，1997）。类似于LSTM模型，GRU被设计为使用类似于LSTM的遗忘门和输入门的rj重置门和zj与LSTM相比，GRU没有内存细胞，只有两个门。时间t上的GRU激活hj为：作者（Al-Smadi等人，2019年）提出了基于LSTM的两个模型，并使用阿拉伯语酒店评论进行了评估先前激活的线性内插t-1活化h~j。和候选数据集，即：（a）双向LSTM和Con的组合为了计算第j个GRU在时间步长t处的状态hj，我们使用基于特征级和词级的随机场分类器（BLSTM-CRF），用于提取主要意见方面下面的等式：从文本中，（b）基于方面的LSTM用于情感极性classi-hj1-zjhjzjh~jð1Þ不用于处理第三任务的AB-LSTM-PC测试不t-1t不其中h~j和h ~j对应于新的候选者，结果表明，他们的方法超越了基线，是相当有效的。最后，基于注意力神经网络由（Al-Dabet et al.， 2020年），以提取意见的目标。他们的模型由Bidirectional lstm和CNN组成，Bidirectional lstm作为编码器，Bidirectional lstm作为解码器，带有注意力和CRF。他们的模型tt-1记忆的内容，分别。zj表示更新门，其使得模型能够决定将被传送到未来的过去信息（来自先前时间步）的量以及将被添加的新存储器内容的量。M. M.Abdelgwad，Taysir Hassan A Soliman，A.I.Taloba等人沙特国王大学学报6656不为了计算时间步长t的更新门zt，我们在以下等式中使用先前的隐藏状态ht-1和当前输入xt：zt¼rWz xtUz ht-12新的存储器内容h~j计算如下：h~t<$tanhWxtrtUht-13其中，r是Hadamard乘积（也称为逐元素乘积），并且rt表示用于确定要从过去忘记的信息量我们用这个公式来计算它：rt¼rWr xtUr ht-14GRU单元的图形表示如图所示。 二、GRU在训练上比LSTM更快，因为GRU简化了架构，参数更少，因此使用的内存更少。3.1.2. 卷积神经网络（CNN）CNN通常用于计算机视觉，但最近，它们已扩展到各种NLP任务，并在几种语言中取得了令人印象深刻的结果，特别是在阿拉伯语中。CNN被添加作为我们用于OTE任务的模型中的初步层，以获得字符级特征，如单词前缀和后缀（Chiu和Nichols，2016）。我们使用CNN来训练字符向量。然后通过字符查找表搜索字符向量，以通过堆叠搜索结果形成矩阵C。然后在矩阵C和多个滤波器矩阵之间进行各种不同大小的卷积滤波器，以通过最大化池化来获得每个单词的字符级特征。在CNN中插入字符嵌入之前，我们应用了退出层，这对于防止模型依赖于某些单词很有用，这是防止过拟合的有效方法。3.1.3. 双向GRU（BGRU）GRU网络的一个缺点是，它们只能使用以前的上下文，而不考虑未来的上下文，因此它们只能从前到后管理序列，这导致信息丢失。因此，许多研究人员已经利用双向GRU，它能够在两个方向上处理数据，并且来自两个单独隐藏层的信息被收集在输出层中。双向GRU网络的基本架构实际上只是将两个独立的GRU放在一起。输入序列以正常的时间顺序（从右到左，对于阿拉伯语）提供给一个网络，而以相反的时间顺序提供给另一个网络。在每一步中，两个网络的输出通常会合并（还有其他选择，例如求和）。这样的结构可以提供完整的上下文信息。3.1.4. 条件随机场在本文中，OTE任务被认为是一个序列标记任务，其中，对于一个给定的方面组成的一个以上的词（在N-gram表示），它是有用的，考虑相邻标签之间的关联，并通过选择它们的最佳序列一起解码它们。我们使用（inside，outside，beginning）IOB格式来表示N-gram方面，其中方面开始处的每个标记标记为B-Aspect，如果标记位于方面内部，则标记为I-Aspect，而不是第一个标记，否则标记为O。为了捕捉这些方面的OTE标签之间的相关性，我们应用条件随机场分类器（CRF）上的BGRU。CRF是预测最可能序列的标准模型图二. 门控经常股。对应于一系列输入的标签。CRF层包含一个状态转移矩阵，用于根据前标签和后标签预测当前标签。我们用Xi，j来表示这个转移矩阵，它表示从第i个标签到第j个标签的转移程度。然后，使用句子分数和可能的标签序列来计算softmax。 2016年）。3.2. 模型在这一部分中，我们详细解释了所提出的模型：IAN-BGRU用于极性分类和BGRU-CNN-CRF用于特征项提取。3.2.1. IAN-BGRU极性分类为了处理第三个任务，我们应用了交互式注意力网络（IAN）（Maet al.，2017），对初始层进行了一些修改，因为IAN可以精确地交互式表示目标和上下文。该模型由两部分组成：第一部分考虑通过应用两个独立的LSTM，使用目标和上下文的词嵌入作为输入，获得目标及其上下文的隐藏状态。为了进一步改进目标和上下文的表示，我们建议使用GRU提供的功能，而不是一般的LSTM，特别是双向GRU。双向GRU通过从前后提取无限的上下文信息来解决前馈模型的有限能力。然后，分别对两个方面和上下文的隐藏状态值进行平均，给出两者的初始表示，稍后将用于计算注意力向量。第二部分考虑通过应用注意机制收集上下文中的基本数据，其中目标的初始表示导致上下文注意向量。同样地，将注意力机制与上下文的初始表示一起应用以捕获目标中的重要信息，从而获得目标注意力向量。之后，可以基于注意向量来定义目标和上下文表示。最终，目标和上下文表示都被连接并馈送到softmax函数中，以识别每个方面的情感。请参考（Ma et al.，2017年）的基本模型细节。IAN-BGRU模型的总体结构如图所示. 3 .第三章。3.2.2. 用于特征项提取的在本文中，OTE任务被认为是一个序列标记任务，因此我们提出了作者（Ma和Hovy，2016）针对该任务提出的基于序列标记DL的模型，其中他们的模型使用字符级表示，并使用CRF层作为输出层。除了在未标记语料库中预训练的单词嵌入外，它是一个端到端模型，不依赖任何手工制作的功能或外部资源。首先，我们使用CNN在字符级别对单词信息进行编码，以获得字符级别的表示。一个脱落层M. M.Abdelgwad，Taysir Hassan A Soliman，A.I.Taloba等人沙特国王大学学报6657图三.拟议的IAN-BGRU模型的架构。（Srivastava等人，2014）在向CNN提供字符嵌入之前应用。然后，字符嵌入向量（先前由CNN提取的字符级表示）与单词嵌入向量连接并馈送到BGRU以模拟每个单词的上下文信息。dropout层也应用于来自BGRU的输出向量。BGRU的输出向量然后被馈送到CRF层，用于解码标签的最佳序列。所提出的BGRU-CNN-CRF模型的整体架构如图所示。 四、4. 数据和基线研究我们研究的主要任务是使用阿拉伯语酒店评论数据集1进行测试。该数据集是作为SemEval-2016 Task-5的一部分准备的，SemEval-2016Task-5是一项多语言ABSA任务，包括八种语言和七个领域的客户评论（Pontiki等人，2016年）。阿拉伯语酒店评论数据集包含24，028个带注释的ABSA元组，划分如下：19，226个元组用于训练，4，802个元组用于测试。此外，为数据集提供了文本级别（2291篇评论文本）和句子级别（6029句）注释。本研究仅关注句子层面的任务。表1显示了数据集的大小和分布情况。该数据集补充了基于SVM和N-gram作为特征的基线研究。从该研究中获得的结果被认为是每个任务的基线，并在本文中与每个任务相关的结果部分中5. 实验和结果两个模型（T2的BGRU-CNN-CRF和T3的IAN-BGRU）都使用阿拉伯语酒店评论数据集进行了训练和测试第1https://github.com/msmadi/ABSA-Hotels图四、所提出的BGRU-CNN-CRF模型的架构对于模型训练，使用了70%的数据集，对于验证，使用了10%，对于测试，使用了20%。Pytorch库用于实现所有神经网络。每个模型的计算都是在GeForce GTX 1080 Ti GPU上单独执行的。本节解释了基于目标任务的每个模型的训练M. M.Abdelgwad，Taysir Hassan A Soliman，A.I.Taloba等人沙特国王大学学报6658¼ ·半-]¼表1研究任务的数据集的大小和分布（Pontiki等人， 2016年）。任务火车测试文本句话元组文本句话元组T1：句子级ABSA1839480210.50945212272604T2：文本级ABSA183948028757452122721585.1. 意见目标表达提取任务（T2）为了处理OTE任务，实现了BGRU-CNN-CRF模型，并使用单词和字符嵌入的特征进行训练。5.1.1. 评价方法采用F1度量标准对OTE进行性能评价，即准确率和召回率的加权调和均值。分数计算如下：在每一个字（BLSTM-CRF + LSTM-char）。为了初始化单词嵌入查找表，引入了两种技术(a)word2vec，（b ）fastText.BLSTM-CRF + LSTM-char在word 2vec词嵌入下获得（F-1 = 66.32%），在FastText嵌入下获得（F-1 =69.98%）。作者（Al-Dabet et al.，2020）提出了基于注意力的神经网络来提取意见目标。他们的模型组成Bidirectional lstm，CNN作为编码器，Bidirectional lstm作为解码器，注意力和CRF。他们的模型实现了F1-召回-1F1¼英寸精密度-1-12Þ2精度·召回精度·召回率ð5Þ评分= 72.83。我们的模型（CNN-BGRU-CRF）和Bi-LSTM-CRF（Al-Smadi etal.，2019）是：5.1.2. 超参数设置提出了两种类型的词嵌入：（a）基于CBOW模型的快速文本嵌入。(b)Word2Vec嵌入。对于Word2eVec：我们用AraVec初始化了上下文词嵌入和目标词嵌入（Soliman等人，2017年），这是一个预先训练的分布式单词表示（单词嵌入），旨在为阿拉伯语NLP研究社区提供免费使用和有效的单词嵌入模型。它基本上是一个在阿拉伯语数据上训练的word2vec模型。Ara-Vec提供了两种不同的模型，unigrams和n-gram，它们构建在具有阿拉伯语内容的各种域之上。在这项研究中，我们使用了基于Twitter推文的CBOW-unigram模型，我们将单词嵌入（fastText和Word2vec）和GRU隐藏状态的维度设置为100。所有的字符嵌入都是用统一的样本初始化的的.p3dim;p3dim，其中dim = 25此外，30个滤波器具有窗口大小为3。小批量随机梯度下降（SGD）与批量大小16和动量0.9被用来优化参数。我们选择初始速率（g0=0.01），在每个训练时期，学习速率更新为gt=g 0/（1 +qt），衰减速率q= 0.04，t是完成的时期数。使用5.0的梯度剪切来减少“梯度爆炸”的影响通过反向传播更新神经网络模型的梯度来修改初始词嵌入早期停止（Caruana等人，2001）基于验证集性能使用。根据我们的实验，最佳参数出现在大约60个时期。为了最大限度地减少过拟合，我们的模型使用drop-out方法进行正则化。在我们用于字符嵌入的BLSTM层已被CNN层取代。 由于CNN具有比BLSTM更少的训练参数，因此训练性能更高，并且被推荐为优选方法，如在（Zhaiet al.，2018年），比较了BLSTM-CRF模型与基于CNN和基于LSTM的字符级嵌入在生物医学命名实体识别中的性能。我们用GRU替换了BLSTM-CRF基础模型中的LSTM，因为GRU简单（因为GRU的参数较少），易于训练，因此易于学习。我们的模型与基于注意力的神经模型（Al-Dabet et al.，2020年）是：我们的模型（BGRU-CNN-CRF）主要依靠Bi-GRU来提取单词水平特征相反的Bi-LSTM。此外，我们还使用了两种不同类型的单词嵌入来训练我们的模型（fastText和Word2vec）。表2提供了使用阿拉伯酒店评论数据集对T2进行评估的提议模型、基线和上述模型图 5表明，尽管我们的模型很简单，但它超过了Bi-LSTM-CRF，并取得了接近（Al-Dabetet al.，2020）时使用fastText嵌入。5.2. 方面情感极性识别（T3）5.2.1. 评价方法为了确定方面情感极性识别任务中的模型效率，采用准确度度量，其可以表示为：模型，即：在GRU的所有输入和输出向量上以及输入到CNN之前我们将所有dropout层的dropout精度TNð6Þ5.1.3. 结果我们没有发现任何关于同一任务的已发表的研究将神经网络模型应用于阿拉伯语酒店评论数据集，并报告了比Al-Smadi等人更好的结果。2019年和Al-Dabet等人， 2020年，我们与他们的结果进行了比较。作者（Al-Smadi et al.，2019）通过将BLSTM应用于字符序列，扩展了用于字符级单词嵌入的序列标记的基本模型BLSTM-CRF其中T和N分别指正确预测的数字样本数量和样本总数。准确度是所有样本中正确预测的样本的百分比。性能更好的系统具有更好的准确性。5.2.2. 超参数设置上下文词嵌入和目标词嵌入都由AraVec初始化（Soliman等人，2017年）。特别是，CBOW-unigram模型建立在Twitter推文之上●●●●þM. M.Abdelgwad，Taysir Hassan A Soliman，A.I.Taloba等人沙特国王大学学报6659ð-Þ表2在T2上比较所提出的模型、基线和其他相关工作之间的F1分数。型号F1（%）基线30.97Bi-LSTM-CRF（word2vec）66.32Bi-LSTM-CRF（fastText）69.98CNN-BGRU-CRF（word2vec）69.44CNN-BGRU-CRF（fastText）70.67基于注意力的神经模型72.83我们使用来自均匀分布U0： 1; 0： 1的样本初始化所有权重矩阵。我们将词嵌入、注意向量和隐藏状态的维度设置为300。在通过使用具有指定变换的不同参数进行几次运行来调整模型的参数之后，我们可以找到产生最佳结果的参数组合，如下所示：使用反向传播算法在句子级别训练模型，使用Adam（Kingma和Ba，2014）进行优化，学习率为3e-5，L2正则化权重为2e-5，辍学率为0.3，批量大小为64并且时期的数量等于12。5.2.3. 比较模型Baseline * SVM仅使用N-gram特征进行训练INSIGHT-1 * 在SemEval-2016 Task-5竞赛中获得第一名，该竞赛基于阿拉伯语酒店评论数据集进行评估。他们将方面嵌入与每个单词嵌入结合起来，并将混合物馈送到CNN用于方面情感和类别识别任务（Ruder et al.，2 0 1 6 年b）。LSTM只使用一个LSTM来建模句子和最后的隐藏状态作为最终分类的表示TD-LSTM将句子分为左右两部分，并以不同的前向和后向顺序路径流入两个LSTM模型。为了确定发送极性标签，左LSTM和右LSTM的最终隐藏向量被链接以被馈送到Softmax（Tang等人， 2015年）。AB-LSTM-PC * 基于注意力的LSTM与Aspect集成使用注意力机制，允许更多地关注与目标方面相关对于每个单词嵌入，ATAE-LSTM添加了方面嵌入，通过学习上下文和方面之间的隐藏关联来加强模型（ Wang 等 人 ， 2016 年 ） 。 ATAE-LSTM 模 型 由 Al-Smadi 等 人 ，2019）（AB-LSTM-PC）在阿拉伯语酒店评论数据集上。MemNet为了正确地捕捉上下文单词的重要性，MemNet在句子的上下文单词嵌入上应用多跳注意层，并将最后一跳输出视为最终目标表示（Tang等人， 2016年）。IAN-LSTM使用两个LSTM进行上下文和目标的交互式建模。上下文隐藏状态用于生成目标注意力向量，目标隐藏状态用于生成上下文注意力向量。在这两个注意力向量的基础上，创建上下文表示和目标表示，然后连接并最终馈送到softmax中进行分类（Ma等人， 2017年）。IAN-BLSTM通过使用双向LSTM而不是单向LSTM来对方面项和上下文进行建模，从而扩展了IAN-LSTM。IAN-GRU类似于IAN-LSTM，但使用GRU而不是LSTM来