"阿拉伯语推文情感检测的深度学习和集成技术研究"

200 浏览量更新于2025-01-16 收藏 904KB PDF 举报

沙特国王大学学报

使用集成和深度学习技术从阿拉伯语推文中检测情感

Omar Al-Zoubi，Saja Khaled Tawalbeh，Mohammad AL-Smadi

约旦科技大学计算机科学系

阿提奇莱因福奥

文章历史记录：

收到

2020

年

2020

年

月

日修订

2020

年

月

日接受

2020

年

月

日网上发售

关键词：

阿拉伯语文

本

情感

情感检测情感分析机器

学习

NLP

情感挖掘

A B S T R A C T

文本情感检测是近年来研究的热点。这是由于社交媒体网站（例如Twitter，Facebook）的快速使用，它允许

用户以文本格式表达他们的感受，情绪和想法。分析社交网络的情感丰富的文本数据具有许多现实应用。情感

文本的语境可以通过分析这一丰富的情感信息源的某些特征来衡量。将文本分类为情感标签/强度被认为是一个

困难的问题。本文使用深度学习和集成实现解决了最先进的NLP研究情感和强度检测任务之一。在本文中，我

们开发了几种创新方法 ;（a）双向 GRU_CNN （BiGRU_CNN ），（ b）传统神经网络（ CNN ）和（ c ）

XGBoost回归器（XGB）。BiGRU_CNN、CNN和 XGB的集合用于解决SemEval-2018任务1（推文中的情

感）的情感我们提出的集成方法使用SemEval-2018 Task 1的参考数据集进行了评估。结果表明，我们的方法

远远高于这项任务的基线。它还实现了Pearson（69.2%），与之前表现最好的模型相比提高了0.7%。

CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。

介绍

情感计算研究领域一直是一个活跃的研究领域，最近获得了很大的

普及（Strapparava和Mihalcea，2008）。它旨在赋予机器类似人类的

理解和响应人类情感的能力。这使得人类和机器之间的交互更加自然。

可以从各种模态检测情绪，包括：文本（Badarneh等人，2018），演

讲（Vidas等人，2018）、面部表情（Sawant，2018）和生理信号

（AlZoubi等人，2012年）。情绪带有一种强烈的感觉，可以从与他人

的互动中获得（例如愤怒，恐惧，喜悦）。人们还可以通过社交网络使

用文字、表情符号、照片和视频来表达自己的感受。与Face-book帖子

相比，推文是首选，因为推文是公开的，可以轻松访问情感丰富的文本

数据的宝贵来源

情绪分析任务依赖于一些已建立的情绪模型。两种最常用的情感

模型是离散情感模型和维度情感模型。

Ekman

（

1999

）提出了六种

基本的离散情绪（愤怒，恐惧，喜悦，

通讯作者。

电子邮件地址：

oaalzoubi@just.edu.jo

（

O. AlZoubi

），

masmadi@just.edu.jo

（

M.AL-Smadi

）。

厌恶、惊讶和悲伤）。另一个模型是情绪的维度模型，它将情绪映射

到三个维度：效价、唤醒和支配。效价测量情绪的积极或消极程度，

而唤醒测量情绪的兴奋程度（

Russell

，

1980

）。

微博数据具有特殊的性质，这是指人类在短消息（

tweets

）中使

用标签和情感传达特殊信息的事实。作为社交媒体数据源的推文分析

具有挑战性它是用俚语写的，可能有语法错误，这使得机器很难理

解。自然语言处理（

NLP

），使得命名实体识别（

NER

）（

Sa'a

等

人，

2018

），情绪分析（

）（

Al-Smadi

等人，

2018

），以及文

本情感检测（

）（

Badarneh

等人，

2018

年）可用于处理和分析

推文。情绪分析与

的不同之处在于，

旨在找到给定推文的极性

（积极，消极或中性）。另一方面，

旨在将给定的推文分类为特

定的情感标签，例如愤怒，恐惧，喜悦。

SemEval-2018 Task 1

上的

“

影响推文

”

共享任务提供了使用阿拉伯语、英

语和西班牙语推文的最佳

最差缩放（

BWS

）注释的数据集（

Mohammad

等人，

2018

年）。它还提供了许多子任务，包括：

）将推文分类为离散的

情感标签，

）找到情感的强度，以及

）多标签分类。我们专注于

https://doi.org/10.1016/j.jksuci.2020.09.013

这是一个在

CC BY-NC-ND

许可证下的开放获取文章（

http://creativecommons.org/licenses/by-nc-nd/4.0/

）。

可在ScienceDirect上获得目录列表

沙特国王大学学报

杂志首页：

www.sciencedirect.com

O. Al-Zoubi

，

Saja Khaled Tawalbeh

和

斯马迪

沙特国王大学学报

2530

情绪强度（EI-reg）子任务 1 ，这是一个回归问题，使用阿拉伯语

tweets数据集确定四种基本情绪（愤怒，喜悦，恐惧和悲伤）的强度。

本文实现了一种

RNN

、

CNN

和传统在单词级别上开发了几种方

法

;

（

）具有

CNN

的双向门控递归单元（

BiGRU_CNN

），（

）常

规神经网络（

CNN

）和（

）

XGBoost

回归器（

XGB

）。实施

BiGRU_CNN

、

CNN

和

XGB

的集成以处理情绪强度（

EI-reg

）任

务。各种特征被用来解决情绪强度任务。

TF-IDF

，词级嵌入，和词

典功能。嵌入可以捕获与其他词的句法相似性和此外，我们依赖于伪

标签学习，并执行了

Aravec

提供的几个预训练模型（

Soliman

等

人，

2017

年）。一个参考数据集被用来评估所提出的方法。

本文的其余部分组织如下

;

第

节提供了一个从阿拉伯语文本的情

感分析的文献综述。第

节介绍了数据和方法。第

节描述了我们提

出的从输入推文中分析情感的方法第

4.7

节介绍了我们的结果并讨论

了主要发现。最后，第五部分总结了本研究，并提出了未来的工作

计划。

背景

微博被认为是最流行的社交网络应用之一。它允许人们分享他们

对几个充满情感和感觉的主题的想法。检测文本的情感背景在现实生

活中有许多应用（例如推荐系统，意见挖掘分析）。有几种方法可

以从文本中检测情感，例如基于词典的方法、传统机器学习方法、

深度神经网络方法和集成方法。在本节中，我们将对这些方法进行回

顾。

2.1.

词汇教学法

基于词汇的学习方法（Lexicon-Based Approaches，LB）是一种无

监督学习技术。这些方法依赖于所提供的数据集和没有标记数据集的可

用词典。与机器学习和深度学习方法相比，它不依赖外部资源。基于词

典的方法试图从数据集中获得最新的特征以构建特定的模型（Agrawal

和An，2012）。有几本词典是为英语和阿拉伯语精心编写的。这些词

汇包含概率，极性或情绪及其强度，对NLP研究有用。这样的词典的例

子包括SentiS-强度（Baccianella等人，2010年），AFFIN（尼尔森，

2011年），和NRC词汇（穆罕默德和Turney，2013年;穆罕默德和

Kiritchenko，2015年）。Bandhakavi等人（2017）在情感检测任务

中使用了 WordNet-Affect ， NRC Emotion Lexicon 和 WordNet

SenticNet。NRC词典被认为具有最好的性能。类似地，用于评估所提

出的方法的内部数据集是从社交媒体来源、Face-book和Twitter收集

的。所提出的方法实现了89.7%的准确率。

2.2.

传统的机器学习方法

在传统的机器学习方法（ML）中，分类器自动从提供的数据集中学

习最重要的特征。ML方法是监督技术，这意味着

它依赖于一个标记的数据集进行分类。几种众所周知的ML方法用于从

文本中分类情感的任务，例如支持向量机（SVM），决策树（DT），

模糊逻辑（FL），概率分类器-朴素贝叶斯算法和回归方法。Suhasini

和Badugu（2018）比较了两种方法：基于规则的贝叶斯和朴素贝叶

斯。Hasan等人（2018）提出了两个阶段的情感分类方法：离线阶段，

从文本中构建情感分类器，以及实时分类情绪的直播阶段。使用最先

进的机器学习，例如SVM、朴素贝叶斯、决策树。他们使用词汇特征作

为一组单字（AFINN）（ANEW），表情符号和流。为了评估所提出

的方法，他们通过情感标签收集了大量的推文，这些标签取决于积极情

绪，消极情绪，焦虑，愤怒，悲伤。所提出的方法实现了90%的准确

性。Al-Khatib和El-Beltagy（2017）提出了一种使用WEKA的朴素贝

叶斯方法。他们将n-gram和特征向量作为输入特征。该模型是在他们自

己的数据集上进行评估的，这些数据集是从Twitter收集的，并依赖于

Ekman的基本情感模型。所提出的方法实现了 68.1% 的准确率。

Duppada和Hiray（2017）执行XGBoost来解决WASSA 2017 task1提

供的问题，使用了几个特征，即词向量，词典和语法特征。拟议的系统

排名第三的共享任务。

2.3.

深度

为了克服以前方法的局限性，引入了深度神经网络（DNN）。它在

这一领域取得了重大进展。DNN的隐藏层用于增强分类模型的整体性

能。DNN包含两个子神经网络，1）诸如长短期记忆方法的递归神经网

络（RNN），以及2）常规神经网络（CNN）。Wu et al.（2018）提

出了CNN-Bi-LSTM，其注意力模型取决于单词嵌入和情感推文包，以

解决SemEval 2018 task 1的两个子任务。所提出的模型达到了这些结

果，情绪强度72.2%，效价回归81.0%。

2.4.

包围方法

包围方法结合了两种或多种可用方法。这是为了取得更好的结果。

与独立方法相比，包围方法提供更大的泛化能力和增强的性能。合奏可

以从所有方法的组合中获益，以提高准确性。Duppada等人（2018）

介绍了一种域自适应技术，该技术由四种方法（XGBoost和随机森林）

组成。此外，它们还依赖于 DeepMoji 、 Skip-thought vector 和

Sentiment neurons。他们在SemEval 2018 Task1的四个子任务数据

集上评估了他们的方法。采用叠加集成技术。他们获得了最高结果

（EI-reg 79.9%）、（EI-OC 69.5%）、（V-reg 87.3%）和（V-OC

83.6%）。

2.5.

特别是阿拉伯文文本

本研究的重点是解决

SemEavl18

竞赛任务

中的情绪强度我们在

这里提供了一个审查以前的研究情绪分析从阿拉伯语文本。我们扩展

了我们以前的工作，回顾了阿拉伯语文本中情感

影响的最新研究

[

参

考资料保留

]

。

深度学习是一种最先进的机器学习方法，广泛用于文本情感分析

领域。例如，

Abdullah et al.

（

2018 b

）提出了一种深度学习模型

（（

SEDAT

）

CNN-LSTM

），以确定

O. Al-Zoubi

，

Saja Khaled Tawalbeh

和

斯马迪

沙特国王大学学报

2531

情绪强度、情绪和给定推文集的分类。他们使用了几个功能，如情感推

文包，Deepproneji，Doc2Vec和词汇功能。SEDAT对愤怒、恐惧、喜

悦和悲伤四种情绪的平均情感回归率为66.1%，情感分类率为56.9%，

情感回归率为 81.7% ，情感分类率为 0.786 。类似地， Abdullah和

Shaanxi（2018）提出了一个LSTM网络和一个Dense网络来检测推文

中的情感。预训练的嵌入、（Word2VEC和Doc2VEC）嵌入和词典特

征被用作输入向量。使用Semeval 2018数据集对四种情绪进行分类：

愤怒、喜悦、恐惧和悲伤。根据所提供的任务，所提出的方法取得了

以下结果：情绪强度59.7%，情绪强度

- 顺序分类51.1%，效价回归77.3%，效价顺序分类74.8%，情感分类

44.6。此外，Al-Khatib和El-Beltagy（2019）提出了一种RNN，使用

Doc 2 vec和AraVec预训练模型进行微调单词嵌入。为了评估所提出的

方法，使用了三个阿拉伯语和两个英语数据集，即阿拉伯语Twitter

Emo- tions数据集，SemEval 2017 task 4 subtask A和SemEval 2018

task 1 emotion classification task。他们对三个数据集的分类结果分别

为0.74%、0.60%和0.623%。此外，Samy等人（2018）提出了一种上

下文感知门控递归单元（C-GRU），旨在通过使用额外的层从输入推文

中提取上下文信息。以确定每条推文所表达的情绪。SemEval-2017

task 4和SemEval-2018 task 1用于评价所提出的方法。该模型的结果

达到了0.53%的准确率，和0.64%的F1-宏观平均。

另一方面，包围盒方法也被用于将输入文本分类到其目标情感。

Badaro等人（2018）提出了一种集成技术，由岭分类器，支持向量分

类器和随机森林组成。使用的功能是n-grams，词汇，单词嵌入，

FastText，以检测推文中的情绪强度和情绪。目标情绪是愤怒、喜悦、

恐惧和悲伤。该模型对被试的情绪强度、情绪强度-有序分类、效价回

归、效价有序分类和最终情绪分类的预测结果分别为64.3%、26.7%、

80.4%、64.3%和48.9%。此外，Abdouet al.（2018）提出了一种集成

模型，包括双向LSTM（单词和字符级）、梯度提升树和CNN模型，这

些模型取决于预训练的嵌入、各种向量表示和3种类型的阿拉伯语词

典。semeval 2018数据集的目标是对四种情绪进行分类：愤怒，喜悦，

恐惧和悲伤。所提出的模型实现了这些结果：情绪强度68.5%，情绪强

度-顺序分类58.7%，效价回归81.6%，效价顺序分类75.2%。此外，

Jabreel和Moreno（2018）提出了一种集成技术，该技术由传统网络的

N通道Xgboost回归器组成。特征包括预训练的嵌入，使用Stanford

tagger的POS标记，手动创建阿拉伯语词典以及翻译词典。Semeval

2018数据集的目标是对四种情绪进行分类：愤怒，喜悦，恐惧和悲伤。

根据所提供的任务，所提出的方法实现了这些结果，情绪强度66.7%，

情绪强度

传统的机器学习方法也被用于

阿拉伯语文本的情感分类任务。Al-Khatib和El-Beltagy（2017）提出

了一种使用WEKA工具的朴素贝叶斯方法。n-gram和特征向量模型在

他们自己的数据集上进行了评估，这些数据集是从Twitter收集的。根

据Ekman的基本情感模型，该方法实现了68.1%的准确率。类似地，

Abdullah等人（2018 a）使用支持向量

机器（SVM）和朴素贝叶斯（NB）对阿拉伯语推文中的情绪进行分

类。目标情绪是喜悦、厌恶、愤怒和悲伤。SVM和NB的准确率分别为

80.6%和0.95%ROC同样，George等人（2018）通过对英语，西班牙语

和阿拉伯语执行两种方法引入了全局向量表示，即：每行的SUM求和，

SVD奇异值分解。使用了两个分类器;随机森林和SVM，包括三个内核

（线性，多项式和RBF）。使用SemEval-2018 task 1数据集。使用该

模型实现了以下结果：子任务1（EI-reg）愤怒0.213%，恐惧0.230%，

喜悦0.207%，悲伤0.267%，宏观平均值0.230%。Pearson相关性被用

作这些子任务的测量。此外，Mulki等人（2018）提出了对semeval

subtask 5情感分类（Tw-StAR）的贡献，以确定阿拉伯语，英语和西

班牙语推文的情感。采用二进制相关性变换策略，采用TF- IDF进行特

征提取，并用支持向量机进行训练。考虑了11种情绪，以便使用为子任

务5提供的SemEval数据集解决多标签分类。所提出的阿拉伯语模型的

结果达到了46.5%的准确率，59.7%的F1-Micro Avg，和44.6%的F1-

Micro Avg。

词汇方法也被用于阿拉伯语文本的情感分析任务。例如，Ahmad et

al.（2019），介绍了一种优于DNN的DNN替代方法。该模型使用概率

为情感词构建加权词典，并计算情感类的最佳阈值，以解决SemEval-

2018 Task 1的情感分类问题。使用SemEval-2018 Task 1数据集

来

评

价

所提出

的方法

。

此外，

ibá

al. （

2018）提出了英语，西班牙语

和阿拉伯语的两个独立系统。第一个是用于回归子任务（EI-reg）的情

感推文系统，这是一个依赖于单词嵌入的WEKA包。第二个是LDA，单

词n-gram，字符n-gram和词典特征系统。最大熵分类器从二进制机器

学习被用于顺序分类子任务（EI-OC）。使用的特征包括词性标注、句

法分析树和形态特征。此外，使用了两种类型的嵌入，全局向量和

Aravec的 word2vec 。使用SemEval-2018 task 1 数据集。所提出的

Arabic模型的结果实现了以下：子任务1（EI-reg）愤怒0.487%，恐惧

0.559%，喜悦0.619%，悲伤0.631%，宏观平均值0.574%。而在子任务

2（EI-OC）中，获得了以下结果：愤怒0.327%，恐惧0.345%，喜悦

0.437%，悲伤0.467%，宏观平均值0.394%。Pearson相关性被用作子

任务的测量。

Sailunaz等人（2018）、Al-Saaqa等人（2018）和Jain和

Sandhu

（

2009

）提供了对英语和阿拉伯语的情感分析的感兴趣的读

者还可以参考以下参考文献（

Al-Ayyoub et al.

，

2019

）（

Badaro

等人，

2019

年），他们提供了对阿拉伯语文本的情感分析的全面评

论。

方法

本节介绍了情绪强度任务、数据集准备和预处理、预训练模型以及

用于模型训练的功能。

3.1.

任务描述

SemEval-Task 1有五个子任务，系统必须自动确定一个人的情感状

态。这些子任务如下：1）情绪强度回归（EI-reg），2）情绪强度顺序

分类（EI- oc），3）

剩余10页未读，继续阅读

cpongm

粉丝: 6

"阿拉伯语推文情感检测的深度学习和集成技术研究"

深度学习帮助理解文本中的情感语义信息

HILATSA：阿拉伯语推文情感分析的混合增量学习方法

AraSenCorpus：超450万阿拉伯语推文情感分析语料库

提升阿拉伯语推文分类精度的集成方法研究

如何构建一个集成BiGRU、BiLSTM和CNN的深度学习模型，以提升阿拉伯语推文中情感的多标签分类精度？

如何利用深度学习技术实现阿拉伯语推文中情感的多标签分类分析？请结合BiGRU、BiLSTM和CNN的优势进行解释。

集成方法提升阿拉伯语推文自动分类精度

阿拉伯语推文分类研究：词嵌入与tf-idf方法比较

深度学习驱动的阿拉伯语短文本情感分析研究

阿拉伯语情感分析：Twitter深度学习模型的创新与提升

最新资源