Twitter上的阿拉伯语情感分析深度学习模型

沙特国王大学学报利用特征级融合表示和注意力双向RNN-CNN深度模型进行Twitter上的阿拉伯语影响分析Hanane ElfaikAl-Al-Habib Nfaoui摩洛哥非斯Sidi Mohamed Ben Abdellah大学Dhar EL Mahraz科学学院LISAC实验室计算机科学系阿提奇莱因福奥文章历史记录：收到2022年2022年11月20日修订2022年12月22日接受2022年12月28日在线提供关键词：情感分析层次融合深度学习注意力机制多标签分类阿拉伯语A B S T R A C TTwitter上的阿拉伯语情感分析非常有助于捕捉个人对许多目标的情绪状态，例如世界级事件，产品和服务。它是监测和提高人类智能的关键，有效地影响人类决策过程。然而，最先进的模型还没有看到严重的发展，因为它们刚刚达到约54%的准确度。这种不准确主要是由于阿拉伯语的凝集、方言变异和形态丰富，以及推文的独特特征，如简短、嘈杂和非正式语言。本文提出了一种方法，解决这些挑战，然后提高Twitter上的阿拉伯语影响分析的性能。首先，我们提出了一种新的基于特征的融合表示阿拉伯语的推文捕捉多义词，语义/句法信息，传达情感知识，并处理外的词汇（OOV）的话。其次，我们提出了一种基于双向门控递归单元（BiGRU）、双向长短期记忆（BiLSTM）和卷积神经网络（CNN）的注意力深度学习模型，以有效地学习局部和全局特征，并提供多标签情感分类。实验结果表明，我们的建议优于12个国家的最先进的和基线的方法与6%的准确性显着提高。©2022作者（S）。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍情感分析（Affect Analysis）情感识别）旨在从包括文本、图像、音频和视频的各种形式中检测人类情感状态，例如预期、幸福、喜悦、愤怒、悲伤和恐惧。在许多现实生活中的应用中，期望建立一种认知系统 ， 其 可 以 检 测 和 识 别 个 体的 情 感 ， 同 时 迅 速 做 出 敏 感 的 反 应（Scheutz，2012）;（McColl等人，2015年）。例如，实时监测驾驶员*通讯作者。电子邮件地址：hanane. usmba.ac.ma（H.Elfaik），elhabib. usmba.ac.ma（E.H.Nfaoui）。沙特国王大学负责同行审查交通事故的概率（Ali等人，2019）;（Ali等人，2021年）。近年来，来自在线文本数据（即推文，Facebook帖子，产品评论，评论，博客和新闻报道）的影响分析一直是一个很有前途的研究课题（ Nandwani 和 Verma ， 2021; Alswaidan 和 Menai ， 2020;Sailunaz等人，2018; Acheampong等人，2020年）。已经进行了大量尝试来构建能够检测以自然语言表达的关于各种主题和目标实体的正确情感的可信自动化系统，包括当前世界级事件、产品、药物、疾病和服务（Peng等人， 2021年）。它在各种现实世界应用中的人类决策支持中发挥着至关重要的作用，包括电子商务，民意分析，个性化推荐，医疗保健，在线教学和大搜索。例如，品牌公司可以使用文本情感分析来监测Twitter上公众对品牌的评价，如果不利的评价突然增长，它可以迅速采取相应的从文本中识别情感被认为是一个多标签分类问题，即，一篇文章可以表达不止一种情感。因此，它提出了一个额外的挑战以上的二进制或多类分类问题。https://doi.org/10.1016/j.jksuci.2022.12.0151319-1578/©2022作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comH. Elfaik和E.H. 恩法维沙特国王大学学报463在本文中，我们专注于Twitter上的阿拉伯语情感分析任务。尽管阿拉伯语是第四大使用率最高的互联网语言，占互联网 1所有用户的5.2%，但Twitter上的阿拉伯语文本情感分析研究尚未取得重大进展，因为目前最先进的方法已经达到了约54%的准确率。因此，提高阿拉伯语情感检测任务的最新性能对于准确分析阿拉伯语推文，然后开发可信和可靠的工具以提供细粒度的决策支持至关重要由于阿拉伯语的歧义性、聚合性、方言变异和形态丰富性，准确识别阿拉伯语推文中的情感状态是一项具有挑战性的任务。此外，用户生成的数据通常包含拼写错误的单词、缩写、首字母缩略词、俚语、非正式用语和非标准标点符号。 已经开发了用于表示阿拉伯语推文的单词级别的各种嵌入技术。Ara2Vec（Soliman等人， 2017）和阿拉伯语GloVe（Alayba和Palade，2021）已被广泛用于语义分析，因为它们反映了阿拉伯语推文中的语义信息和分布式单词表示。然而，这些技术无法考虑到阿拉伯语tweets中包含的多义词。- 来自变换器的双向编码器表示（BERT）语言特定于阿拉伯语，诸如AraBERT（Antoun等人，2020 ）、ArabicBERT （Safaya等人，2020 ）、CamelBERT（Inoue等人，2021）和MARBERT（Abdul-Mageed等人， 2020）提供了上下文化的嵌入，这使得量化输入推文的情感状态变得更简单，这些推文涉及上下文中的共享多义词。因此，这些技术在阿拉伯语情感分析任务中表现出有希望的预测结果。同时，这些词级表示技术无法处理社交媒体用户在相互交流时产生的阿拉伯语方言和子方言形式的广泛变化，这导致OOV问题。据我们所知，针对阿拉伯语的最先进的情感识别方法已经应用了一种或更多类型的上述表示来嵌入包含在推文中的令牌。然而，他们没有融合不同的词表示，以充分捕捉多义词，语义/句法信息，并传达情感知识，也没有处理与OOV词相关的问题。因此，仍然需要来增强阿拉伯语推特的表现力。阿拉伯语影响分析的最新方法Twitter一直在多标签分类步骤中利用深度学习策略（Mansy等人，2022; Elfaik 和 Nfaoui ， 2021; Khalil 等 人， 2021; Alswaidan 和Menai，2020; Samy例如，2018年）。在大量基于深度学习的模型中，CNN、GRU、LSTM和双向LSTM或具有注意力机制的GRU双向递归神经网络（RNN）已被用来考虑该术语带有池化层的CNN已经被执行以减少输入空间的维数并提取信息特征。此外，还采用了注意力机制来进一步区分特征的差异 .最佳解决方案（Mansy等人，2022年）和（Elfaik和Nfaoui，2021年）已经实现了大约54%的分类准确度，这与将这些最新的系统视为人类决策过程中的准确情感识别器相差甚远。因此，仍然需要更多的努力和有效的实验，以产生有效的1https://www.statista.com/statistics/262946/share-of-the-most-common-lan-guages-on-the-internet/。深度架构，以提高Twitter上阿拉伯语情感分析模型的性能。一个想法是将attentional双向RNN和CNN相结合，以提高学习和提取阿拉伯语推文的局部和全局特征的能力，因为它在文本分类中产生有希望的预测性能（Basiri等人，2021; Usama等人，2020; Kamal和Abulaish，2022; Onan，2022）。为了解决上述问题，我们提出了一个阿拉伯语的推文表示，可以捕捉多义词，语义/句法信息，并传达情感知识，然后处理相关的问题，OOV的话，通过利用四个层次的融合不同的功能，即，上下文的 AraBERT 为 基 础 的 ， 语 义 / 句 法 的 AraVec 为 基 础 的 ， 知 识BabelSenticNet为基础的，字符级使用fastText。然后，我们提出了一个注意力双向RNN-CNN 深度模型，该模型使用两个 par-sequence模型，即BiLSTM和BiGRU网络，通过处理前向和后向来捕获高质量的上下文特征此外，我们还采用了具有池层的CNN来提取有意义的特征，降低特征空间的维数，并学习局部模式。我们采用了注意力机制来进一步增强基本特征。为了验证所提出的方法的有效性，我们将其与12种最先进的方法进行了预测结果表明，我们的建议优于国家的最先进的阿拉伯语的影响分析任务的结果。概括起来，本文的主要贡献有三个方面：1) 我们提出了一个高质量的表示的阿拉伯语推文的基础上的特征级融合技术，以解决阿拉伯语的问题，并找到在输入推文中的单词之间的深层关系。据我们所知，这是第一个研究中，一个功能层面的融合技术已被用于阿拉伯语的影响分析。消融研究表明，所提出的基于特征级融合的表示产生了有希望的结果，并提取了一组宝贵的，鲁棒的，分布良好的特征，而不是使用一个词的表示。2) 我们提出了一个基于BiGRU、BiLSTM和CNN的高效注意力深度学习模型，用于阿拉伯语情感多标签分类任务。实证结果表明，这些深层模型的结合实现了这一任务的显着结果，成功地捕获本地和全局语义特征，并建模长期依赖关系。3) 我们报告了在唯一的基准多标签数据集“SemEval-2018任务1（推文中的影响）”上进行的广泛实验。预测结果表明，我们的建议取得了重大进展，在解决了棘手的问题，并取得了60%的分类准确率与6%的最新的阿拉伯语情感分析方法的一致和显着的改善。本文的其余部分组织如下。在第二部分中，我们强调了情感分析的一些基本概念。然后，我们介绍了最近的相关工作，针对阿拉伯语的情感分析方法。第3节规定了义务。第4节描述了我们提出的方法。第五节介绍了实验研究和所得结果。因此，我们对预测结果进行了详细的阐述和讨论，并得出了一些有意义的结论。最后，在第六部分，我们总结了全文，并对未来的工作提出了一些展望。H. Elfaik和E.H. 恩法维沙特国王大学学报4642. 背景和相关工作在本节中，首先，我们强调了情感分析理论的一些基本概念及其流行的情感建模。然后，我们提出了阿拉伯语篇情感分析研究的语料库设计。最后，我们概述并讨论了最相关的国家的最先进的文本影响分析的方法，为阿拉伯语量身定制2.1. 情感分析理论情感分析（或情感识别）和情感分析是同一个领域中的两个不同主题，称为情感计算（Wang，2022）。尽管研究人员经常互换地提及这两个主题，但它们之间存在一些差异（Nandwani和Verma，2021）;（Sailunaz等人，2018年）。首先，在情感分析中，极性是关键的关注点，而情感识别则侧重于检测情感或心理状态或情绪。其次，情感分析是非常主观的，而情感识别则更加客观和精确。发送分析通常可以发生在三个级别：文档级别（Tripathy等人，2017年），层次（刘，2010年）和方面级（Schouten和Frasincar，2015年）。文档级和句子级情感分析用于识别给定文档或句子的总体情感。情感级情感分析，也称为基于方面的情感分析，是一种旨在识别讨论的方面及其情感的过程（Schouten和Frasincar，2015; Zhao和Yu，2021; Liang例如，2022年）。情感分析及其情感模型将在下面详细介绍，因为它是本文的目标主题。情感分析旨在检测和提取人类的情感状态（Wang，2022）。人们可以直接或间接地通过他们的言语、面部表情、手势或书写来表达他们对当前世界级事件、产品、服务等的情感。可以采用各种信息源来分析这些情感，可以引用文本、语音和视觉源（Sailunaz等人，2018年）。因此，为了理解和分析情绪状态，信息源，应选择适当和充分的情感根据最新的情感计算系统综述（Wang，2022），心理学家提出了两个主要的情感建模理论：离散情感模型（也称为分类情感模型）基于这样的想法，即存在有限数量的普遍认可的情感。两种广泛使用的离散情感模型是Ekman第二个模型是Plutchik维度情感模型是基于这样一种思想，即情感是以系统的方式相互关联的。这个模型涵盖了三个维度的情绪：效价，唤醒和权力。效价维度描述了极性，唤醒维度描述了情绪的兴奋程度，而力量维度描述了力量的程度（图1（b））。维度模型被高度建议用于说明情感状态相似性的项目（Acheampong等人， 2020年）。基于离散的模型由于其简单性而被广泛应用于如图1（a）所示，Plutchik第二种是八种主要情绪。每一种主要的情绪都有一个相反的极端。该模型有助于识别给定的情绪实际上是两种或更多种不同情绪的组合。此外，该模型表示情绪强度的水平（Acheampong等人，2020年）。受上述讨论的启发，我们利用了Plutchik的情绪轮模型，以及SemEval-2018（影响推文）竞赛的组织者（Mohammad等人，2018年，他将其作为一种情感模式。2.2. 阿拉伯语语篇情感分析语料库设计影响分析的主要挑战之一是缺乏相关资料，特别是阿拉伯语。大多数阿拉伯语大规模Fig. 1. 情感模型，（a）Plutchik●●H. Elfaik和E.H. 恩法维沙特国王大学学报465表1为文本阿拉伯语影响分析设计语料库。语料年份来源任务情感模型a阿拉伯文variantb公共Dis昏暗MSADA阿拉伯语情绪Twitter数据集（AETD）（Al-Khatib和El-Beltagy，2017）2017年Twitter多类U✗UUU沙特阿拉伯推特数据集（Almanie et al.， 2018年）2018年Twitter多类U✗✗U✗伊拉克阿拉伯情感数据集（IAEDS）（Almahdawi和Teahan，2019）2019年Facebook多类U✗UUUSemEval数据集（Mohammad等人，2018年）2018年Twitter多标签使用✗UUU（Badarneh等人，2018）数据集2018年Twitter多标签和多目标使用✗✗U✗（Alzu'Bi等人，2019）数据集2019年Twitter多标签和多目标使用✗UU✗a情感模型：Dis =离散，Dim =维度。b阿拉伯文变体：MSA =现代标准阿拉伯文，DA =阿拉伯方言。语料库和词典对研究者来说是不可用的。此外，大型语料库的人工标注过程相当耗时，准确性也较低。此外，一些资源是特定于领域或任务的。后者限制了它们对其他领域的适用性。表1提供了阿拉伯语文本影响分析数据集的全面概述。它们表现出根本不同的任务和挑战，因为它们在大小、数据源、域、阿拉伯语阿拉伯语情绪Twitter数据集（AETD）（Al-Khatib和El-Beltagy，2017）是一个多类数据集，包含10，065条用埃及方言编写的阿拉伯语推文。每条推文都被标记为作者在（Almanie等人，2018）收集了一个包含4000多个情感术语和表情符号的数据集，其中考虑了沙特方言的推文。数据集被标记为以下情绪状态：“快乐”，“悲伤”，“愤怒”，“害怕”和“惊讶”。作者在（Mohammad et al.，SemEval-2018 Task 1（Affect inTweets）是最广泛和最大规模的竞赛之一，旨在克服Twitter上的文本情感分析问题。比赛中有五个子任务：情绪分类（E-c），这是本文处理的子任务，情绪强度回归（EI-reg），情绪强度顺序分类（EI-oc），效价（情绪）回归（V-reg）和效价顺序分类（V-oc）。这些数据集以三种语言注释：英语，西班牙语和阿拉伯语，并提供给社区2。伊拉克阿拉伯情感数据集（IAEDS）由Almahdawi和Teahan提出，2019年。这个数据集包含用伊拉克方言写的Facebook帖子。通过联系作者来访问数据集。数据集被分成六个独立的文件，每个文件包含“愤怒”，“厌恶”，“恐惧”，“快乐”，“悲伤”或“惊讶”的实例。多类数据集总共包含1365个实例。作者在（Alzu 'Bi等人， 2019年）使用TwesternAPI从Twitter收集了大规模数据集。该数据集包含4908个“惊讶”实例以类似的方式，（Badarneh等人， 2018）提出了一种基于细粒度的策略，其中给定的推文可能包含具有不同强度（多目标）的多个情绪状态（多标签）。在这方面，他们创建了一个包含11，503个实例的数据集，这些实例由一些阿拉伯语母语者注释不幸的是，这些数据集对学术研究人员不可2https://competitions.codalab.org/competitions/17751。2.3. 最先进的情感分析技术在本小节中，我们将介绍阿拉伯语文本情感分析任务的主要方法：基于词典的，基于机器的，基于深度的和基于混合的模型。本节简要总结了2013年至2022年期间发表的重要研究成果基于词典的方法由（El Gohary et al.， 2013），以确定阿拉伯儿童故事中的情感标签。三种不同的语言水平（单词，句子，文件）已被应用。然后，余弦相似度被用来比较输入的句子Ekman的基本六种情绪。此外，在（Abd Al-Aziz et al.，2015）结合了基于词典的方法和多标准决策策略，以证明其处理具有各种情感标签的推文的能力，从而改进了多标签情感分类。至于（他们翻译了NRC情感词典（Mohammadet al.，2013年）翻译成20种不同的语言，包括阿拉伯语。然后，他们删除了传递“无情感”和重复的术语因此，词汇中的阿拉伯语词汇减少到总共4 279个。在（Rabie和Sturm，2014）中引入了检测Ekman在这个架构中，收集了1605条阿拉伯语推文，并进行了手动注释。然后，五种预处理技术已被采用和讨论。类似地，（Hussien等人， 2016）提出了一种在训练数据注释中利用嵌入式表情符号的自动化方法。在这项研究中，他们从Twitter上收集了然后，他们使用了两种基于机器学习的分类器：多项NB（MNB）和SVM。实证结果表明，通过SVM和MNB的自动标记架构，提高了预测性能。此外，作者提出的研究（Sayed等人， 2016年）执行了一个框架，以不同的细粒度级别（推文，表情，方面）分析人们的情绪状态和趋势。他们从Twitter上构建了一个包含563个情感阿拉伯语符号的词典。作者应用了两种著名的基于机器学习的模型：条件随机场和AdaBoost。另一方面，通过使用TF-IDF作为特征和基于两种公知的基于机器的分类器（NB，SVM）的方法来检测情绪，由（Abdullah等人， 2018年）。SemEval-2018任务1（影响推文）竞赛发起以克服Twitter上的文本情感分析问题（Mohammad等人，2018年）。在这方面，传统机器学习型方法为文本情感分析H. Elfaik和E.H. 恩法维沙特国王大学学报466帮助了（Badaro，2018）的模型。他们参加了SemEval-2018任务1竞赛的所有五个子任务，以阿拉伯语进行情感分析。在他们提出的系统中，几个预处理技术和功能已被应用。此外，他们还评估了不同的机器学习分类器和回归器，即具有惩罚（L1，L2）的SVC（支持向量分类器），RC（岭分类），RF（随机森林）和集成方法。他们的结果表明，因此，SVC与L1产生最佳的预测性能。最重要的是，他们在SemEval-2018 E-c子任务中获得了第 一名。此外，使用具有线性核的SVM（Mulki等人，2018）开发了三个版本的情感系统：英语，西班牙语和阿拉伯语。除了提取推文特征的TF-IDF之外，他们还使用了二进制相关性转换策略。然而，（Abdullah and Shaanxi，2018）提出了一个基于LSTM的深度模型来提取输入推文中携带的情感标签。Word2vec 、 doc2vec 和 一 组 心 理 语 言 学 特 征 被 用 作 模 型 的 输 入（Abdullah和Shaidah，2018）。然而（Jabreel和Moreno，2018）将两个深度神经网络（ConvNets，N-Stream）与XGBoost回归器结合起来，并为V-reg子任务使用了一组嵌入和词典功能。在（Abdullah等人， 2018年，他提出了一个阿拉伯语的senti-通过CNN和LSTM的方式来识别给定推文中携带的情感和情感强度他 们 使 用 了 四 个 特 征： 单 词 ， 文 档 嵌入 ， 心 理语 言 学 特 征 和Deepmoji 。使用 SemEval-2018 数据集生成结果。（ Alswaidanand Menai，2020）的作者基于三种不同的基于深度的模型检测了阿拉伯语中的情感，即“基于人类工程特征（HEF）”模型，该模型采用了一组句法，语义和词汇的最后，提出了基于HEF和DF的混合模型。实证结果表明，后者的模型产生了一个有前途的预测性能。此外，采用预处理步骤并利用词形化和词干工具过滤噪声是由（Khalil等人， 2021年）。然后，他们建立了AraVec作为多标签BiLSTM深度模型的预训练单词嵌入 （Mansy等人， 2022）在SemEval-2018-Ec数据集上微调了MARBERT，以执行多标签分类任务。此外，本发明还提供了一种方法，使用BiLSTM和BiGRU。结果表明，集成模型优于现有的工作。另一方面，GRU和上下文感知门控递归单元（C-GRU）由（Samy等人，2018年）。然后，他们把它们当作一个额外的层，用于确定输入的阿拉伯语推文中表达的情绪状态。由于注意机制的有效性，许多研究者将其应用于语篇情感分析.例如，（Elfaik和Nfaoui，2021）需要一个阿拉伯语情感检测模型，将基于transformer 的Ara-BERT 和基于attention的LSTM-BiLSTM深度模型相结合。作者在（AlZoubi和Tawalbeh，2022）中解决了情绪强度研究问题。他们开发了几种基于深度的模型，即双向GRU-CNN，CNN和XGBoost回归器，然后是集成模型。结果表明，他们的集成模型达到了69.2%的皮尔逊。（Baali和Ghneim，2019）提出了阿拉伯语推文中情绪状态的分类器。所提出的模型在训练的词向量之上作者使用了三个阿拉伯语词干分析器，即light词干分析器、Snowball和ISRI词干分析器，以及两个基本特征Count和TF-IDF。他们还将实验结果与三种基于机器的学习分类器进行了比较：SVM，NB和MLP（多层感知器）。他们的架构使用了三个矢量化步骤：单词、句子和文档。作者评估了他们提出的模型，SemEval-2018数据集的EI-oc子任务，结果表明，他们的模型优于传统的机器学习方法。另一项使用CNN进行情绪分类的工作是（Elfaik和Nfaoui，2021）。作者比较了四种不同的传统机器学习模型（线性SVC、逻辑回归、多项式、互补NB）与两种性能最好的深度学习技术（CNN、LSTM）的性能。他们利用了两个多类数据集，即AETD和IAEDS。实证结果证明，CNN深度技术在研究中使用的两个数据集上的表现优于基于机器学习的模型。Twitter上阿拉伯语情感分析任务中的大多数最先进的方法然而，最好的解决方案（Mansy等人， 2022年）和（Elfaik和Nfaoui，2021年）已经实现了大约54%的分类准确率，这可能远远不能将这些最新的系统视为人类决策过程中的情感识别器。因此，仍然需要更多的努力和有效的实验，以产生一个有效的基于深度的模型，以提高Twitter上的阿拉伯语情感分析模型的性能。最近已经尝试将注意力机制、CNN和双向RNN结合起来，以提高从文本数据中学习和提取局部和全局特征的能力（Basiri等人，2021）;（Usama等人，2020）和（Liu和Guo，2019）提出了一种用于情感分类的基于注意力的双向CNN-RNN 模型。类似地，（Onan，2022）采用了基于卷积递归神经网络的架构，并结合了分组增强机制。CNN和RNN用于多标签分类的集成应用在（Chen etal.，2017年）。（Kamal和Abulaish，2022）提出了一种基于BiGRU-CNN和注意力机制的讽刺识别任务的混合深度神经架构这些模型通常在文本分类中产生有希望的预测结果，因为它们可能在针对阿拉伯语的文本情感分析任务中发挥作用，这是我们提出的架构的目标之一。表2总结了2013年至2022年期间发表的与阿拉伯语影响分析最相关的方法。前八行表示SemEval-2018数据集上的阿拉伯语文本影响多标签分类针对表2中列出的阿拉伯语定制的所有现有情感识别方法都使用了一个或多个表示来嵌入标记。同时，他们没有充分捕捉多义词、语义/句法信息、传达的情感知识，也没有处理与OOV词相关的问题因此，我们的架构提出了一个更准确的解决方案，这一困境。3. 预赛本节简要概述了我们提出的影响分析框架的必要组成部分。具体而言，本文其余部分使用的符号列表及其定义在第3.1节中解释。在第3.2节中描述了用作神经语言模型的不同的预训练词嵌入。特征级融合技术在第3.3节中进行了解释和强调。基于深度学习的神经网络架构，包括LSTM、GRU、CNN和注意力机制，将在第3.4节中描述。3.1. 问题表述和定义在本文中，我们专注于进行情感识别的情感推文的标签与一个，或多个，表22013年至2022年期间发表的与阿拉伯语影响分析相关的最相关方法摘要子任务a模型结果（%）方法数据来源优点缺点MLDLE-c（Mansy等人，2022）精度：54US e m E v a l -2018-使用MARBERT、BiLSTM、BiGRU和集成模型进行-准确性需要进一步改进。Macro-F1：70.1Micro F1：52.7多标签情感分类（Elfaik和Nfaoui，2021）准确度：53.82US e m E v a l -2018-A combined LSTM and BiLSTM.- 仅使用AraBERT上下文嵌入- 使用注意力机制。- 没有考虑角色级别。- 使用AraBERT生成上下文化嵌入。准确性需要进一步提高。（Khalil等人，2021）精度：49.8US e m E v a l -2018-调整了几个预处理步骤。- 仅使用AraVec嵌入。准确性需要进一步提高。（Alswaidan和Menai，2020）精度：51.20U- SemEval-2018-基于深度特征的模型和人类的组合基于特征的工程模型。- IAEDS-使用文体，词汇，句法和语义特征。- AETD准确性需要进一步提高。（Samy等人，2018）精度：53.2US e m E v a l -2018-使用C从推文中提取上下文信息-准确性需要进一步改进。F1-宏：64.8F1-微型：49.5格鲁乌（Abdullah and Shaanxi，2018）精度：44.6US e m E v a l -2018-结合了密集网络和LSTM。- 没有考虑表情符号，表情符号和标签信息.- 使用三种不同的嵌入：单词，文档和心理语言学。（Badaro，2018）准确性：48.9USemEval-2018-使用几个功能：n-grams，影响词汇，情绪词典，AraVec的单词嵌入，fastText。- 在SemEval-2018阿拉伯语比赛中获得第一（Mulki等人，准确度：46.5USemEval-2018-研究预处理步骤对多标签的影响情感分类- 在SemEval-2018阿拉伯语比赛中获得第4- 准确性需要进一步提高。- 使用简单的机器学习算法：SVC，L1和L2惩罚，RC和RF。- 独立测试每个功能- 准确性需要进一步提高。- 仅使用TF-IDF。- 使用SVM与线性内核。- 没有考虑语义、句法或文体特征。- 准确性需要进一步提高。（Abd Al-Aziz等人，2015）二维图形表示Twitter-使用基于词汇和多标准的决策方法来处理多种情绪。- 没有考虑任何功能工程任务。M-c（Elfaik和Nfaoui，2021）准确性，CNNUU- IAEDS-采用几个预处理步骤。- 仅使用TF-IDF。92个关于AETD-AETD88人参加IAEDS（Abdullah等人，2018）准确性，UTwitter-使用不同的预处理步骤。- 仅使用TF-IDF。SVM：80.6，-使用简单的机器学习分类器：SVM（Al-Khatib和El-Beltagy，2017年）注：95精度：68.12UAETD-预处理步骤和几个特征提取技术被利用。和NB。- 使用n-grams，仅BOW（Hussien等人，2016）F1-measure，UTwitter-由-Used SVM and Multinomial NB仅使用的训练数据的自动标记架构。支持向量机：72.26多国旅：75.34嵌入的表情符号- 仅使用BOW和TF-IDF。（Sayed等人，F1-measure，UTwitter-使用不同的细粒度级别（tweets，- Used simple machine learning-based classifiers：通用报告格式：72.60AdaBoost：53.45表达式、方面）。AdaBoost和条件随机场。（Rabie和Sturm，2014）准确性：64.3UTwitter-研究不同预处理步骤的效果 - 数据集的大小很小（1605条推文）。他们从最初的1012条推文中创建了一个词典，后来扩展了。- 使用简单的机器学习算法：NB和SVM。（El Gohary等人，2013年）准确度：54阿拉伯语-使用基于词典的方法进行情感检测。- 没有考虑任何功能工程任务。Macro-F1：70.1儿童Micro F1：52.7文档.（接下页）H. Elfaik和E.H. 恩法维沙特国王大学学报467H. Elfaik和E.H. 恩法维沙特国王大学学报468.Σ.Σ表3符号的定义符号描述DTwitter多标签情感数据集。N在D中的推文总数。Q情感标签的总数。第i个输入tweet，xi^wi1;wi2;：;wip;：;win，其中n分别是xi中的令牌数量，wip是第p令牌。yi第i条推文的真实情感标签集。~yi由第i个分类器预测的情感标签的集合推特11情绪状态阿拉伯语推文中的情感识别问题被正式定义如下。一条输入的推文可以传达几种情绪状态（例如：悲伤、恐惧和悲观）。在这种情况下，阿拉伯推文的情感分类是一个多标签分类问题。鉴于第i条推文xi和一个单词序列w i1;w i2;：;w ip;：;w in和情绪-离子标记物y=0; 1gQ.情感检测的问题是学习并执行预测函数f：xi#y~i为了分配最相关的情绪状态。在表3中，我们列出了使用的符号及其描述。3.2. 阿拉伯语的神经语言模型神经语言模型通过较少的人工数据预处理，提供了一个强大而强大的表示，具有上下文，语法和语义特征。本研究中采用了几种已知的阿拉伯语预训练词嵌入，包括基于上下文BERT的嵌入、基于语义AraVec的嵌入、基于知识BabelSenticNet的嵌入和字符级嵌入。3.2.1. 基于上下文BERT的嵌入（Devlin等人， 2018）引入BERT作为情境化预训练模型。它是建立在一个多层双向Transformer编码器与并行注意层，而不是顺序递归的Transformer神经网络。BERT在以下两个无监督任务上进行了预训练：（1）图 2描述并解释了BERT输入表示的体系结构。BERT有几种语言特定的变体，特别是在阿拉伯语中，使用阿拉伯语文本进行微调或训练，例如多语言BERT（Devlin等人，2018）; AraBERT（Antoun等人，2020 ） 、 CAMEL-BERT （ Inoue 等 人 ， 2021 ） 、 ArabicBERT（ Safaya 等 人 ， 2020 ） 、 MARBERT （ Abdul-Mageed 等 人 ，2020），ARBERT （Abdul-Mageed等人，2020），多方言BERT（Talafha等人，2020）; GigaBERTv 4（Lan等人，2020年）。表4总结了阿拉伯语BERT语言特定变体的规范。3.2.2. 基于语义AraVec的嵌入单词2vec（Mikolov等人，2013）方法是通过浅层神经网络学习单词嵌入的最有效和最广泛使用的方法之一。使用两种技术来创建单词 嵌 入 ， 即 Skip Gram （ SG ） 和 Continuous Bag of Words（CBOW）。在这项工作中，我们利用预训练的词嵌入AraVec（Soliman等人，2017），这是一个用于阿拉伯语NLP任务的开源工具3。3https://github.com/bakrianoo/aravec。表2（续）子任务a结果（%）模型方法数据源缺点优点MLUDLU（Baali和Ghneim，2019）EI-ocSemEval-2018验证准确度：99.82- 使用两个基本特性：TF-IDF和仅计数- 使用单词、句子和文档矢量化步骤。- 使用了三个阿拉伯语词干分析器和两个特征- CNN和LSTM的结合- 使用三种不同的特征：单词嵌入，文档嵌入和语义特征。- 将两个深度神经网络（ConvNets，N-Stream）与XGBoost回归器相结合。- 使用一组嵌入和词典功能。SemEval-2018（Abdullah等人，2018年）- 没有考虑上下文嵌入。注意机制未执行。U（Jabreel和Moreno，2018）V-regSemEval-2018皮尔森- 注意机制没有执行。UUENG：82，ARA：82（AlZoubi和Tawalbeh，2022）EI-reg- 基于两种深度学习和XGBoost回归器的Encrimination模型。- 使用词级、情感词典、TF-IDF特征。SemEval-2018- 没有考虑上下文嵌入和字符级。UaE-c：情绪多标签分类，M-c：情绪多类分类，EI-oc：情绪强度有序分类，V-reg：效价回归，EI-reg：情绪强度回归。69.2H. Elfaik和E.H. 恩法维沙特国王大学学报469图二、BER T 的 输入表示（Devlin等人， 2018年）。以一个由两部分组成的句子为例。输入嵌入是令牌嵌入、段嵌入和位置嵌入的总和表4阿拉伯语BERT语言特定变体的规范决定每个BERT模型大小的超参数是每层中隐藏单元的数量，每个隐藏单元的注意力头的数量，以及在预训练阶段学习的参数总数BERT模型阿拉伯语变体#隐藏层#注意#参数多语言BERT-Base（Devlin等人， 2018年）MSA76812110米AraBERT v2-Base（Antoun等人， 2020年）MSA76812136海里AraBERT v2-Large（Antoun等人， 2020年）MSA102416小行星371ArabicBERT-Mini（Safaya等人， 2020年）MSA256411米ArabicBERT-培养基（Safaya等， 2020年）MSA512842米ArabicBERT-Base（Safaya等人， 2020年）MSA76812110米ArabicBERT-Large（Safaya等人， 2020年）MSA102416340 MMARBERT（Abdul-Mageed等人， 2020年）管理事务部/管理事务部76812163个月ARBERT（Abdul-Mageed等人， 2020年）MSA76812163个月多方言BERT（Talafha等人， 2020年）管理事务部/管理事务部76812110米CAMEL-BERT-MSA（Inoue等人，2021年）MSA76812–CAMEL-BERT-DA（Inoue等人，2021年）DA76812–CAMEL-BERT-CA（Inoue等人，2021年）CA76812–CAMEL-BERT混合物（Inoue等人， 2021年）MSA/DA/CA76812–GigaBERTv4（Lan等人， 2020年）MSA