阿拉伯语情感分类研究

~沙特国王大学学报研究特征向量变化对阿拉伯语情感分类Ibtissam TouahriJ.，Azzeddine Mazroui穆罕默德第一大学数学和计算机科学系，地址：717 Oujda 60000，摩洛哥阿提奇莱因福奥文章历史记录：2019年1月3日收到2019年3月29日修订2019年4月21日接受在线发售2019年关键词：情绪分析意见抽取阿拉伯语词典语义分割监督方法A B S T R A C T在本文中，我们提出了一种新的方法来分析情绪的阿拉伯语。为了克服训练和分析任务所需的阿拉伯语资源的稀缺性和大小限制，我们使用不同的方法构建了新的词汇资源。我们还通过创建词干化和词形化版本的单词词典来整合形态学概念。此后，所生成的资源被用于从考虑单词否定上下文的一组特征构建监督模型。同样，我们已经语义分割的词典，以减少模型向量的大小，从而提高执行时间。©2019作者制作和主办：Elsevier B.V.代表沙特国王大学这是一CC BY-NC-ND许可下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍情感分析是数据分析和信息提取领域的一项重要任务。事实上，市场营销或旅游业等不同行业的经营者都会实时评估客户的满意度，以便调整策略，以取得更好的业绩。互联网用户广泛使用社交媒体来表达他们对特定主题的看法，已成为分析人员的主要信息来源之一。事实上，分析师试图根据极性对从网络中提取的数据进行分类，这使他们能够做出预测并调整策略。在阿拉伯语中，人们可以使用现代标准阿拉伯语（报纸和电子期刊）或方言阿拉伯语（因地区而异）或标准和方言阿拉伯语（社交媒体）的*通讯作者。电子邮件地址：ibtissamtouahri555@gmail.com（I. Touahri）。沙特国王大学负责同行审查意见检测的一般原理是基于表达积极、消极或中性情绪的句子中的单词的阿拉伯语情感词的识别面临着许多挑战，其中我们区分了两类，即语言和语境。1.1. 语言挑战在语言挑战中，我们发现以下几点：大多数阿拉伯语单词中没有变音符号，这使得确定单词的含义成为一项非常复杂的任务。实际上，非变音符号的单词“"joyd/jyd/ *可以根据上下文指定作为肯定词的意义”“joyd/jay ~ id /（好），或者作为没有极性的身体部分的单词”“joyd/jiyd/（脖子）。阿拉伯语形态的复杂性，部分是由于凝集现象，使得难以确定所分析的单词的结构。比如说，这个词/fDl/可以匹配肯定词““免费服务”/faDol/（免费服务），或由贬义词“”迷路/fa/（和）和否定动词“”迷路/fa/“组成的单词”“迷路/faDal a/（和他迷路了他迷路了。*Buckwalter音译：http://www.qamus.org/transliteration.htmhttps://doi.org/10.1016/j.jksuci.2019.04.0111319-1578/©2019作者。制作和主办：Elsevier B.V.代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.com●●I. Touahri，A.Mazroui/ Journal of King Saud University8911.2. 背景挑战在值得一提的可能误导意见极性的背景挑战中，我们发现：否定词的出现，逆转了其后的情感词的极性例如，孤立的单词“”重要/mhm/“（重要）是肯定的，在句子”“不重要的工作/*lkAlEml gyr mhm/”（不重要）中表达了否定的极性，因为它前面有否定词“”不重要通常，当我们比较两件事或两个人时，我们可能是一方的支持者和另一方的对手，例如，目前的情感词得分有时例如，积极的现有资源。然后，我们使用机器翻译系统将英语词汇资源翻译成阿拉伯语。此后，在手动检查其有效性之后，我们将翻译的词典的术语整合到我们的词典中。我们测试的第一个模型是由表示与词典大小相同的数据的向量构建的。创造新的词汇资源有助于通过改变特征向量使实验条件多样化。然而，扩大词典导致扩大提取的特征尺寸。另一方面，由于模型构建时间与特征向量的大小成正比，词典扩展使得模型构建时间更长。为了解决这个问题，我们建议使用的语义类，不仅显着减少了每个分析文本的特征向量的大小，但也给出了一个可接受的表示小文本。本文的其余部分组织如下：以下部分介绍了相关工作所针对的情感分析领域。然后，我们提出了所使用的方法推特ﻣﻦﺍﻟﺼﻌﺎﺏﺍﻟﻌﺪﻳﺪﻣﺠﺎﺑﻬﺔﺑﻌﺪﻧﺠﺢ/njH bEd mjAbhp来构建我们系统所使用的语言资源的AlEdyd mn AlSEAb wAlEqbAt/（他在面临许多困难和障碍后取得了成功）包含三个情感术语，其中只有一个是积极的。根据领域改变极性的单词例如，在句子“/”中，“/”EAdy/“是一个词jml/（更美丽），并且从词典单词“''美丽的'/>fDl/（更好）中，我们生成单词”''美丽的'/AfDl/（更好）。应该注意的是，除了冗余消除之外，词典的所有其他预处理步骤都是手动完成的。我们在表2中列出了预处理词典的统计数据3.2.3. 词干提取与词形化在本节中，我们生成了特定领域词典HTL、PROD、MOV和RES的词干化和 我们应用Alkhalil分析仪（Boudchiche等人， 2017年），这四个词汇的所有单词。我们回想一下，由于分析是在上下文之外进行的，因此该分析器提供了所分析单词的所有潜在词干和词元因此，已手动检查生成的术语，以过滤掉那些不携带表2词汇统计。词典数量总积极的词语否定词HTL11575190PROD180117297MOV10182183RES281236517Happ221136357ENG-AR127822263504LABR296220516表3词干词典统计。词典数量总阳性茎阴性茎HTL8759146PROD12592217MOV7771148RES181143324情绪例如，对单词提 供 了 几 个引 理 ， 其 中 有 “"jay ~ id/ （ good） 和 ”" jay ~ id/jiyd/（neck）.第一个是感情的载体，将被保留，而第二个不是，因此将被淘汰。本节已通过冗余过滤完成。表3和表4分别给出了与词干提取和词形还原阶段相关的统计数据总之，我们 有一个标记评论的 语料库，涵盖四个领 域HTL ，PROD，MOV和RES（表1），以及七个情感词的词汇（表2）。我们也有语料库和前四个词汇的词干化和词形化版本（表3和表4）。表4Lemmatized lexicon statistics.词典数量总正引理负引理HTL7155126PROD10694200MOV7773150RES146128274SNW={/lA/（否）-/lstnot）- 联系我们(willnot）-不适用/lys/（not）/lAt/(not)-/ gyr/3.3. 否定词（non）/Edm/（non）（对面）-公司简介（without）-/Eks/（reverse）/Dd/我们在下一节中开发的模型将考虑否定语境。事实上，如果一个表达情感的词被一个否定词所取代，那么它的极性就会颠倒过来。在浏览评论语料库时，我们构建了以下否定词列表（NW）。NW ={N/lA/（否）-N/lA/（否）-N/lA/（否）-N/lA/（否）-N/lA/（否）（without ）-无菌/AllA/（no ）-无菌/lyst/（not ）-无菌/wlyst/（and not ）-/flyst/（and not）-/lst/（I'm not ）-我不是（ and I'm not ） -- （ And I'm Not ） - 我 不 是 （ 没 有 ） - （ anddidn't）-（and didn't）-/ln/（will not）-（而且不会）--（andnot）--/gyr/我们还建立了NW列表的词干化版本SNW和引理化版本LNW。这两个列表由下式给出：（against）/gyr qAbl/（unable）LNW={λ/lA/（no）部分语料库、词典和否定词列表将在下面的章节中使用，以建立不同的情感分析模型。语料库的其余部分将在稍后用于测试这些模型。4. 方法我们在构建模型时选择了监督方法。事实上，我们将每个评论与特征向量相关联，并使用SVM分类器构建标记向量的模型894I. Touahri，A.Mazroui/ Journal of King Saud University.ΣP/WP/WjP/WP/WVWWWW21.Σ4.1. 特征选择从数据中选择特征对模型的性能有直接影响我们测试了四个功能家族。第一种是基于词，第二种是基于词干，第三种是基于词元，第四种是基于语义类。在下一节中，我们回顾这些不同家族的定义。4.1.1. 基于单词的特征我们假设P1≤i≤na词典的积极terms和LN<$ Nj1≤j≤m是一个否定词的词典，它们的大小分别为n和m。评论W的特征向量是com-具有以下部分或全部特征：ni（1≤ i≤ n）是正项Pi在W中出现的次数。mj（1≤ j≤ m）是W中负项Nj通过将Alkhalil Lemmatizer（Boudchiche和Mazroui，2016）应用于W.特征向量构造的步骤与词和词干构造的4.1.4.语义类特征为了弥补前三种方法中特征向量大小的问题，即词典大小顺序的问题，我们将词典分割成少量的语义类。每一部分都代表了一个基本的情感部分。事实上，我们认为，积极的词汇六类基于以下语义场：爱，乐观，快乐，满意，娱乐和救济。对于消极词汇，我们考虑了以下六类：仇恨-悲观-悲伤-不满-无聊和恐惧。语义类已被选择聚类情感词到不同的类别，在每个类别中的词共享相同的语义特征。更多-nn1/ 1 ni是属于lex的W的单词的数量然后，每个添加的词典术语将被放置在适当的集群中使用语义类的重要性在于它对正项图标LP.mm m是W中属于第1页否定词词典n-W是W的假阳性单词的数量（这些是属于词典LP并且在W的单词之前的单词通过来自列表NW的否定字减小特征向量的大小。因此，模型的构建时间减少，因为模型是从短长度的此外，与其他方法相反，词典的扩展将不影响特征向量的长度，因为新术语将仅被添加到相应的特征向量中。m-W 是W的假否定词的数量（这些是语义范畴。我们首先手动将每个词汇分配到相应的类。因此，我们获得了6个W的词，属于lexiconLN，并且前面有来自列表NW的否定字W的特征向量VW的可能选择由所有这些值组成。因此，它由下式给出VW¼.n1;· ··;nn;m1;· ··;mm;nW;mW;n-W;m-W：这一选择至少带来了两个问题。第一个与向量的大小有关（它等于n + m + 4），这是两个词典LP和LN大小之和的数量级。因此，如果词典很大，那么它将对算法的复杂性产生负面影响。第二个问题是忽视相关信息的风险正类为CPi<$1≤i≤6，负类为CNi<$1≤i≤6。为了计算评论W的特征向量，我们使用以下信息：ni（1≤ i≤ 6）是属于该类的W项的数量CPi.“W项”是指在基于词的模型的情况下W的词、在基于词干的模型的情况下这些词的词干以及在基于词元的模型的情况下这些词的词元mj（1≤ j≤ 6）是属于类CNj的W项的数目。因为选择了文字。如果，词典包含情感词w，评论W包含n61/ 1ni是属于词典的W项的数量正项LP。一种形式的w附加到clitics，那么根据这种方法，表格将被忽略，不会影响W的决定M6第1页mj是属于lex的W项的数量。自然否定项的图标LN。n-W是W的假阳性项的数量。为了解决第二个问题，我们提出了基于词干而不是单词的第二个模型。m-W 是W的假阴性项的数量。4.1.2. 基于词干的特征这种方法与前一种方法相同，只是我们将考虑它们对应的词干，而不是使用单词因此，在先前的方法中，我们用词干词典替换词词典，用否定词干列表SNW替换否定词列表NW，并且用通过应用Alkhalil词干分析器获得的其词干版本SW替换评论W（Zeroual等人，2017年，W。特征向量的构造步骤与词的构造步骤相同。第二种模式基于词干而不是词，它只处理了词缀的问题，而忽略了词的屈折形式。因此，我们开发了第三种基于lem- mas而不是stem的模型来解决这个问题。由所有这些数据组成的W的特征向量VW由下式给出：VW¼.n1;· · ·;n6;m1;· ··;m6;nW;mW;n-W;m-W：应当注意，不管词典的大小如何，特征向量的大小都等于16。4.2. 模型构建我们建立的模型都是基于监督的方法。对于四类特征中的每一类（基于词、词干、词元或语义类的特征），我们测试了以下特征向量的变体1 1/4nW; mW：此矢量仅限于与4.1.3. 基于引理的特征这种方法与前一种方法相同，除了我们考虑它们对应的引理而不是处理词干。因此，在第一种方法中，我们用词元的词典替换词的词典，用否定词元的列表LNW替换否定词的列表NW，并且用其词元化的评论W替换·将评论W的属于肯定或否定词典的项（根据模型的词、词干或词元）的数量设为0。¼V;n-W;m-W ：这个向量除了考虑V1的信息外，还考虑否定上下文。VI. Touahri，A.Mazroui/ Journal of King Saud University8953WWWW¼WWWW≤ ≤WVVVWVWWWWWW.ΣI¼V W <$n1;···; n nω; m 1;···; m mω：这个向量是由W中所有正和负词典术语的出现次数构造的。nω等于n，如果所考虑的模型是基于词、词干或词元，并且如果所考虑的模型基于语义类，则等于6。特征向量Vl（1≤ l≤ 6）。每个语料库的剩余20%用于测试相应的模型。对于四个语料库中的每个语料库，我们在下面呈现表5给出了基于词并根据六个特征向量之一构建的模型的相关测试结果41/4。V3;n-W;m-W：此向量考虑否定上下文L（1 ≤ 1 ≤ 6）。除了V3的数据。V5¼。V3;nW;mW：该向量利用了两个数据3我们发现，对于所有领域，评论的代表性通过特征向量V6可以实现最佳性能，男人装此外，通过比较列V1的结果，从VW和W项的数量，属于任何位置，肯定词汇和否定词汇。V6¼V5;n-W;m-W ：这个向量将关于否定上下文的信息添加到V5。为了测试这些不同的特征向量选择，我们使用SVM分类器来构建模型。我们从语料库中随机提取了80%的数据用于训练阶段，并在剩下的20%上测试了我们的模型。准确性是用来测试我们的模型的评估指标，在最后一次测试中，它通过精确度，召回率和F-测量指标指标定义如下：准确性正确分类的tweets数量测试语料库中的tweets数量和Vl_1，对于l = 1，3和5，我们注意到，上下文有助于系统性能的改善。最后，在酒店领域（HTL）取得的成果显著优于在其它领域中实现的那些，并且这可能是由于选择了重要的词汇术语来表示该领域。然而，影院域（MOV）显示出最低的性能，这可能是由于过大的大小造成的表1）。由于评论的V6表示给出了最好的结果，因此我们将在其余的测试中限制为这种表示。5.2. 根据型号类型的精密度Ci¼正确分类的推文我们建立了特征向量V6这三种型号：分类为C的推文数量i调用C正确分类的推文数量类别Ci2×精确度×召回率一种是基于单词，一种是基于词干，引理训练和测试阶段在与先前测试相同的条件下进行。获得的测试结果见表6。我们指出，词干处理和词形化并没有产生显著的改进（甚至还有恶化的情况）。F-测量Ci¼5. 评价精确度和召回率酒店（HTL）和恢复（RES）域中的结果这可能是由于所使用的语料库中存在方言词，而Alkhalil词干分析器和Alkhalil词形分析器没有分析这些方言词为了解决这个问题，我们通过将未分析的单词添加到词干和词目词典来构建两个新的词典。这一代-分别对（词+词干）和（词+词元）特征进行评估我们进行了一项涉及几点的评估我们通过研究特征向量Vl（116）中的哪一个允许实现最佳性能开始。然后我们比较了与四种代表性有关的结果，特征向量：基于词、词干、词块和语义类的特征向量最后，我们评估了词汇变化对系统性能的影响。5.1. 根据特征向量类型的性能我们测试了四种模型中每一种的特征向量的不同可能选择：基于词的模型，基于词干的模型，基于词元的模型和基于语义类的模型。由于这四种模型的结论是相似的，我们将只介绍基于单词的模型的结论。我们回想一下，对于HTL、PROD、MOV和RES四个语料库中的每一个，我们随机提取了80%的数据，将它们用于除了词干和词目特征之外，还考虑了未分析的单词。然后，我们测试了与这两个词汇相关的模型。结果见表7。在大多数情况下，通过将未分析的单词添加到词干和词目词典中，结果得到了改善。同样，模型（词+词元）优于模型（词+词干），后者在大多数情况下又优于词的模型。在产品域（PROD）中观察到的（单词+词干）模型级别的退化可能是由于添加了其他表6根据三种模型的测试精度领域模型基于不同模型的训练阶段是从字符构建的表5基于特征向量的基于词的模型的准确性（1≤ 1≤ 6）。域V12 3 4 5 6W W W W高密度脂蛋白90.79 91.72 92.35 93.21 92.05 93.43生产率81.36 84.42 80.94 84.14 81.36 84.56粤ICP备16018888号-1第82.87号决议83.91 83.25 83.68 83.68 84.34VVWWV话茎引理HTL93.4393.2192.69PROD84.5685.1185.53MOV82.9684.0785.18RES84.3483.8284.01896I. Touahri，A.Mazroui/ Journal of King Saud UniversityWW表7测试的准确性根据词汇的性质域模型茎词+词干引理词+引理HTL93.2193.4392.6993.84PROD85.1184.8485.5386.23MOV84.0784.4485.1885.18RES83.8284.2084.0184.72情感词导致了句子的特征向量和极性之间的不平衡。换句话说，如果在评论中出现的积极词典术语的数量W，标记为否定，大于否定词汇的W，则会引起评论中当前情感词汇与其极性之间的冲突，反之亦然。5.3. 根据特征向量大小的我们分别基于词的特征和语义类为两个模型建立了特征向量V6。所得试验结果见表8。我们发现，基于语义类的模型的性能接近于基于单词的模型，并且它们具有使用小特征向量的优势。5.4. 词汇变异在本节中，我们试图评估词汇变化对模型性能的影响为此，我们考虑以下词汇：Lexicon1：特定于领域的词典（如果我们在给定领域的语料库上进行测试，则Lexicon1是与测试对应的词典。评论的特征向量和它们的极性之间的不平衡。为了深入研究与上述领域相关的结果（表9），我们计算了精确度、召回率和F-测量指标（表10）。使用查准率和查全率指标增强了表9中给出的准确率结果，因为它们给出了与每个类别相关的结果。根据表10给出的结果，我们注意到三个水平的差异类水平：在大多数情况下，与正类相关的结果这可以部分地解释为，我们的系统从积极的例子中学习比消极的例子更多（表1）。精确度与召回率：正类的精确度低于其召回率，这相当于表10词汇类型相关测验的精确度、召回率和F-测量域词汇1类精度召回F-measureHTL负0.8620.7010.773积极0.9310.9730.952平均0.8960.8370.862Lexicon3：是lexicon1和lexicon2的联合。这些词典已经被手动分割成语义类，然后使用基于语义类的模型进行测试有了V6作为特征向量。表9总结了获得了测试结果。我们注意到，没有特定领域的词汇（词汇2）显着降低模型的性能。另一方面，其他词汇对特定领域词汇的丰富（词汇3）既可以对结果（HTL ）产生积极影响，也可以对结果（PROD，MOV和RES）产生消极影响。这种退化可以用这样一个事实来解释，即增加其他情感词会导致RES阴性0.676 0.238 0.352生产澳门币82.96 82.96第84.34和83.49号决议表9与词汇类型相关的测试准确性。类别查准率查全率F-测量HTL阴性0. 879 0. 73 0. 797阳性0.938 0.976 0.957平均数0.908 0.853 0.877PROD阴性0.859 0.37 0.517域词汇1Lexicon2Lexicon3积极0.7440.990.85HTL92.0590.6092.84平均0.7470.5360.499PROD84.4279.2784.14RES负0.7120.4030.515MOV82.9673.3374.44积极0.8310.9470.885RES83.4978.6181.45平均0.7710.6750.7他的领域）。生产率负0.844 0.394 0.537Lexicon 2：是ENG-AR、HAPP和LABR词典的联合。积极0.8440.9780.906积极0.7960.9840.88平均0.7650.5680.565MOV负10.0140.027表8积极0.73210.845根据基于词的模型和基于语义类的模型进行测试的准确性平均0.8660.5070.436域模型积极0.7970.9630.872话语义类平均0.7360.60.612HTL93.4392.05域Lexicon3积极0.840.9820.905平均0.8490.6760.711MOV负0.750.0820.148平均0.8440.6860.721MOV负0.8460.4520.589积极0.8270.970.893平均0.8360.7110.741RES负0.7410.4980.596积极0.8530.9440.896平均0.7970.7210.746域Lexicon2类精度召回F-measureHTL负0.8280.6490.727积极0.920.9680.943平均0.8740.8080.835PROD负0.7350.1520.251I. Touahri，A.Mazroui/ Journal of King Saud University897表11近期研究的比较研究作者资源方法指标ElSahar and El-Beltagy（2015）DS = 13422 tweets LS = 218termsAbuelenin等人（ 2018）DS未报告LS =400项Heikal等人（2018年）DS = 10006推文LS未报告具有TF和TFIDF特征的SVM、NB和k-NN分类器Acc = 88.7%余弦相似性和机器学习技术Acc = 92.98%卷积神经网络和长短期记忆F1 = 64.46%Alayba等人（2018）DS = 2026 tweetsLS = 716 termsWord2Vec模型、机器学习算法和卷积神经网络加速度= 95%我们的系统DS = 13408 tweets LS = 190 termsDS = 13408 tweetsEF = 14 features具有特征向量改变的监督方法（SVM）Acc = 93.43%累积= 92.05%被归类为正面的推文数量高于正面类别的推文数量。换句话说，许多负面推文被错误分类。因此，如表结果所示，否定类的准确率大于其召回率词典类型影响水平：除MOV域外，与词典1和3相关的结果接近，词典1略有另外，基于词典2的系统性能最差。这些结论证实了准确度值分析后获得的结论。6. 结果分析我们记得我们使用了多域数据集，即HTL，PROD，MOV和RES。 我们分别测试了每个领域，随机提取80%的数据用于训练，其余的用于测试。我们改变了测试条件，这些是主要步骤。6.1. 语境变更在第5.1节中，我们测试了第4.2中描述的功能。结果表明，提取更多的特征有助于改善结果，因为它提供了对分析文本的深入描述此外，我们还证明了考虑否定语境的重要性，因为它为被分析项提供了合适的极性。6.2. 特征形态改变在第5.2节中，我们通过引入茎和外稃版本来改变特征形态。词干和词元词典（表3和表4）的术语比单词词典（表2）少，因为一个词干可以代表许多单词，而一个词元代表许多词干。结果表明，与预期相反，茎和外稃表示并这可能是由于（词干化，词形化）语料库中缺少一些词汇。这种缺失可能是由于用于提取外稃和茎的Alkhalil分析仪的局限性。在添加Alkhalil未分析的词语后，结果略有改善，这支持了这一假设（表7）。6.3. 特征向量大小改变在第5.3节中，我们使用语义类来显著减少表示tweet的向量的大小。与这种新表示相关的测试结果，其允许获得复杂性，与其他表示的性能非常接近。6.4. 词汇性质变更在第5.4中，我们改变了词汇的性质（具体，一般和具体和一般的组合），以评估特定领域词汇存在的重要性。实验结果证明了领域专用词典的重要性，因为它给出了最好的结果。然而，使用一般术语给出了可接受的结果。7. 比较研究为了比较两个情感分析系统，训练