没有合适的资源?快使用搜索试试~ 我知道了~
阿拉伯语推文情感分析混合增量学习
埃及信息学杂志20(2019)163全文HILATSA:一种用于阿拉伯语推文情感分析的混合增量学习方法作者:Kariman Elshakankery,Mona F.艾哈迈德埃及开罗大学工程学院阿提奇莱因福奥文章历史记录:收到2018年2019年2月27日修订2019年3月28日接受2019年4月4日在线发布保留字:情感分析意见挖掘混合方法Arabic Tweets情绪分析情绪分类自学习A B S T R A C T由于技术的发展和社交网络的巨大增长,产生了大量的数据。尽管有数据,但缺乏分析工具和资源。虽然阿拉伯语是一种流行的语言,但阿拉伯方言分析工具太少。这是因为阿拉伯语由于其形态复杂性和动态性而面临许多挑战。情感分析被不同的组织用于许多原因,如提高产品质量,调整市场策略和改善客户服务。本文介绍了一种用于情感分析的半自动学习系统,该系统能够更新词典以跟上语言的HILATSA是一种混合方法,它结合了基于词典和机器学习的方法,以确定推文的情感极性。所提出的方法已经使用不同的数据集进行了测试。该算法对3类分类问题的正确率为73.67%,对2类分类问题的正确率为83.73%。半自动学习组件被证明是有效的,因为它提高了17.55%的准确性。©2019 Elsevier B.V.制作和托管代表开罗计算机和信息学院大学这是一篇CC BY-NC-ND许可证下的开放获取文章(http://creativecommons.org/licenses/by-nc-nd/4.0/)。1. 介绍根据Liu[1]的观点,情感分析和意见挖掘领域涉及从文档中分析人们的情感、意见、情绪、态度和评价。自动语义分析不需要使用传统的人工方法,而是识别作者的情感.各组织和各省利用它来获得反馈,以改进其产品和服务。它还用于根据事件实时预测股市走势和选举结果。SA在三个层面上进行。第一个是文档级别,它为整个文档分配一个类。第二个是句子层次,它将每个句子分配给一个类。第三个是特征或方面水平,*通讯作者。电 子 邮 件 地 址 : Kariman_Elshakankery@hotmail.com ( K.Elshakankery ) ,mona_farouk@eng.cu.edu.eg(M.F. Ahmed)。开罗大学计算机和信息系负责同行审查。制作和主办:Elsevier实体的不同方面,并为每个方面计算单独的极性。基于词典的方法、基于机器学习的方法和混合方法是情感分析的三种主要方法。基于词典的方法使用词典从文档的词的极性计算文档的极性。它往往有一个很好的精度,但低召回除了劳动工作需要建立的词汇。这种方法在[2]中被采用。基于机器学习的方法依赖于构建分类器,如支持向量机(SVM)、神经网络(NN)等。[3]和[4]。然而,训练的模型依赖于领域,需要大量的训练数据集。另一方面,混合方法结合了基于词典和基于机器学习的方法,使得训练模型在其特征中考虑基于词典的结果,如[5]所示。作为一个有价值的信息来源的组织,需要作出准确的SA是一个重要的问题。从阿拉伯社交媒体收集的大多数意见都是阿拉伯方言,因为现代标准阿拉伯语(MSA)在社交媒体中的使用很少。处理阿拉伯方言的研究工作仍处于起步阶段,准确性仍需调整。此外,方言阿拉伯语是一种动态的语言,新的词汇和术语不断被新一代人引入,此外,词汇用法也会随着时间的推移而变化。所提出的方法是基于混合方法,https://doi.org/10.1016/j.eij.2019.03.0021110-8665/©2019制作和主办由Elsevier B. V.代表开罗大学计算机和信息学院这是一篇基于CC BY-NC-ND许可证的开放获取文章(http://creativecommons.org/licenses/by-nc-nd/4.0/)。可在ScienceDirect上获得目录列表埃及信息学杂志杂志主页:www.sciencedirect.com164K. Elshakankery,M.F. 艾哈迈德/埃及信息学杂志20(2019)163构建词典并使用它们来训练基于机器学习的算法。它引入了一个半自动学习系统,该系统可以处理阿拉伯方言的动态特性,因为它可以在Twitter上抓取新的推文,并通过提取其中不存在的单词来扩展词典,并尝试猜测它们的极性。HILATSA(Hybrid Incremental LearningApproach for Arabic Tweets Sentiment Analysis)是一种用于阿拉伯语推文情感分析的混合增量学习方法。这项工作的主要贡献是介绍了一个情感分析工具,阿拉伯语的推文,随着其能力,以应付快速变化的单词和他们的用法。作为该方法的一部分,我们建立了一些基本的词汇库(词语库、成语库、表情库和特殊强化词库)。此外,还建立了强化工具和否定工具两个列表。所有这些都将提供给公众使用,以克服缺乏的问题阿拉伯方言资源。本文还研究了在SA中使用Levenshtein距离算法来处理不同的单词形式和拼写错误的有效性。论文的其余部分组织如下。第二部分简要介绍了在SA领域所做的相关工作。第三节提供了方法的细节以及所使用的数据集,词汇和分类器。第四节介绍了在不同数据集上取得的结果,并对这些结果进行了讨论。第五部分是对全文的总结。2. 相关工作由于社交媒体的广泛使用和从中可以产生的有价值的信息,为社交媒体构建情感分析工具是一项虽然有些已建立的词汇可以扩展,但据我们所知,没有一个被证明能够应付随着时间的推移,语言的动态特性,而无需重新训练。本节简要概述了一些阿拉伯文和英文工具。Ibrahim等人[5]为MSA和阿拉伯语口语建立了一个系统。他们创造了两个词汇,一个是单词,另一个是成语。他们发现了否定工具、强化词、愿望和疑问。采用支持向量机(SVM)分类器来检测句子的极性。Duwairi等人[6]将情感fx1、fx2转换为相应的词语。此外,他们还将方言句子和法语阿拉伯语单词转换为相应的MSA。采用朴素贝叶斯(NB)分类器,取得了最高的El-Makky等人。[7]使用信息增益进行特征选择。分类分两步进行。首先,确定是主观的还是客观的,然后将主观的进一步分为积极的或消极的。Al-Ayyoub等人。[8]建立了两个不同的分层分类器,具有不同的核心分类器(SVM,决策树(DT),K-最近邻(KNN)和NB),以便对文档进行评分Aldayel等人。[9]建立了一个用于沙特媒体推文的混合系统。他们使用词典分类器和词频逆文档频率(TF-IDF)的输出来构建其特征向量并训练SVM分类器。混合方法将准确率提高了16%。El-Masari等人。[10]创建了一个具有可变参数的基于Web的工具。首先,用户选择一个主题,然后,一个时间间隔来收集关于该主题的推文。最后,系统为主题提供极性分布。Abuelenin等 人[11] 使 用信 息科 学研 究所 阿 拉伯 语词 干分 析 器(ISRI)和余弦相似性算法,以找到词典中最相似的单词,并创建一个混合系统来提高埃及阿拉伯语的准确性Zhang等人[12]提出了一种新的Twitter实体级情感分析方法,无需手动标记。首先,手动创建词典以确定推文情感极性。然后,意见指标作为单词和令牌提取使用X平方的基础上的词典。最后,训练分类器来识别推文情感极性。Nodarakis等人[13]在Spark平台上提出了一种分布式并行算法。为了避免密集的手动注释,推文根据情绪和主题标签进行标记。在构造特征向量后,采用Bloom滤波器提高了性能.最后,使用所有k最近邻(AkNN)查询来分类推文。Guzman等人[14]提出了一种用于应用程序评论的细粒度情感分析系统。该系统帮助开发人员获得关于其应用程序的反馈。首先,系统从评论中提取应用程序的特征。然后,它根据用户对评论中的功能的看法为每个功能给出一个综合评分[15]为方面提取子任务创建了一个七层深度卷积网络系统将文档中的每个单词标记为aspect或not aspect。他们的方法比语言模式和条件随机场(CRF)的准确性更好Sabri等人[16]根据经验评估了使用信息增益、基尼指数和X平方分布作为阿拉伯特征选择工具,以及N-gram和关联规则(AR),以构建与阿拉伯语SA工具的Meta分类器一起使用的特征向量。他们得出结论,X平方分布给出了最佳结果,而N-gram和AR的Meta分类器组合具有最佳性能。本文的主要重点是建立一个工具,能够随着时间的推移,更少的人为干扰。它动态地构建词典,然后随着时间的推移逐步扩展它们下一节详细介绍拟议的方法。3. 方法HILATSA主要由三个部分组成:词汇库、分类器和词汇学习器。首先,在人工标注的基础上,从不同的数据集动态构建词汇词典。词典中的每个单词都有三个值:Pos_Count、Neg_Count和Neu_Count , 其 中 Pos_Count 是 单 词 被 认 为 是 阳 性 的 次 数 ,Neg_Count是单词被认为是阴性的次数,Neu_Count是单词被认为是中性的次数。根据情感的极性,构建了一个情感词典。此外,还为最流行的习语建立了第三个词典。它是从网站上收集的,并手动标注为积极,消极和中性。在此之后,分类器进行了训练和测试。最后,半自动学习部分使用训练好的分类器尝试向词典中添加新词并更新旧词权重。图1显示了HILATSA3.1. 数据集使用五个不同的数据集来构建词典,训练分类器,测试和验证系统。第六数据集仅用于模拟和评估词典扩展方法。这些数据集是:1. ASTD[17]:它有大约10 K来自不同媒体的阿拉伯语推文。推文被标注为积极,消极,中性和混合。2. 迷你阿拉伯语情绪推文数据集(MASTD):使用Twitter API收集了超过6K的推文,但只有1,850条推文K. Elshakankery,M.F. 艾哈迈德/埃及信息学杂志20(2019)163165Fig. 1. HILATSA被使用。其他人则因重复、讽刺或冲突而被忽视。推文被手动注释为三个类别中性,消极和积极。表1显示了数据集统计数据。 图2示出了推文长度与推文数量的关系。图3显示了tweets的n-gram分布。3. ArSAS[18]:它有超过21 K的推文。这些推文被标注为积极的、消极的、中性的和混合的。4. 用于情绪分析的阿拉伯语黄金标准Twitter数据[19](GS):它有超过8K的推文。推特上有注释积极的、消极的、中性的和混合的。这个数据集的主要问题是,它只提供了推文的ID以及它们的情感极性,因此所获得的推文不时地不同。我们只能从8K中获取4,191条推文。5. 叙利亚推文语料库[20]:它在黎凡特有2K条推文表225000200001500010000500001 3 5 7 9 1113151719212325272931N图三. 发推特了方言推文被标注为积极、消极和中性。6. 用于阿拉伯语情绪分析的Twitter数据集(ArTwitter)[21]:它有2K条以MSA和约旦方言编写的推文。推文被标注为积极和消极。对于所有数据集,只使用正面,负面和中性推文,而混合推文被删除。表2显示表1数据集分布。数据集积极负中性总ASTD7991,6846,6919,174MASTD4157776581,850ArSAS4,6437,8407,27919,762GS5591,2322,4004,191叙利亚4481,3502022,000ArTwitter1,0001,00002,000数据集类200150100500代币数量20,067词汇数4,181条正面推文数415条负面推文数量中立的推特数量1 3 5 7 9 1113151719212325272931Tweet长度图二. 推特长度。3.2. 建立词典为了构建单词词典(每个折叠一个),除了将ASTD,MASTD,ArSAS,GS和叙利亚语料库的训练数据集作为种子词外,还将ASTD,MASTD,ArSAS,GS和叙利亚语料库的训练数据集结合在一起。然后,应用预处理步骤(来自下一节)以获取词干唯一词。每个单词有三个计数器。第一个是正计数器(Pos_Count),它表示单词在没有否定的正推文中或在有否定的负推文中出现的次数第二个是负数计数器(Neg_Count),它表示单词在带有否定的肯定tweet或没有否定的否定tweet中出现的次数。最后,中性计数器(Neu_Count)表示该词在中性推文中出现的次数每个单词计算三个分数(每类一个)。只有得分高于0.75的三个类别之一和长度大于2个字母的单词分数限制的目的是忽略高频词N-Grams数量多条推特MASTD数据集统计。多条推特1850每条推文的9每条推文的32Avg.每推文的11166K. Elshakankery,M.F. 艾哈迈德/埃及信息学杂志20(2019)163表3例如:Words Lexicon。Word Pos_Count Neg_Count Neu_Count连续词或特定词,如在特殊强化词词典中收集的那些词。10. 使用否定工具检测否定ﺭﻛﻦ(Corner)0 0 1作为ﻟﻢ,,中国,,或埃及否定模式,日本语简体中文繁体中文陈伟霆(贡献)1 3 0在所有类(即停止词),而建立的词典。表3显示了创建的词典的一个小快照情感词典是从流行的情感中构建的,即:D,:P,fx 1,3,fx 2,它们的极性为正或负。从[23]和[24]中收集情绪,然后手动注释。表4显示了情感词典中的例子对特殊强化词如“”、“”、“”及其强化形式,正则表达式这些单词通常是通过两个字母反复强化来写的,如。成语词典是通过收集网站上流行的成语和谚语来建立的然后,它们被手动标注为阳性、阴性和中性。表5显示了成语词典中的例子3.3. 预处理此阶段适用于每条推文;它由以下一系列步骤组成:1. 检测和删除URL。2. 检测和删除用户3. 检测推文是否有主题标签。4. 通过将推文拆分为令牌(即,言语和情感)。5. 使用情感词典检测符号fx1、fx2、:D、:P、:O。6. 删除非阿拉伯语单词和数字。7. 删除单词中的非字母,如38. 通过删除变音符号、延长和将不同格式的字母转换为一个独特的字母来实现标准化,如将在使用一种算法的情况下,算法根据不同的模式检查单词,如下所示:如果一个单词以“”或“”开头,以“”或“”结尾,那么该模式将从该单词中删除。之后,它检查单词(删除模式后)是否存在于词典中。 如果是,则将单词权重(如3.4节所述)乘以否定权重。如果不是,并且它以结尾,那么它将其替换为,并检查它是否存在于词典中。如果是,则将单词权重乘以否定权重。例如,”“在移除图案后,它将是“”。如果它不在词典中,那么如果一个单词以“then”开头,它会删除它(“then”),并检查该单词(没有此模式)是否存在于词典中。如果是,则将单词权重乘以否定权重。11. 词干:基于[25]中的词干算法构建了一个轻型词干分析器,用于从单词中删除前缀,后缀并将复数转换为单数。词干挖掘的目的是缩小词汇量,以加速对单词的搜索,从而获得其极性。12. 使用[26]提供的列表删除停用词。13. 使用成语词典检测成语,系统在每条推文中搜索成语,并将它们的单词合并在一起作为单个标记。14. 使用Zayed等人[27]提供的词典检测和删除人名3.4. 词权重这一步首先搜索词典中的每个单词,以计算其权重,其中每个单词的两个权重将计算:wi(词的中性主观权重用“”代替“”,用“”代替“"。Wneu-sub9.检测可能具有重复连续字符(如果超过两个)形式变化的强度,或者如Eq.所示。(1)和w ipos-neg (词w i的(二)、使用加剧工具,表4来自Emotions Lexicon的ﺍﻭﻯ但是,ﺟﺪﺍ或重复wineu-subwiNeu Counti-中性点计数i中性点计数iNeu Counti中性点计数i中性点计数i¼Pos Counti-阴性计数ið1Þð2Þ情感极性阳性-阴性阳性计数i阴性计数i1-1U1F600 1表5从成语词典的例子。成语位置计数阴性计数Neu_Count如果未找到单词,则按顺序应用以下步骤1. 如果一个单词以(--)开头,请删除第一个字母并在词典中搜索,即删 除 “ ” 后 的 “ ” 将 是 “ ” 。2. 如果它以(--)开头,则删除第一个字母并搜索词典。如果没有找到,然后尝试用其他两个字母替换第一个字母,并检查词典(尝试任何更改-ﺍﻟﻔﺎﺿﻰﻳﻌﻤﻞﻗﺎﺿﻰ(The一个有空闲时间,可以判断)ﺍﻟﻌﻴﻦﺑﺼﻴﺮﻩﻭﺍﻟﻴﺪﻗﺼﻴﺮﻩ(The眼睛可以看到它,但手ﻓﻰﺍﻟﺤﺮﻛﺔﺑﺮﻛﺔ(祝福就是祝福)0 1 00 1 01 0 0.-字母)两个如果没有找到,则应用Levenshtein距离算法[28]从词典中获取相似的单词。 该算法计算单词与词典中每个单词之间的距离。距离计算为不同、缺失或添加的字母的数量。假设词典中具有最小距离的单词●●¼K. Elshakankery,M.F. 艾哈迈德/埃及信息学杂志20(2019)163167XX表6Levenshtein距离算法结果。词词典中匹配的单词距离不同字母ﻣﻨﺎﺳﺒﻪﻣﻨﺎﺳﺐ0.16671ﺍﻧﻄﻼﻕﺍﻧﻄﻠﻖ0.16671ﺍﺧﺘﺒﺎﺭﺍﺧﺘﺒﺮ0.16671ﻣﺎﻧﺸﺴﺘﺮﻣﺎﻧﺸﻴﺴﺘﺮ0.1431如果相对于推文中的原始单词长度的变化百分比小于某个阈值,则将其作为正确的单词。否则,这个词被认为是未知的和被忽视的。表6表示在应用距离算法之后来自词典的一些词及其匹配词。3.5. 构建特征向量为每条推文构建一个特征向量,这样它就不依赖于推文中存在的单词,而是依赖于它们的权重(用法)和推文结构。其构建如下:1. 总的中性主观推文情绪:每个词的权重计算为中性计数器和主观计数器之间的差异在其总外观中的百分比,如第3.4节所示。然后,所有单词相加在一起,如以下等式所示:n16. 无论推文是否包含用户17. 无论推文是否包含Hashtags,此功能的值都为1,否则为0。3.6. 分类在这项工作中,使用了SVM,L2 Logistic回归和递归神经网络(RNN)分类器。SVM是一种线性分类器,它创建一个模型来预测给定数据的类别。它通过找到一个具有最大边界的一般超平面来解决这个问题。它支持许多分类公式。这项工作使用C-SVM作为分类器,其中C是惩罚或错误分类的成本。成本限制一个类的训练点落在平面的另一侧(超平面的每一侧代表不同的类)。成本越高,另一侧的点数就越低,这在某些情况下可能会导致过拟合问题。 此外,成本越低,错误分类的可能性就越高。当成本函数高时,分类器选择具有小余量的超平面(边界),其可以给出关于训练数据的良好结果,但是可能导致关于测试数据的过拟合问题和低准确度。另一方面,当成本函数较低时,分类器选择总neu-sub 1/4 wineu-sub1/4ð3Þ具有宽边界的超平面(边界),其允许来自一个类的一些训练点落在另一个类区域中,这可能导致错误的分类和低精度。其中n是单词的总数不同的目的优点在于,每当单词在两个类别中具有相似的计数器时,其在推文得分中的权重将较小。2. 总的积极-消极的推文情绪。每个词的权重计算为其正计数器和负计数器之间的差异占其主观总外观的百分比,如第3.4节所示。然后,所有的单词被加在一起,如以下等式所示n训练数据Logistic Regression是一个判别分类器。它通过提取加权特征来解决这个问题,以产生最大化事件发生概率的标签。正则化生成更一般的模型并减少过拟合忽略了不那么普遍的特征。RNN是一种神经网络分类器,它由每层执行特定功能的层组成。它工作在一个序列的输入向量和一个序列的输出向量,而不是固定数量的输入和输出。它还保留了整个前总阳性-阴性¼wi阳性-阴性1/43. 总的中性词权重。4. 总的积极的话权重。5. 否定词的总权重。ð4Þ输入。虽然基本NN使用学习的计算(函数)来预测输出,但RNN使用学习的计算以及向量状态来产生输出。这使得训练作为对程序的优化,而不是根据[29]的函数。所有三个分类器都使用在P2P中创建的特征向量,6. 一个数字,通过将其字符数除以tweet中允许的最大字符数(由Twit- ter API指定)来指示tweet是短,中还是长,即0表示短,1表示中如果该推文中的字符数占最大字符数的百分比小于34%,则该推文被认为是短的,如果大于或等于34但小于67%,则被认为是中等的,否则被认为是长的。7. 中性词的比例。8. 主观词的百分比。9. 负面词语的百分比。10. 积极的话语比例。11. 积极情绪12. 负面情绪的百分比13. 无论推文是否包含情感,该特征的值都为1,否则为0。14. 无论推文是否包含习语,此功能的值都为1,否则为0。15. 无论推文是否包含URL,此功能的值都为1和0,否则URL本身将被删除,因为它们的内容没有用。这是检测推文是积极的、消极的还是中性的一个步骤。虽然选择SVM是因为它在文献中报告的关于阿拉伯语SA的良好性能[30],但选择Logistic回归是因为它的训练时间短,选择RNN是因为它在情感分析中的良好结果[31]。这项工作使用Chang et al.[32]SVM实现和Fan等人。[33]L2正则化逻辑回归实现以及DL4J[34] RNN。Chang等人。[32]创建了LIBSVM,它提供了SVM分类器的实现它通过构建k(k-1)/2个二进制分类器来处理多类问题,其中k是类的数量,然后对所有这些类进行多数投票。在求解优化问题时,采用了序列最小优化(SMO)等分解方法.SMO是一种通过将问题分解为最小的子问题并求解它们来求解二次规划问题的算法Fan等人[33]介绍了基于LIBSVM构建的LIBLINEAR库,但可以处理大型分类问题,如文本挖掘。它支持L2正则化逻辑回归。DL4J是一个开源库,使开发人员能够在Java中构建和配置自己的神经网络。168K. Elshakankery,M.F. 艾哈迈德/埃及信息学杂志20(2019)1633.7. 词典半自动更新该组件的目的是向词典中添加新单词,以使其与语言变化保持同步。它还更新旧的单词权重,以应对语言的动态特性和单词用法的变化,例如“单词权重”,这个词是用来形容可怕的事情,如在“可怕的事情,可怕的事情,”"昨天的事故太可怕了“的意思。 然而,今天它也被用来描述一些非凡的东西,如“这个颜色很好,和这个地方很相配”。据观察,方言阿拉伯语,特别是埃及方言是一个快速移动的语言,以便能够准确地分析它,一个动态的系统,建议保持不断变化的引进新的术语和词的用法的变化。这些词将从新的推文中提取。系统连续地获得新的推文,提取新的单词(词典中不存在的单词),并且除了通过增加对应于新的推文的类别的单词计数器来更新旧的单词(词典中已经存在的单词)的权重之外,还尝试根据整个推文分类用合适的情感极性来标记它们。遵循以下过程以获得新的推文标签,并且因此获得这些推文中的新词的标签或已经存在的词权重的可能变化。给定极性未知的鸣叫,系统用3类分类器对其进行分类。如果推文是中性的,那么系统将检查它不包含任何情感或习语,并且其中性权重和主观权重之间的差异超过某个阈值,以便认为它是正确的。否则,系统会将其添加到列表中,在从中提取新词之前进行手动注释。如果推文是主观的,则会使用2类分类器进行第二次分类。如果两者都产生相同的分类,则系统将检查其正权重之间的差异是否大于其负权重,以便在分类结果为正或为负时亦然否则,它将被添加到一个列表中,以便在从中提取新词之前进行手动注释。这些限制的目的是减少学习错误单词的概率图 4表示词典半自动更新算法。4. 实验结果本节描述分类模块和Lexicon半自动更新模块的结果。该工具使用Java实现,使用LIBSVM、LIBLINEAR和DL4J库。4.1. 分类模块使用10折交叉验证与ASTD,MASTD,ArSAS,GS和叙利亚语料库的训练数据集的单词词典被建立(不同的词典为每个折不包括测试部分)和分类器进行训练。本节描述了准确性和平均F1分数(平均F1)。此外,还将所得结果与其它已有工作进行了比较.表7显示了HILATSA在3类分类问题中对不平衡数据集的结果。SVM分类器的精度往往高于L2-Logistic回归(L2 R2)和RNN。另一方面,L2R2分类器往往具有更好的F1得分。表8显示了HILATSA在3类分类问题中对平衡数据集的结果。SVM分类器往往具有比L2R2和RNN更高的准确性和F1得分表9显示了2类分类问题中不平衡数据集的结果。考虑到HILATSA,L2R2往往具有更高的准确性和更好的F1评分。另一方面,尽管Al-Azani等人。[35]集成分类器在叙利亚语料库方面具有更好的准确性,但HILATSA具有更好的F1评分。考虑到Al-Azani et al.[35]训练见图4。词典半自动更新算法。K. Elshakankery,M.F. 艾哈迈德/埃及信息学杂志20(2019)163169表7不平衡的3类分类问题。ASTDMASTDArSASGS叙利亚语语料库精度Avg. F1精度Avg. F1精度Avg. F1精度Avg. F1平均精度F1L2R262.9436.4371.6468.5766.7063.8250.5037.2972.01 48.33SVM73.1137.6171.6968.2566.3963.8554.6433.0073.01 47.13DL RNN72.3040.2565.2561.5865.6762.7151.2936.7173.67 47.39表8平衡的3级结果。ASTDMASTDArSASGS叙利亚语语料库精度Avg. F1精度Avg. F1精度Avg. F1精度Avg. F1精度Avg. F1HILATSA(L2R2)49.9248.9666.8366.5563.2663.2750.2449.9353.7151.96HILATSA(SVM)52.9552.0363.7463.5463.4463.5051.5151.3252.8351.97HILATSA(RNN)51.7752.2148.9444.8963.2563.0650.4249.9056.1756.01表9不平衡的2级结果。ASTDMASTDArSASGS叙利亚语语料库精度Avg. F1精度Avg. F1精度Avg. F1精度Avg. F1精度Avg. F1HILATSA(L2R2)74.4166.3083.7382.0380.8779.0968.0958.2981.9674.50HILATSA(SVM)74.9869.7272.5469.3981.5280.0767.1357.3381.2874.41HILATSA(RNN)67.4568.7570.6867.2281.1779.5466.1857.9181.6274.32Al-Azani等人[35]第三十五届––––––––85.2863.95Dahou等人[36个]79.07–––––––––使用合成少数过采样技术(SMOT)和词嵌入模型使用1.9亿个词,HILATSA与相对有限的词汇被认为是有竞争力的。表10显示了2类分类问题中平衡数据集的结果。SVM和RNN都倾向于比L2R2具有更好的准确性。另一方面,SVM往往具有更好的F1得分。此外,对于ASTD,SVM的准确性非常接近Dhou等人[36]。这被认为是HILATSA的最佳性能,因为Dhou等人使用的分类器。[36]使用超过300万个单词的单词嵌入模型进行训练。总之,SVM在大多数情况下倾向于具有更好的准确性,这与[30]一致。这是由于内核技巧,它允许更高维度的数据具有更好的准确性。除此之外,它对离群值不太敏感,也不太容易过拟合。此外,3类情感分析比预期的2类更具挑战性。此外,在大多数情况下,F1评分较高而不是不平衡的数据集。4.2. 词典半自动更新模块使用[21]中的数据集(ArTwitter),使用与前一部分相同的词典(从ArTwitter以外的数据集构建)训练分类器。之后,使用10倍交叉验证进行训练和测试。然后使用单词学习器学习单词并更新词典。最后,在更新词典后再次对推文进行分类表11显示了词典更新前后测试数据集(ArTwitter)的结果(两种情况都使用了10倍交叉验证)。在三个独立实验中使用三种不同的分类器进行更新,以比较分类器类型对准确度的影响。结果表明,HILATSA然而,当在学习阶段使用SVM分类器进行词典更新时,其增加略高于RNN。RNN在学习阶段之前达到了最高的精度此外,它的准确性在更新后仍然是最高的好表10平衡的2级结果。ASTDMASTDArSASGS叙利亚语语料库精度Avg. F1精度Avg. F1精度Avg. F1精度Avg. F1平均精度F1HILATSA(L2R2)72.4772.1878.1778.0778.7578.7466.0965.9273.84HILATSA(SVM)75.1975.7069.0268.6579.8779.8666.8266.5768.25 75.82HILATSA(RNN)74.9475.3869.1568.8279.3979.3866.9166.7475.5 75.33Dahou等人[36个]75.9––––––––表11词典更新结果。更新前L2R2更新后SVM更新RNN更新精度Avg. F1精度Avg. F1精度Avg. F1精度Avg. F1HILATSA(L2R2)65.4564.4081.080.9183.082.9782.882.76HILATSA(SVM)67.6567.3578.9578.4181.581.3781.2581.12HILATSA(RNN)68.4568.3283.1582.988584.9584.684.55170K. Elshakankery,M.F. 艾哈迈德/埃及信息学杂志20(2019)163表12一个新单词的样本添加到单词词典。推文词希拉莎建议自动实际分类ﺍﻟﻤﺎﺀﺍﺳﺎﺱﺍﻟﺤﻴﺎﻩﺍﺳﺎﺱ积极是的积极(水是生命的基础)ﺍﻟﻠﻬﻢﺍﺭﺯﻗﻨﺎﻣﻜﺎﺭﻡﺍﻻﺧﻼﻕﻣﻜﺎﺭﻡ积极是的积极(Oh真主,赐予我们好的礼仪。ﺍﻟﻠﻬﻢﺇﻧﻲﺍﻋﻮﺫﺑﻚﻣﻦﺍﻟﺬﻧﻮﺏﺍﻟﺘﻲﺗﺰﻳﻞﻧﻌﻤﺘﻚﻭﺗﺤﻮﻝﻋﺎﻓﻴﺘﻚﻭﺗﺤﺒﺲﺭﺯﻗﻚﻭﺗﻌﺠﻞﺑﻐﻀﺒﻚﻏﻀﺐ负没有积极(Oh真主啊,我寻求你的庇护,从罪,删除你的恩典,改变你的健康,保持你的生活和加速你的愤怒)ﺍﻟﻠﻬﻢﺍﻫﺪﻧﺎﺻﺮﺍﻃﻚﺍﻟﻤﺴﺘﻘﻴﻢ(Oh真主啊,求你引导我们走上正道。ﺍﻧﺘﻪﺟﻤﻴﻞﺟﺪﺍﺭﺑﻨﺎﻳﺜﺒﺘﻚﻭﺍﺗﻤﻨﻲﺍﻥﻛﻞﺍﻟﻤﺴﻠﻤﻴﻦﺗﻜﻮﻥﺍﺧﻼﻗﻴﺎﺗﻬﻢﻓﻲﺣﻴﺎﺗﻬﻢﺍﻟﻌﺎﺩﻳﻪﻗﺪﻭﻩﻭﺩﻋﻮﻩﻟﻜﻞﻏﻴﺮﺍﻟﻤﺴﻠﻤﻴﻦ(You是美丽的,愿真主让你是一样的,我希望所有的穆斯林可能有道德在他们的日常生活中,非穆斯林仰望)ﻣﺴﺘﻘﻴﻢﻗﺪﻭﻩ阳性是阳性阴性无阳性使用(ArTwitter)[21]的RNN的性能是由于NN的泛化能力,因此当它与未用于构建词典的新数据集一起使用时,表12示出了系统能够从测试数据集(自动或手动)学习的新词的示例,其推断的情感极性写在名为“HILATSA的建议”的列中。因此,新词将逐渐地被添加到词典中。例如,在“水是生命的基础”的“水是生命的基础”中,HILATSA将其归类为正面推文,然后通过验证阶段,因此词典中不存在的新词“水是基础"(文学意思是基础)被添加了正权重(Pos_Count = 1,Neg_Count = 0和Neu_Count = 0)。除此之外,增加了旧词“(”水“)和”生命“(”生命“)的正权重。另一方面," 你 是 美丽 的, 愿安 拉让 你一 样, 我 希望 所有 的穆 斯林 在 日常 生活 中都能 有 非 穆 斯 林 仰 望 的 道 德 “ , HI L A T S A 将 其 归 类 为 负 面 推文 ,但 它 没有 通过 验 证阶 段 ,因 此 HI L A T S A 将 其添 加 到待 修订推 文列 表中 ,其 中 包括表13通过HILATSA分类与实际分类的自动学习阶段的推文样本所有推文都必须手动修改,并建议分类为负面推文。该推文被手动修改,然后由HILATSA使用,以更新词典。表13显示了通过自动学习阶段(不需要手动注释)的tweet示例,因此HILATSA认为它们是正确的,而不是正确的分类。表14显示了未通过自动学习阶段并且必须使用HILATSA的分类建议和正确分类手动注释的推文的示例5. 结论虽然在情绪分析方面做了大量工作,但针对阿拉伯语的工作还不够。除了方言的不同和形态的复杂性外,阿拉伯语还具有不同于英语的语法、结构和语言特征,这使得对阿拉伯语的分析更加复杂。由于社交媒体的广泛传播,很多数据都是可用的。然而,公共资源仍然有限。资源的另一个问题是随着时间的推移,单词的使用发生了变化,单词的含义不同,并且不时添加新单词。自动更新词典对系统学习新单词有很好的影响。然而,学习过程必须有一些限制,否则系统可能会错误地学习。手动注释Tweet HILATSA's分类实际分类由系统用来提取和学习新词的推文仍然是耗时的过程,但是当被证明是有用的时ﻫﺬﺍﻟﻴﺲﻣﻀﺤﻚ،ﺑﻞﻣﺨﺰﻯ،ﻳﺎﻟﻠﺨﺰﻯﻭﺍﻟﻌﺎﺭ(This这不好笑,这是耻辱。多么可耻)ﻭﺍﻟﻠﻪﻫﺒﻞﻓﻲﻫﺒﻞ(我发誓,这都是无稽之谈)ﺍﻟﻠﻬﻢﺍﺭﺯﻗﻨﺎﺍﻟﺼﺤﺒﻪﺍﻟﺼﺎﻟﺤﺔ(Oh真主,赐予我们美好的友谊。ﻻﻧﻬﻢﻳﻤﻜﻦﻳﻜﻮﻧﻮﻗﺎﻫﺮﻳﻨﻚ(As他们可能会激怒你)阴性阴性阴性阴性积极向上的正正负与自动部分结合。这项工作提出了一个混合系统,阿拉伯语Twitter的情绪分析,提供高准确性和可靠的性能在动态环境中,语言的变化是一个每天的问题,需要语言分析系统,以智能地应对这些连续的变化。引用表14没有通过HILATSA分类建议与实际分类的自动学习阶段的推文样本[1] 刘湾情绪分析和意见挖掘。 Synth Lect Lang Technol2012;5(1):1-167.[2] [10]张文辉,张文辉,张文辉.基于词汇的情感分析方法。Comput Linguist2011;37(2):267-307.[3] Aldahawi H,挖掘和分析石油业务中的社交网络:Twitter情绪分析和预测方法。博士论文,加的夫大学,TweetHILATSA's建议实际分类2015.[4] Jahren BE,Fredriksen V,Gambäck B,Bungum L. NTNUSentEval在SemEval-2016上的任务4:结合通用分类器进行快速Twitter情感分析。负负:) 坏的和显示(坏的第10届语义评估国际研讨会(SemEval-2016),2016年。p. 103-8ﻋﺠﺒﺘﻨﻰﺍﻟﺤﻠﻘﻪ(我喜欢这一集)ﺍﻟﻠﻪﻳﻬﺪﻱﺍﻟﺠﻤﻴﻊﻭﻳﻮﻓﻘﻚ(May真主引导每一个人,并赐予你成功。ﻣﺮﺭﺭﺭﻋﺒﻪ(Terrifyyyying)负正积极向上的正阴性阴性[5] 放大图片IbrahimHS,Abdou SM,Gheith M.现代标准的情感分析阿拉伯语和口语。 Int J Nat Lang Comput(IJNLC)2015;4(2).[6] Duwairi RM,Marji R,Sha'ban N,Rushaidat S.阿拉伯语推文中的情绪分析。第五届信息与通信系统国际会议。ICICS;2014.[7] El-MakkyN,Nagi K,El-Ebshihy A,Apady E,Hafez O,Mostafa A,et al. 阿拉伯语推特口语的情感分析。在:ASEBigData/SocialInformatics/PASSAT/BioMedCom 2014 会议。哈佛大学; 2014. p.一比九K. Elshakankery,M.F. 艾哈迈德/埃及信息学杂志20(2019)163171[8] Al-Ayyoub M,Nuseir A,Kanaan G,Al-Shalabi R.用于阿拉伯语评论多方式情感分析的层次分类器。Int J Adv Comput Sci Appl2016;7(2).[9] AldayelHK,Azmi A. 阿拉伯语推文情绪分析-一个
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功