没有合适的资源?快使用搜索试试~ 我知道了~
沙特国王大学学报面向客户需求扩展的阿拉伯文本意见检索方法Sarah Saad Eldina,Ammar Mohammeda,Hesham Hefnya,Ahmed Sharaf Eldin Ahmedba埃及开罗大学统计研究所计算机科学系b埃及西奈,西奈大学信息技术计算机科学系阿提奇莱因福奥文章历史记录:收到2018年2019年1月21日修订2019年1月23日接受2019年1月24日在线提供保留字:产品特征提取意见检索意见挖掘A B S T R A C T近年来,大部分的企业都将产品行销到网路上,以了解顾客的需求,并根据顾客的回馈与意见来改善服务品质。每天都有大量的评论和意见发布在产品上。获取和快速分析这些意见成为一项艰巨的任务。这些观点可能会导致对某个特定观点的倾向或厌恶。为了从客户的角度表达产品的意见,意见检索成为自动提取,分析和总结客户评论的一项要求和必要的任务。通常,在线产品由电子商务中的多个供应商提供。因此,为了保持供应商之间的竞争力,需要提出创新要求。提出了一种基于显式特征的意见挖掘方法.所提出的方法扩展了初始产品除了相关分数,几个因素,如功能的权重,意见的重要性,和情感极性被用来排名检索结果。实验结果表明,该方法能够自动提取更多的创新功能相比,条件随机场(CRF)的结果。©2019作者制作和主办:Elsevier B.V.代表沙特国王大学这是一CC BY-NC-ND许可下的开放获取文章(http://creativecommons.org/licenses/by-nc-nd/4.0/)。1. 介绍产品营销的成功通常,需求识别是产品开发生命周期中必不可少的过程。提取过程需要一组活动;如系统可行性研究、需求分析、验证和管理。大多数问题都发生在这些活动中,因为不完整的要求,特别是在开发过程的开始阶段不明确这些问题导致生成的产品服务与客户需求之间存在很大差距(Sabahat等人,2010年)。由于竞争环境和在线产品的增长,预计将提供不同的服务传统的需求收集方法不足以开发出满足客户期望的产品事实上,需要更多的创新技术来明确识别客户需求(Bhowmik等人,2014年; Grube和Schmid,2008年)。*通讯作者。电子邮件 地址: sara. cu.edu.eg(S. S.Eldin),ammar@cu.edu.eg(A.穆 罕 默 德 ) , hehefny@ieee.org ( H 。Hefny ) ,profase2000@yahoo.com(A.S.E.)Ahmed)。最近的创新技术之一是使用面向意见的应用程序,如意见挖掘,情感分析,意见摘要和意见检索;特别是随着电子商务的快速增长。面向意见的应用程序挖掘出现在客户评论中的产品特征每天发布的产品评论的快速增长使得产品的特征提取和检索过程成为一项繁琐的任务。因此,客户此外,公司很难识别客户传统的检索系统在检索结果的查全率和查准率方面难以满足客户的期望(Abdelali等人,2007年)。在这种情况下,需要进行意见搜索和检索。意见检索( OR )在 TREC 2006 博客跟踪中被早期研究(Ounis等人, 2007年)。与传统的搜索相反,如果文档只包含与查询主题相关的意见,则OR认为文档是相关的此外,在排名标准中考虑了意见极性强度OR任务依赖于意见挖掘和情感分析应用程序。意见挖掘的目的是识别主观信息。另一方面,情感分析决定了产品的整体极性或特定特征的极性(Davidov,2010;https://doi.org/10.1016/j.jksuci.2019.01.0101319-1578/©2019作者。制作和主办:Elsevier B.V.代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章(http://creativecommons.org/licenses/by-nc-nd/4.0/)。可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页:www.sciencedirect.com352S.S. Eldin等人/沙特国王大学学报Kumar等人,2016年)。通常,自然语言处理、计算语言学和机器学习技术用于分析意见文本(Khan等人,2014,Kumar等人,2016年)。分析可以在三个不同的层面上进行;即文档、句子和基于特征的层面(Björn Schuller,2013)。 特征层更准确地表达了客户的感受,因为它可以识别客户喜欢什么或不喜欢什么。最初的客户查询通常是缩写的,不足以代表他们的需求(Azad和Deepak,2017)。本文提出了一种基于显式特征的意见挖掘的意见检索方法。增强的方法将最初的客户需求扩展为更有意义和新颖的需求。与在(Singh和Mishra,2017; Street和Liu,2010; Jorge等人,2014),所提出的方法自动提取尽可能多的需求,使用一组扩展的语法和语言模式。观点词的标识符并不是识别扩展模式中特征的唯一方法。提出了一种新的基于显式特征权重、观点重要性和情感极性分类得分的排序方法。实验结果表明,与条件随机场(CRF)相比,所提出的方法能够自动提取更多的信息特征,条件随机场(CRF)是用于提取和标记序列数据的最广泛的方法(Street和Liu,2010; Laffe等人,2001; Sutton和McCallum,2012;Batcha等人,2013; Zhang等人,2016; El Defrawi等人,2017;Darwish et al. 2018年)。CRF是一种判别式无向概率模型(KaurandGupta,2010)。它是组合隐马尔可夫模型(HMM)和最大熵马尔可夫模型(MEMM)的序列建模家族之一,用于基于一组观察来标记和预测某个标记序列的概率(Sutton和McCallum,2006; Lafford等人,2001年)。HMM和MEMM的主要缺点是,当前状态是相互估计CRF不像HMM那样考虑严格的独立性假设。因此,它可以提取输入的丰富和全局特征,而无需表示依赖关系。此外,CRF可以克服MEMM上出现的标签偏差问题(Liu et al.,2005年)。与MEMM不同,对于单个样本,CRF标记一组特征,而不依赖于它们的邻居。它还使用标记的特征来预测隐藏的模式。另外,CRF可以增加信息量,以使用来自先前标签的上下文信息进行更好的预测(Lafford等人,2001年)。由于其对序列数据建模的能力,CRF已被应用于多个领域,并且经常用于NLP,特别是在POS标记中(Sutton和McCallum,2006)。由于词性标注依赖于文本中的前一个词和特定关键词的存在,因此CRF以特定的顺序。此外,它还用于命名实体识别、标记和顺序数据的解析(Sutton和McCallum,2006)。本文的其余部分组织如下。第2节介绍了简要的背景。第三节回顾了相关工作。第4节介绍了拟议的方法。第5节讨论了实验结果。最后一节总结了本文,并提出了未来工作的一些方向。2. 相关工作由于该方法涉及到阿拉伯语用户需求的获取过程传统的需求细化技术依赖于从客户那里提取产品需求(Bhowmik等人,2014年)。然而,这些技术引入了许多挑战。最近的产品开发技术旨在找到更多的创新想法,以发现产品需求并提高其质量(Maiden等人,2006; Bhowmik等人,2014年; Grube和Schmid,2008年)。Bhowmik等人,2014),提出了一种新的框架,用于基于利益相关者组内的主题建模从客户的评论中发现需求词性标注(POS)被用来提取不熟悉的需求组合。它们的框架取决于对特定产品的现有要求.此外,生成的需求是以动词-名词格式表示的此外,平均文本相似度用于对生成的需求进行排名。另一项工作(Paetschet al.,2003)讨论了需求收集过程和敏捷方法之间的关系。介绍了几种收集方法,如客户参与,联合应用程序开发会议,优先级,建模,访谈和头脑风暴。然而,敏捷性引入了许多挑战,如成本估计测量问题。由于越来越多的客户评论,新的已经引入了以更快的方式发现所需服务的机会。然而,海量的共享信息对意见检索提出了更高的要求与电子商务相关的意见检索的研究主要集中在事实的挖掘和检索上。然而,在意见检索方面已经做了一些小的工作(Padmapriya和Maheswaran,2012; Wei等人,2010年;Bhuiyan,2009年)。以前的OR工作是基于两个层次进行的。在第一级中,检索文档并根据其主题相关性得分进行排名在第二级中,根据其意见得分再次对结果进行重新排名(Davidov,2010;Ounis等人,2007; Yu and Meng,2007; Zhang,2008;s Mishne,2007).意见分数是基于主要基于监督机器学习方法识别的情感值来计算的(Pang et al.,2002; Mistiani,2002; Zhang,2008),或使用基于词典的方法(Ghose,2007; Mishne,2006; Na SH.,Lee Y.,南山,2009; Wilson等人,2005; Zhang,2008)。本文将OR中的评论文章归类为关注意见极性分类方法的研究。因此,客户可以识别其他客户的意见(Yu和Meng,2007年; Jia等人,2008; Yu and Meng,2007)。其他研究涉及加强排名标准,以便在尽可能短的时间内提供所需信息(Mishne,2006年; Ghose,2007年)。最后,研究涉及使用观点的主题建模和搜索查询与检索结果之间的域一致性基于其上下文检索结果(Qiu et al., 2009年)。极性分类研究的先驱之一是(Yu和Meng,2007)提出的工作。他们使用了一个“NEAR”操作符来将意见分类为相关或不相关。他们的结果显示,平均精度(MAP)得分(克里斯托弗D。曼宁等人,2009年)实现了28%至32%的改善,比最好的自动运行在2006年或轨道。在(Jia等人,2008年)。它们使用垃圾邮件过滤技术来提高检索效率。在他们的工作中,通过支持向量机(SVM)分类器对意见极性进行分类(Wang,2005)。此外,特征是根据术语频率提取的,而术语频率又相比之下,本文使用了一个扩展的规则集的术语频率,以提取更多的功能。此外,所提出的方法是完全无监督的,并依赖于解析器的准确性。S.S. Eldin等人/沙特国王大学学报353关于结果排名,传统标准可能适用于事实信息,因为检索一个事实等于检索任何数量的相同事实(Liu,2015)。另一方面,OR排名取决于主题相关性分数和意见相关性分数。作者在(Mishne,2006年)提出了三个排名标准依赖于查询的相关度,主观程度使用手动构建的词典和后的质量。通过观察博客文章的作者身份和结果的垃圾邮件可能性来估计质量分数 作者在(Wang等人,2017)提出了一种使用提取的显式产品的方面及其对应的senti-ment的排名方法。最常见的名词被假定为候选体。(Qiu et al.,2009)使用客户查询和文档主题之间的域一致性来知道这些文档是否在同一域中。使用针对不同字段的特定分类法将查询分类到不同的基于候选观点与相应领域模型之间的相似性对结果进行重新排名。然而,他们假设关于客户查询的域信息已经存在,并且客户在其查询之外还提供了这些信息。 作者在(Huang等人, 2018)提出了利用权威和主题证据来改善检索到的博客文章。他们假设每个博客都有一个个人资料,并测量了从博客圈中提取重要主题术语的概率。他们的结果在多个基线上取得了提取的特征直接影响检索效率从客户的意见。有几个研究提出了提取显式功能。Hu andLiu,2004 b)提出的工作使用基于Apriori算法的关联挖掘器来提取名词/名词短语的频繁集作为产品特征,而忽略不频繁的词另一项工作是由 ( Popescu 和 Etzioni , 2005 年 ) 提 出 的 作 者 通 过 开 发 名 为“OPINE”的无监督信息抽取系统,提高了(Hu和Liu,2004 b)的准确率和召回率利用频繁特征提取代表观点词的形容词提取的单词与Hu++ WordNet一起使用,以提取相关的不频繁特征(Popescu和Etzioni,2005)。(Singh和Mishra,2017)的工作提出了一种基于特征的情感分析技术来处理这些包含多个特征的意见词对和形容词对被认为是候选特征。另一项工作由(Kang和Zhou,2017)提出。根据是否存在带有意见词的特征,将产品特征分为主观型和客观型提出了一种无监督的基于规则的方法,通过将部分整体关系与特定模式相结合来提取这两种类型。此外,他们扩展了间接依赖和比较结构的双传播,以提取主观特征。Garcia-Moya等人, 2013)提出了一种用于产品特征提取的语言建模框架,以检索和汇总客户评论。它可以应用于几个领域提供了一个种子集的意见。从相关观点词的种子集合中学习的词的概率模型和词之间的其他研究基于规则的方法提取特征。在(Street和Liu,2010)中提出的工作提出了一种增强的方法来解决双传播问题。除了传播之外,还使用了其他基于规则的模式来增强召回结果。引入部分-整体模式和无模式来提取候选特征。基于超链接诱导主题搜索(HITS)算法和语料库之间的频率对结果进行排序,另一种基于规则的方法已经在(Asghar等人,2017年)。他们提出了一个基于一组语言模式的框架来提取特征及其相关情感。作者在(Maharani等人, 2015)讨论了使用基于若干提取模式的基于语法的方法的特征提取过程。在(Ravi Kumar et al.,2017年)。提出了基于自然语言处理和语言模式的Amazon评论特征抽取产品特征之间采用部分-整体关系模式此外,该模型假设与形容词相关的频繁和非频繁名词作为候选特征。然而,许多非特征匹配已经产生。作者在(Liu等人,2012)在关联规则的基础上,使用潜在狄利克雷分配(LDA)方法提取特征和观点词。以前的大多数研究都是针对英语和汉语的(Hu和Liu,2004 a;Na 等 人 , 2009 年 ; ChandraKala 和 Sindhu , 2012 年 ; Singh 和Mishra,2017年)。 尽管阿拉伯语是最常用的语言之一,但很少有研究,因为它由于形态学困难而引入了许多挑战(Soliman等人,2013年)。此外,可用于阿拉伯语分析的工具和语言资源很少作者在(Alqasemi等人, 2016)基于阿拉伯语书评和语料库中的术语频率提取了显式特征。Abd-Elhamid等人, 2017)提出了一种基于特征的情感分析技术,用于使用句法特征挖掘阿拉伯语评论。形容词被认为是特征的指示词。特征-情感对与所提出的工作相比,先前研究中的特征是基于有限数量的不足以覆盖所有特征形式的特征模式提取的(Singh和Mishra,2017;Street和Liu,2010; Kauffin等人,2014年)。此外,这些研究中的大多数使用形容词标签作为特征指示符,这导致缺失其他特征,如从整体-部分模式中提取的特征(Kang和Zhou,2017)。此外,大多数提取的特征被假定为具有明确的意见词。例如,“/”移动电池被快速关闭”,意见文本表达了关于移动电池的负面情绪,而不使用任何明确的意见词。3. 所提出的方法所提出的方法解决的问题,不完整的客户的需求是不够清楚,特别是在产品开发的开始。因此,新的相关要求是根据其他客户的反馈和意见提出的然而,随着网络上分享的大量意见,客户这些问题都是讨论的直接意见,都写在现代标准阿拉伯语(MSA)和埃及方言。主要贡献是从客户的角度将初始产品需求扩展为更有用和新颖的需求这里客户它可以用一个单词或一个短语来表示。提出了一种基于特征意见挖掘的增强型领域无关意见检索方法,对阿拉伯语意见进行了显式特征提取。在传统的主题相关特征的基础上,基于一组扩展的语言学和语义学模式来提取特征,以提取尽可能多的特征在不存在意见指标的情况下提取特征此外,对于与指示符一起出现的特征在所提出的方法中,提出了两个层次的排名标准。在第一级,354S.S. Eldin等人/沙特国王大学学报X¼,XP候选特征基于特征重要性权重和其情感极性分类使用自由阿拉伯语词典(Mohammad等人,2016年)。在第二层中,根据特征排序结果和意见权重得分对检索到的相关意见进行排序。所提出的方法解决了这个问题,在直接的阿拉伯意见,使用基于特征的意见检索和基于规则的技术。由于可用于阿拉伯语民意分析的资源很少,因此数据集是手动收集和标记的。另一方面,预处理步骤是自动化的。所提出的方法从客户查询中提取的初始需求开始。然后,在开始提取过程之前,将预处理步骤应用于查询前一步是强制性的,以避免任何误导性的结果,并以方便的格式放置查询通常,查询预处理执行若干任务,包括词干提取、归一化、停用词去除和拼写校正。在确定初始需求后,执行搜索和检索过程以识别相关产品。然后,客户使用二进制反馈方法对输出的潜在相关性做出决定然后,通过自然语言处理技术和基于特征的意见挖掘,提取和分析相关检索产品的相关意见。客户评论中出现的显式特征一套语言学和语言模式。这些模式与前缀相同的条件。它的主要优点是,它可以删除任何字母关于标准化步骤,它是根据(Shoukry和Rafea,2012)中提出的规则应用的,该规则涉及(/alef与mada),(/alef与hamza)和(/alef与kasra)到(/alef)的转换,转换(/ ta marbuta)到(/ha mar-buta ) , 转 换 ( / ya 与 hamza ) 到 (/ya ) 和 转 换( /wow with hamza)到(/wow)。除了这些规则之外,所有非阿拉伯语单词、非字母、符号和标点符号都被删除,所有单词都被转换为单数格式,从以这些字母开头的每个单词中删除这些字母,除了认为这些字母包括在单词结构中的单词之外。在第二步中,提取由空格分隔的词来表示在检索任务中进一步使用的客户查询的搜索令牌。在第二阶段,进行传统的搜索,以重新识别相关的产品,以客户的需求。从阶段1中提取的标记及其在产品索引中的同义词用于根据产品描述检索产品。然后,根据由以下等式支配的主题相关性分数对结果进行排名(Christopher D. 曼宁,2009年)基于出现在固执己见的文本上的顺序模式提取。最后提取候选需求分数nk<$0公司简介排名。所提出的方法及其组成部分的总体工作流程如图1所示。所提出的方法分为8个阶段。第一阶段是确定初始需求。阶段2,基于主题相关性权重检索产品。第3阶段,确定客户对检索到的产品的反馈。阶段4,检索相关产品的相关意见。阶段5涉及显式特征提取、清洗和权重分配,阶段6澄清所提取特征的情感极性。阶段7,计算相关意见的重要性得分,并对候选要求进行排名.最后,在第8阶段,通过召回率、精确率和F1指标对结果进行评估。在下文中,更详细地描述这些阶段。在第一阶段,根据搜索查询提取初始需求通常,客户使用自然语言编写简短的查询来描述他们的需求。然而,简短的查询可能不足以代表他们的需求。因此,需要一个扩展过程。执行两个步骤。第一步包括查询的预处理第二步应用标记化过程来提取查询标记。通过拼写校正处理查询,使用出现在产品数据集中的标准和口语停用词的准备列表来删除停用词。对于埃及口语文本,主要有两种类型的阿拉伯语词干;即侵略性和轻词干。积极词干分析器旨在将单词还原到其词根,而轻型词干分析器则删除前缀和后缀。积极的词干分析器将单词还原到它们的根,它可能会导致失去原始单词的实际含义(Aljlayl和Frieder,2002)。因此,拟议的工作选择了轻词干,特别是修改后的轻词干(Al-Obaidi和Samawi,2016)。此修改后的词干分析器支持以阿拉伯语方言编写的注释。它包括两个主要步骤。第一步的目标是去除单词中的前缀第二步的目的是删除第1https://www.microsoft.com/en-us/research/project/arabic-toolkit-service-atks/其中TF是检索到的并且在等式(2)中定义。IDF是逆文档频率并且在等式(3)中定义。TF¼ft;dft0;d2t02d其中f t;d是项t在文档d中出现的次数,t02dft0;d是文档d中t 0项的总数。IDF¼ 1对数N= nt± 30在等式(3)中,N是文档的总数,并且nt是包含项t的文档的数量。在第三阶段中,使用二进制反馈方法来验证客户的决定,在第四阶段中,执行第二搜索过程以增强从传统搜索中检索到的结果。该阶段利用先前的主题相关性判断来了解客户需要的产品,然后从意见表中检索出客户对每个产品的相关在第五阶段,探索显式特征并分配权重。显式特征是指可以在单个Word.为举例说明:“的一声/非常精彩的应用程序与一个合适的价格”。单词"/price”表示应用的属性,并且可以被命名为特征词。此外,特征可以表示为短语到代表的需的服务.为例如,/我希望出租车来了在家希望词后的短语表示候选人要求。客户可能需要添加一个新功能,该功能由不常见的单词和短语表示客户也可以修改当前的功能,可以用频繁的词来表示,或者强调其重要性,并使用意见词来表达他的感受产品特征提取和权重分配主要分为三第一阶段与显式特征提取过程相关,包括两个步骤:数据预处理和映射到特征规则。第一步是为S.S. Eldin等人/沙特国王大学学报355图1.建 议 的意见检索工作流程及其组成部分。提取过程和意见通过以下步骤进行处理,拼写校正检查固定的文本块和特殊的停止词,可能会涉及特定的情感取向,以保持它在文本中例如:删除步骤2中未包含的停用词。词性标注用于为每个词标注特征提取和模式映射阶段。对于埃及口语单词,ATKS转换器用于在文本解析之前将文本转换为MSA。规范化步骤遵循查询预处理阶段中使用的相同规则,但对意见文本应用了其他规则,即:替换单词或kashida中重复超过2次的重复字符序列。 举例来说:'' /dangerous ''转换为'' / dangerous“。删除[#]标签符号,只保留可能涉及特定功能的单词。使用空格作为单词分隔符来提取标记的标记化。在特征提取过程的第二步中,意见文本和特征模式被映射以识别文本中的显式特征。本文提出了一种七种语言学和语义学的阿拉伯语模式,其中包含十四条规则,用于从客户1. 否定规则模式。为了检测否定表达式,准备所有否定词的列表。这 种 模 式 只 适 用 于 用 单 数 词 表 示 的 明 确 否 定 , 例 如 ,“"。. .”对于单数词特征,我们考虑否定词之后的任何词或语句作为候选特征。对于在短语中表示的特征,特征模式表示为以否定词+名词或动词开始的短语和以[点或长空格或连接词工具“atf“/And或另一否定词]开始的短语结尾比如说,●●356S.S. Eldin等人/沙特国王大学学报“的一声手机和非现金,这里出现否定词,如"“和“使得单词(/ Cash)和名词短语(对于windowsphone为/update)都根据否定模式规则被假定为候选特征。2. 愿望从句模式。这里的特征可以是词或短语。特征提取,如果它继续与愿望表达。 例如,的相同规则为否定格局为example阿赞被成立为每个礼拜.的短语‘‘3. 部分-整体关系模式。根据以下规则提取特征:规则1:名词+介词+名词。比如说,尊重对待。尊重名词被提取为候选特征。规则2:名词+ [介词+代词] +名词。例如,有空调的汽车。空调这个词是汽车的一个候选特征规则3:名词+名词。例如,/drivers道德。根据规则3,伦理词被认为是一个特征。规则4:名词+ [[+名词](/附加词)。例如,/移动电池。在这里,电池词被提取作为候选特征的移动。4. 词汇模式。阿拉伯语词汇建议(穆罕默德等, 2016)包括用于识别情感词的阿拉伯语成语和形容词。基于以下规则使用词典词来规则1:名词+词汇规则2:名词+ [+ 名词] +词汇词。 例如:'' /very坏驾驶员道德“、 “/高价格“、 ”/驾驶员道德 “和 "/ 价格” 被认为是候选产品特征。5. 词频模式。词性标注是用来识别名词和形容词的。频繁的名词被认为是推荐功能的基础上,他们在检索结果中的整体频率。此外,与频繁出现的形容词词一起出现的名词词被认为是候选特征。6. 形容词模式。候选特征是基于以下模式提取的,名词+形容词或名词+[+名词]+名词。例如:7. 初始需求模式。在初始客户查询中出现的特征被提取到候选特征列表中。名词与形容词或情感词被认为是一个必要的特征。第二阶段的产品特征提取和权重分配阶段与特征清洗过程有关。 候选特征需要在排序过程之前被清理。重复的特征通过提取特征词并去除任何产生的冗余来消除。使用从意见数据集准备的同义词列表来移除具有同义含义的特征。最后,提取过程的最后一个阶段涉及特征排序过程。根据等式(4),基于除了相关性分数之外的多个因素来计算排名分数(RS)。RS/ FF/ FS/ FP/400其中FF是主题相关的固执己见文本中每个特征的特征频率计数,FS是每个特征的情感取向,FP是与每个特征匹配的特征模式的数量。FF是根据固执己见的文本的结构计算的。当特征被表示为一个词时,则FF被认为是相关意见中的术语频率计数。如果特征被表示为语句或短语,则FF是每个短语频率的计数。如果短语包括任何频繁特征,则频繁特征的计数也将被添加到短语FF分数。在特征提取过程之后,所提出的方法中的第六阶段澄清每个提取的特征的情感取向以检测候选特征极性得分。情感得分是基于在(Abd-Elhamid et al.,(2017年)使用免费的阿拉伯语词汇。情感极性分类的准确率为94.4%,召回率为90.06%。这两个指标都是基于真阳性(tp)、假阴性(fn)、假阳性(fp)和真阴性(tn)结果的值确定的,并根据公式(5)和(6)计算(Olson,2008)精密度1/4真阳性= 1/4真阳性1/4假阳性1/5假阳性回想起1/4真阳性= 1/4真阳性1/4假阴性1/4假阴性2/4在第七阶段中,基于检索到的意见的重要性来检索候选需求。重要性分数是基于出现在文本中的候选特征的数量和从先前步骤计算的每个特征的权重分数以及日期后分数来计算的。最后,使用产品数据集评估最终结果。检索到的需求或检索到的意见中的候选特征基于查全率、查准率和F1度量进行评估。下一节将详细讨论所提出的方法结果。4. 结果本节对拟议的办法进行评价。本节由三部分组成。首先,描述数据集细节。在第二部分中,一个场景与一个例子来说明所提出的方法的工作流程。最后,结果和它的评价CRF的结果。4.1. 数据集详细信息该数据集来自多个社交产品资源,包括souq.com2、移动应用程序商店和从大型阿拉伯语情感分析资源中提取的产品意见(ElSahar和El-Beltagy,2015),其中包括科学界公开可用的大型注释评论。大型阿拉伯语数据集考虑了几个领域,如电影,酒店,餐厅和产品。它包括大约33K的评论。然而,我们感兴趣的产品数据集,其中包括15K的评论从市场网站报废,并包含4272评论。摘录的意见包括来自埃及、沙特阿拉伯和阿拉伯联合酋长国的一些评论。因此,除现代标准阿拉伯语和阿拉伯语口语外,以任何语言表达的评论均被删除。所提出的方法侧重于直接意见类型,包含明确的产品功能。作者注意到很大一部分客户给出了许多意见不包括在(ElSahar和El-Beltagy,2015)中的移动应用程序产品。因此,为移动应用程序添加了另一种意见类型表1总结了2https://egypt.souq.com/eg-ar/S.S. Eldin等人/沙特国王大学学报357表1数据集详细信息属性值2011年意见数量每个意见的最低字数每种意见的最大字数查询次数正面评价1495反对意见516显式特征数产品类别20数据集的描述属性列表示值列中的主要特征涉及应包括至少一个明确产品特征的定向意见的总数、收集的意见的最小和最大字数、搜索和检索过程中使用的搜索查询的总数、具有正面和负面情感极性得分的意见的数量、在收集的意见中出现的明确产品特征的数量以及产品类别的数量。该数据集包含20个不同的类别,如家庭,婴儿,硬件,不同类型的软件产品和其他类型。共有2011个独特的意见,根据意见质量选择。质量分数是根据几个参数估计的,特别是,意见文本大小,显式特征的数量和出现在文本中的情感词对于每个意见,我们都会跟踪客户输入的意见文本和情感评分。正面和负面意见的数量表达了产品的总体极性。明确出现在客户文本中的产品功能作者选择了出现在名词或名词短语格式中的特征,特别是出现在词汇词中的特征。每个提取的特征的正确性是基于其在评论中的频率得分以及它是否出现在产品描述和客户意见中来估计的该数据集用于构建产品及其相关意见的倒排索引。对于每个产品,产品名称和产品功能的简要说明都输入到产品信息索引中。产品被分类为特定的产品类型,每种类型都有一个特定的初始查询。对于意见索引,由十位阿拉伯语母语者手动添加一个值在1和5之间的意见得分列,以评估所收集意见的有用程度。4.2. 测试用例给出了一个测试用例场景,以详细说明所提出的方法阶段。系统在客户编写初始搜索查询时启动。例如,查询id,1查询文本,/预订的好程序一个特殊的汽车在线“。根据前面讨论的预处理步骤,使用NLTK python Toolkit3、ATKSService4和Farasa Arabic文本处理库5提取初始搜索关键字。在提取过程之后,从产品索引中检索相关产品,并根据其主题得分进行排名。获得有关结果的客户反馈(FB),3https://www.nltk.org/api/nltk.html确定客户实际需要的产品类型。表2显示了基于TF-IDF分数排名的初始搜索结果表2涉及用于检索结果的ID列,产品ID列表示产品索引中的产品ID,产品名称列列出检索到的产品名称,产品描述列用于检索到的产品描述信息,TF_IDF列表示根据等式(1)的TD-IDF分数以及与反馈列中表示的每个产品相关的客户反馈。在从检索结果中的每个意见的索引中识别产品类型之后,识别客户的反馈。如果产品类型的相关查询与客户的初始查询匹配,则该反馈被认为是正反馈,否则,它被认为是负反馈。相关的意见是根据计算的主题相关性判断分数检索的,前一步。检索到的意见总数为4种产品的168份意见声明。表3显示了相关意见的结果示例,其中,意见文本列列出了与相关产品相关的检索意见,Object_ID列指的是产品索引中每个检索意见的相关产品ID。关于特征提取过程,ATKS转换器工具是用于将阿拉伯语转换为MSA。使用多个标记器(ATKS,Farasa文本处理库,Stanford解析器6)获得自定义文本标记。ATKS工具适用于阿拉伯语口语,因为它包括一个口语转换器服务,可以将埃及口语转换为标准的阿拉伯语文本。此外,它还处理MSA和collo- quial文本相结合的文本。ATKS POS tagger可以自动更正评论中经常出现的阿拉伯语错误。使用FarasaTag-ger是因为它被认为是一种快速准确的阿拉伯语文本处理工具包(Abdelali等人, 2016年)。它与其他标签器不同,因为它可以联合分割POS标签,并解析文本。从而避免了文本结构中的错误。第三个标记器是Stanford标记器,它通常用于多种语言,用于与以前的工具进行比较。然而,这些标注器的精度和特征是不同的,并且产生错误。因此,没有一个标记器表现出完美的性能,可以作为标准标记器。需要手动修订以保证结果的准确性。对于情感词汇,本文使用了(Mohammad et al.,2016年,认识到感情。与其他同类词典相比,使用的词典包含更多的条目。根据前面给出的归一化规则,使用开发的appli-阳离子获得归一化步骤表4显示了预处理步骤的示例,在建议的方法部分中详细讨论了该示例在预处理之后,如前所述,在显式特征模式中检查自定义文本表5示出了特征提取结果,其中匹配意见列列出了与每个模式匹配的相关意见的数量,并且初始特征列表示每个模式的提取特征的数量表6示出了清洁过程之后的候选特征的数量,以及每个图案提取的特征的平均数量,其中唯一特征的总数为128。如表5和表6所示,基于初始需求提取的特征不足以表示与客户需求相关的实际特征。特征提取模式如表6所示,具有51%的正极性覆盖率和49%的负极性覆盖率。需要在提取阶段之后进行特征排序第https://www.microsoft.com/en-us/research/project/arabic-toolkit-service-atks/5www.example.comhttp://qatsdemo.cloudapp.net/farasa/demo.htmlhttps://nlp.stanford.edu/software/lex-parser.shtml358S.S. Eldin等人/沙特国王大学学报表2带有用户反馈的初始主题搜索结果ID产品_ID产品_名称产品_说明TF_IDF反馈119/简单出租车/一个网上预约出租车的应用程序,并提供安全的服务。在中东地区从一个地方到另一个地方更容易5.12121/Uber/无需预订或等待出租车,您可以获得可靠和方便的在线交通3.921311/KareeM/该地区的第一个汽车预订应用程序,并提供您可以信赖3.71416/抓斗/最快的出租车服务和私家车预订5.3155/穆斯林的堡垒/所有你需要从azkaar包括在穆斯林堡垒,如早晨,晚上,睡眠,衣服,等等。2.8066/Salati/第一个祈祷时间的智能应用程序,完全在阿拉伯语中工作,结合了设计之美和使用简单...2.40713/宽恕上帝/程序记住你与真主,而你正在浏览手机。1.2083/Otlob.com网站/现在你可以在网上用手点你的早餐、午餐、晚餐和任何地方1.420以评估所提取的特征的权重。表7示出了根据等式(4)从相关检索到的意见中提取的排名靠前的候选特征的样本。最后,需要客户反馈来评估候选人的要求。 图2显示了最终需求结果的示例。例如,所描绘的图中的最高等级特征/程序可用性,/出租车司机,/windows应用程序,/程序安装,/问题,/驱动程序评估,/交付价格,/汽车服务每个功能的相关意见基于每个意见中存在的特征的数量、每个特征的排名分数和发布日期进行排名。 顾客应对候选需求列表中的相关需求进行评分,以代表反馈结果。然而,在本文中,从客户的角度来看,排名最高的需求被假设为最相关的需求。4.3. 最终结果使用等式(7)中定义的精确度(P)、等式8中定义的召回率(R)和等式9中定义的F1分数来测量所实现的所提出的方法的性能(Craig Macdonald,2008; Christopher.D. Manning,2009)。Precision对检索结果中准确识别的项目进行评估。召回旨在评估相关性占所需相关项目总数的F1-score表示精确率和召回率结果的调和平均值最终结果基于等式(7、8和9)计算。相关文件g\fRetrieveddocumentsgg=f Retrieveddocumentsg检索到的文件g相关文件g\f检索到的文档gg=f相关文档gS.S. Eldin等人/沙特国王大学学报359表3查询1的相关意见结果意见_文本意见_ID对象ID/异常程序。它拒绝注册入口和名称1121/Windows Phone非常弱。我希望添加一个帮助选项, 菜单就像android31//下一页41客户服务51货币。61/手动寻址 难道就没有更简单的方法?71/很糟糕,如果你下载它81/怎么没有现金!!!!!91101/好,但它的可用性不容易111(y)/很好,汽车很好,成功121/优秀的服务,干净的汽车和我遇到131/司机非常乐于助人,谢谢141我需要做一张卡片,有签证151表4意见预处理步骤示例预处理步骤意见文本示例意见文本原始意见:/优秀的服务,干净的汽车和我遇到拼写校正固定块和特殊块停用字检查或特殊的停用词停用词删除解析word type/word parts/word/ID//单数阴性名词1/单数阴性形容词2/ Plural feminine noun3/女性形容词4/单数阳性名词5/ Plural mascular noun 6/过去动
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功