社交媒体意见摘要技术研究综述

可在www.sciencedirect.com在线获取ScienceDirectFutureComputing and Informatics Journal 3（2018）82e109http://www.journals.elsevier.com/future-computing-and-informatics-journal/社会化媒体意见摘要技术研究综述Mohammed Elsaid Moussa*，Ensaf Hussein Mohamed，Mohamed Hassan Haggag计算机科学系，埃及开罗Helwan大学计算机和信息学院接收日期：2017年10月13日;修订日期：2017年11月23日;接受日期：2017年12月19日在线提供2018年摘要社交媒体上的数据量是巨大的，甚至还在不断增加。需要有效地处理这一广泛的信息，导致越来越多的研究兴趣，知识工程任务，如意见摘要。该调查显示了社交媒体当前的意见摘要挑战，然后是必要的预摘要步骤，如预处理，特征提取，噪音消除和同义词特征处理。接下来，它涵盖了在意见摘要中使用的各种方法，如可视化，抽象，基于方面，以查询为中心，实时，更新摘要，并强调其他意见摘要方法，如对比，基于概念，社区检测，特定领域，双语，社会书签和社交媒体采样。它涵盖了意见总结中使用的不同数据集以及每种技术中建议的未来工作。最后，它提供了不同的方法来评估意见摘要。Copyright© 2018埃及未来大学计算机与信息技术学院由爱思唯尔公司制作和主持这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：自然语言处理;情感分析;意见摘要;社交媒体;意见挖掘;推文摘要1. 介绍情感分析是一个广泛的领域，包括意见挖掘，情感分类和意见总结;意见总结是自动总结与同一主题相关的许多意见的过程[1]。在情感分析中，意见摘要涉及许多预处理步骤，如标记化，词性，词干;使其不同于传统摘要[2]。它是最有价值和最强大的NLP技术之一[3]。在社交媒体中，它是关于如何找到与给定主题最相关的帖子[4]。它将允许理解隐藏的事件和不同事件的情绪[5]。情绪总结也不同于* 通讯作者。电 子 邮 件 地 址 ： mohammed. fci.helwan.edu.eg （ M.E.Moussa ） ，ensaf_hussein@fci.helwan.edu.eg（E.H.Mohamed），mohamed.haggag@fci. helwan.edu.egM.H. Haggag）。同行审查，由埃及未来大学计算机和信息技术系负责。事实数据摘要，因为从事实的角度来看被视为具有指导意义的句子可能根本不包含情感，从情感的角度来看，它们是无用的[6]。这项调查研究的重要性在于，最近，人们对意见总结的研究兴趣越来越大，因为它已经成为个人在博客，评论帖子和社交网络中对产品不同功能的看法的一种模式[7]。例如，在亚马逊上，一些受欢迎的商品可能会得到数千条评论，这使得候选客户很难体验每一次审核，以确定购买选择[8]。这种大量的数据使我们需要一个自动的意见摘要系统，并对摘要系统造成了巨大的挑战[9]。如果用户评论可以自动处理并以摘要形式呈现，这对客户和制造商将是有用的[10]。意见摘要可以很容易地集成到现实生活中的应用，这将节省用户的时间和精力[3].例如，通过Twitter的意见，政治家可以审查他们的公众形象，公司可以检查他们的客户https://doi.org/10.1016/j.fcij.2017.12.0022314-7288/Copyright© 2018埃及未来大学计算机与信息技术学院。Elsevier B. V.制作和托管这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。法医Moussa等人/Future Computing and Informatics Journal 3（2018）82e 10983反馈[9]。它在社交媒体和社交媒体分析的语义分析中也发挥着重要作用[11]。有两种主要方法来生成文本摘要[12]：1）提取摘要，其中摘要完全由从输入中提取的内容组成[11]和2）抽象摘要，其中摘要包含一些源中不存在的内容，例如作为释义材料[11]。开发舆论跟踪系统具有商业价值[13]。例如，Summly1（一个按主题分类新闻并使用分析工具压缩文本的移动应用程序）以3000万美元的价格出售给雅虎，使其作者NickD' Aloisio（生于1995年11月1日）成为有史以来最年轻的白手起家的百万富翁之本调查的结构如下：第1节概述了意见摘要主题，其重要性及其一般方法。第2节描述了我们在进行这项调查时使用的范围和第3节描述了当前社会媒体的意见摘要挑战然后在第4节中，我们将介绍在意见摘要过程本身之前要完成的步骤第五部分是本次调查的核心，它涵盖了意见摘要中使用的各种技术。第6节展示了评价意见摘要的方法。最后，第7节总结了这项调查，并提出了未来在社交媒体上进行意见总结的建议2. 范围和方法本文的目标是对社交媒体的意见摘要技术进行全面的在这次调查中，我们没有深入到公式和总结中使用的技术。相反，我们试图涵盖许多用于意见总结的方法，并展示他们的技术，领域，数据集，评估标准，以及他们建议的未来工作（如果适用），以及所需的挑战和预总结步骤。因此，人们可以将这项调查视为对该主题的重要横向覆盖，而不是对其技术的深度垂直覆盖。在过去的几年里，我们试图涵盖大多数关注这些关键词（社会，情感或观点，总结）的最新论文。在少数情况下，一些只涉及这三个关键词中两个的论文也被用于这次调查，特别是当选定的主题可以很容易地扩展到涵盖第三个关键词时。在图1中，我们可以看到主要勘测剖面结构3. 意见摘要挑战浏览所有日常推文以审查关键问题是非常具有挑战性的[4]。博客和社交媒体帖子没有图1.一、意见总结阶段和技术的范围预定义的规则，他们是深刻的非结构化，嘈杂，与方言的随意结构[7]。它们通常包含表情符号，讽刺和非字典标准词[12]。它们也是由非专业人士撰写的，在拼写、语法、标点和大写方面有许多错误[7]，并不断改变惯例[11]。这意味着我们不能利用像Freebase，3Wikipedia4这样的词汇或知识库来查找相关事件[14]，这使得分析变得更加困难[12]。此外，用于传统文本分析的无监督学习方法在应用于社交媒体帖子和评论时由于其短文本性质而表现较弱[14]。最近，出现了新的挑战，例如将社交媒体数据集成到文档摘要中[11]，例如在产品评论中总结产品特征以进行情感分析时对同义词特征进行分组[15]。同样对于决策制定，由于数据量巨大，并且由于给定媒体的特殊性，例如Twitter中的字符限制[11]，冗余以及由搜索关键字中的模糊性引起的不相关信息[14]，因此对数据的人工评估非常困难。1http://summly.com/index.html。2http://www.stuff.co.nz/technology/digital-living/8474218/Teens-multi-million-dollar-Yahoo-payday。3https://www.freebase.com。4https://www.wikipedia.org。84法医Moussa等人/Future Computing and Informatics Journal 3（2018）82e 109社交媒体多文档摘要也提出了新的挑战，这是由于冗余（如转发）和使用可能改变每条消息重要性的额外功能（如喜欢和收藏夹计数）。此外，还需要管理各种各样的，简短的，不同的，以及推特的喧闹性质[17]。意见摘要面临的其他挑战，特别是在商业服务中，包括由于理解语言的困难而导致的准确性差，以及需要更深入和复杂的NLP技术来处理的可扩展性问题[18]。4. 预先意见汇总在本节中，我们将介绍在意见摘要过程本身之前要完成的步骤，如预处理，特征提取，噪声消除，同义词特征处理。4.1. 预处理特征提取意见摘要的一个关键阶段是特征提取阶段，它通过减少特征空间来简化分类任务的复杂性[7]。用于总结的特征集的样本，如参考文献1所用。[17个]是基于单词的功能， 作为 线索词&短语，非提示词，缩写，意见词语、粗俗词语和表情符号。以及基于符号的功能，如特定于twitter的符号和指示性标点。在参考文献[12]中使用的其他特征在图中列出。 二、此外，Fig. 3说明了预处理和特征生成（特征识别、特征提取、特征细化）。在2015年[7]，提出了一种广泛的预处理技术，使用一些需要在特征提取阶段之前执行的转换和过滤任务。他们的预处理步骤包括：删除不需要的网址，停止词，标签，特殊和重复的话，处理焦通，过度使用和不正确的标点符号的话，随着合并重复符号。Rao和Shah还提供了一种无监督的技术，用于从数据集中自动提取特征。他们的技术包括：使用Stanford Parser5[19]应用POS标记，自动化规则生成过程，基于频率计数过滤提取的特征，并最终细化提取的特征。Rao和Shah使用了来自亚马逊，CNet，6Team-bhp，7和Car wale8等大型网站的用户评论，这些网站属于手机和汽车。他们的结果表明，不必要的特征数量大大减少。参考文献[20]在他们的预处理步骤中使用了类似的方法，将其应用于一些单独的阿拉伯语推文，以排除不需要的特征和噪音，但除了删除超链接，哈希字母，5http://nlp.stanford.edu/software/lex-parser.shtml。6http://www.cnet.com。7http://www.team-bhp.com。8http://www.carwale.com。冗余的推文，他们添加了一个文本规范化阶段以下的规则，在参考。[21]第20段。在2013年，[12]还提出了预处理阶段的步骤列表，包括 ： 分 别 用 “ATUSER” ， “word” 和 “TARGET” 替 换@username，#word和target（情绪）同年，[17]提出了一种基于搭配的短语提取方法，该方法可以抵抗意外和非常规的Twitter噪音。他们的方法是基于提取关键词作为频繁的不间断词和提取关键短语，通过寻找频繁的n-gram搭配。4.2. 消声噪音包括所有不相关或低质量的信息，包括垃圾邮件，俚语，非英语笑话和讽刺[22]。2014年，[23]提出了一种基于内容的方法来过滤垃圾推文。他们利用机器学习算法和基于压缩的文本分类器来过滤噪音/垃圾推文。他们还发布了Twitter垃圾邮件数据集作为公共数据集，以及用于基于压缩的文本过滤的免费WEKA92012年，[24]提供了几种噪音消除技术来筛选垃圾邮件和不相关的推文：首先，他们利用Apache Nutch项目的10种语言检测器加上Twitter提供的语言信息来过滤非英语推文。接下来，他们使用一组过滤器过滤垃圾邮件、无用的推文和回复。最后，他们使用规范化过程去除重复字符[25]在处理短信中关于语法和句法规则的噪声数据时采取了不同的方法。他们利用字符N-格来完成这项任务，它包括原始文本长度为n的子串。他们的模型的优点是它对噪音和拼写错误的容忍度，这减少了严重拼写错误的可能性。4.3. 同义词特征同义词特征是指相同特征的单词或表达，如同义词特征应该被分组在一起，因为人们经常使用不同的单词或短语来描述同一个特征[26]。[27]认为需要某种形式的监督来处理同义词特征问题，因为它的解决方案取决于用户应用程序的需求。在2011年，[15]提出了一种对同义词特征进行聚类和分组的技术，他们表明无监督学习或使用同义词词典在这个过程中做得很好。他们将问题重新表述为半监督学习问题，并利用两个软约束来标记初始9http://www.cs.waikato.ac.nz/~ml/weka。10http://nutch.apache.org。法医Moussa等人/Future Computing and Informatics Journal 3（2018）82e 10985图二、Twitter数据的情感分析和摘要中使用的特征[12]。自动示例：共享单词（“电池寿命”、“电池”和“电池功率”），以及词汇相似性（“电影“和“图片”）。他们还使用积极和消极的解释来区分各种特征表达。他们使用了参考文献[28]中制定的期望最大化EM算法，如图4所示，几乎没有调整。Zhai等人使用五个数据集进行经验评估（家庭影院、保险、床垫、汽车和真空），并使用熵和纯度评估聚类。他们建议尝试其他半监督学习方法。5. 意见摘要技术意见挖掘和总结过程（图5）包括三个基本步骤;意见检索，意见分类和意见总结[30]。单独的意见摘要过程（图6）包含两种方法（基于词汇的摘要和基于词频的摘要），其中对评论文本进行预处理在2015年，[31]提出了一个意见摘要系统的三步模型：对非结构化评论进行预处理，使用加权关联规则识别规则特征，发现情感词的语义，最后总结结果。5.1. 非文本摘要值得一提的是，之前的很多著作对“总结“一词的处理方式都有些人只在可视化或统计方面处理它，而其他人则在文本摘要方面处理它例如，在2014年，在Kherwa et al.的工作[32]提供了一种全面的情感数据分析和意见挖掘的方法;他们专注于可视化，通过使用Java中的Google Chart API 11以用户友好的方式可视化数据，如图7所示。同年，[33]提出了一种基于结构感知的观点转发方法（句子分割和标记化）然后每个句子计算得分和相关性11https://developers.google.com/chart/。86法医Moussa等人/Future Computing and Informatics Journal 3（2018）82e 109图3. 预处理和特征提取步骤的架构[7]。见图4。同义词特征的软约束期望最大化算法[29]。社交网络中的情感挖掘和分析，用于微博12（中国的一个类似Twitter的网站）。它加入了树状转发结构，并以全面的视角审视情感进步。他们的系统通过意见总结图展示了情感传播。他们的总结部分是通过一个意见汇总表。他们的系统使用2014年FIFA世界杯的真实数据的样本输出如图所示。 八、此外，Hsieh等人[34]在2012年提出的摘要部分，提供了一个双语上下文挖掘和情感分析，12http://weibo.com。图五、意见挖掘和总结的架构[30]。法医Moussa等人/Future Computing and Informatics Journal 3（2018）82e 10987见图6。意见总结过程[30]。分析总结系统，只是图9中的图形，其中他们提出了S.E.R（社会事件雷达）技术。在2006年，[35]在他们的意见跟踪系统中提出了基于图形的摘要和时间序列，该系统给出了来自众多数据源的意见趋势。图10是他们系统中的样本图，其中包含台湾总统选举的真实数据。Ku等人使用了从TREC13语料库（文本检索会议）、NTCIR14语料库和来自网络博客的文章中收集的数据集。他们建议将来也考虑意见持有者。还有更多的工作主要集中在统计数据上，例如[10]提出了一个意见汇总和可视化系统（OSVS），以图形结构呈现提取的信息组件，鼓励客户快速了解产品功能以及客户OSVS使用Google Chart API生成条形图和饼图。图11示出了OSVS的主屏幕。同年，[36]提出了一种方法学，该方法考虑了主题建模和主题短语挖掘，用于评论分析和可视化。他们在评论中提取并总结了主题，如13http://trec.nist.gov。14http://research.nii.ac.jp/ntcir/index-en.html。图或云。作为示例，图12中示出了来自voyant-tool.org具有真实评论的样本输出。ram-amonjisoa等人建议进一步评估必读评论，并使用更多的标准，如时间或语义关系。在2014年，[37]提出了一种计算关于学生的合作意见值的算法，他们的总结过程是通过平均情感得分来完成的。他们根据从考虑学生执行力的教育工作者的评论中提取的意见提出了一项案例研究图13展示了由他们的框架创建的协作意见得分的示例。我们可以得出结论，基于可视化的摘要是非常有用的，并具有许多优点，如视觉吸引力，数据的快速分析，易于阅读，数据的简洁表示。它也可以与其他类别的摘要结合使用。5.2. 抽象文本摘要与只使用原始措辞中的完整句子的提取摘要不同，抽象摘要包含了重新表述步骤并使用新术语[38]。由于文本生成的困难，抽象摘要不是一种常见的策略[18]。摘要的语言质量到目前为止还不尽如人意[39]。在这种类型的摘要中有许多技术;这些技术包括基于模板，基于图形，基于语义，数据驱动，机器学习和神经网络。作为一个例子，对于基于模板的方法，[17]提出了一种用于语音行为引导的摘要的技术，通过将语音行为识别处理为利用支持向量机SVM的多类分类问题，分类.他们利用言语行为从交际的角度抓住了推文的基本依据，从而产生了摘要。如图14所示，他们将每条推文与五种言语行为类型（陈述、问题、建议、评论或其他）相关联，并生成概要，将提取的语言材料合并到基于言语行为的句子模板中。图15显示了他们的一个样本模板。[40]同样，当他们提出一种言语行为引导的摘要方法时，也遵循了同样的方法。他们利用朴素贝叶斯分类器的BaggingEnseminar方法;他们识别推文中的言语行为，从推文中分离出关键词和短语，对它们进行排名并将其嵌入到特定的摘要模板中。他们提出的系统架构在图16中示出，该系统架构具有内容规划器（Content Planner）和语言生成器（Linguistic Generator），内容规划器用于选择要并入摘要中的信息，语言生成器用于挑选正确的词来表达该信息。对于基于图的方法[41]，研究了一种通过压缩来以及基于词图从句子中合并信息。他们的技术最初是基于提取摘要，以帮助确定哪些新句子是88法医Moussa等人/Future Computing and Informatics Journal 3（2018）82e 109图第七章关于手机产品的汇总功能的示例可视化[32]。图八、一个真实世界的监测样本[33]。图第九章软件相关问题的快速摘要[34]。更适合纳入最终摘要。 他们的词图的样本显示在图。 十七岁[42]提出了一个基于图形的摘要框架（Opinosis），它可以创建以下内容的简洁抽象摘要：图10. 基于图形的意见跟踪系统样本[35]。法医Moussa等人/Future Computing and Informatics Journal 3（2018）82e 10989图十一岁使用OSVS的意见摘要和可视化[10]。见图12。[36]第三十六话高度冗余的意见，它利用浅NLP和期望没有领域知识。他们的框架由四个阶段组成（生成有效路径、路径评分、折叠路径，最后生成摘要）。具有三种独特性质（冗余捕获、有缺口的子序列捕获、可折叠结构）的样品Opinosis图显示在图18中。Opinosis的关键思想是，它首先构建要汇总的文本的文本图，然后探索并评分要用于生成候选抽象摘要的各种子路径。关于Opinosis方法值得注意的一点是，它可以被认为是提取摘要，但具有抽象摘要的味道。图13岁合作意见样本[37]。这两种方法提出的参考文献。[41]和[42]具有[43]在其基于图形的技术中处理的缺点，该技术生成冗余意见的摘要。它利用情感分析，通过压缩和合并基于词图的信息来组合语句。由于他们的技术使用情感分析，它克服了[42]的缺点，即不能融合句子，90法医Moussa等人/Future Computing and Informatics Journal 3（2018）82e 109图14个。言语行为类型与实例[17]。图15个。抽象总结的样本摘要模板[17]。图十六岁基于模板的抽象摘要架构[40]。可能由于缺少预先存在的连接器而被熔合。它还克服了[41]的缺点，即由于使用的策略和语法义务而丢失了许多有价值的信息，并且它也克服了冗余句子问题[43]。的方法基于三个步骤：词图，确认句子正确性，并获得抽象摘要（基于冗余度的路径评分，融合情感，然后使用Jaccard索引进行相似性度量来摘要并去除重复句子）。另一种基于图形的方法是[44]，法医Moussa等人/Future Computing and Informatics Journal 3（2018）82e 10991图十七岁文字图形表示的示例[41]。提出了一种基于语篇结构的产品评论摘要系统。他们在框架的内容选择阶段使用了基于重要性和方面之间关联关系的图模型（图19他们的框架依赖于评论的语篇结构和语篇关系来推断方面的意义及其之间的联系[45]。在他们的多文档摘要方法中使用词图，该方法使用基于多句子压缩的线性规划ILP，他们最初识别多文档集中最重要的文档，并将最重要文档中的句子与其他文档中的句子对齐。然后，他们使用词图结构从句子中生成K-最短路径（图20）。最后，他们采用整数线性规划对于基于语义或概念级的方法，[3]提出并评估了一种用于超简洁意见抽象摘要的概念级方法。他们的抽象摘要流水线的阶段如图21所示，其中他们集成了句子文本简化、文本分析、句子再生、内部概念表示、概念分析和摘要以及表面表示。怨恨和句子选择。[46]提出了一个框架（图22），这意味着不是从源文档句子中选择摘要的内容，而是从源文档的语义表示中选择摘要的内容。首先利用语义角色标注进行语义表示，然后对语义相似的谓词论元结构进行分组，最后利用遗传算法对谓词论元结构进行加权排序。[47]提出了一个雄心勃勃的抽象摘要化框架，其目的是从源文件的抽象表示中选择摘要的内容。他们的方法需要对文本进行语义分析以生成信息项（INIT）的概念，并且结合了许多步骤，例如语义角色标记（SRL）、文本的谓词逻辑分析、词义消歧、共指消解和词相似性分析。其工作流程图如图23所示。[48]提出了一种方法，首先从输入文档中构造概念池，然后通过挑选和合并信息短语来构造新句子，以最大化短语的显著性，同时满足句子构造约束。他们使用整数线性优化。对于基于机器学习的方法，[49]提出了一种通过无监督学习生成抽象的超简洁意见摘要的方法。他们把它当作优化问题，他们的目标是找到一组简洁而独特的短语，这些短语是可读的，并代表文本中的关键观点。他们使用贪婪算法通过启发式修剪系统地探索解空间来解决这个优化问题。作 为 数 据 驱 动 方 法 的 一 个 例 子 ， Facebook AIResearch[50]提出了一种完全数据驱动的抽象句子摘要方法（源代码可用15），名为NAMAS。他们的模型是基于神经注意力的依赖于神经机器翻译的模型。他们主要关注新闻标题生成，并结合基于标准前馈神经网络语言模型（NNLM）的语言模型[基于[51]]来估计下一个单词的上下文概率，并结合上下文输入编码器[基于[52]]。他们使用了许多编码器，如词袋编码器，卷积编码器和基于注意力的编码器，并使用GPU进行训练。最近，IBM Watson提出了NAMAS的后续方案，[53] 它具有迷人的附加技术，并很好地提高了性能。他们铸造抽象的文本摘要(ILP)信息最大化模型最后摘要的内容和可读性15http：//facebook/NAMAS。92法医Moussa等人/Future Computing and Informatics Journal 3（2018）82e 109图18.样本Opinosis图[42]。并将注意力编码-解码递归神经网络框架应用于该问题。它们将源文档中的输入单词序列映射到称为summary的目标单词序列。他们的工作是基于许多模型（1-具有注意力的编码器-解码器，2-大词汇技巧，3-词汇扩展，4-丰富词汇的编码器，5-切换生成器/指针，6-具有分层注意力的分层编码器）。这些模型中的每一个都解决了抽象摘要中的特定问题，从而进一步提高了性能。也有人尝试将抽象和提取技术混合在一起，例如[41]，他们证明了提取和抽象信息的组合是生成摘要的更合适策略。和 [五十四] 谁 建造 一 混合 抽象/提取总和结合自然语言生成和 突出句子选择技巧 它首先选择突出的报价从输入的评论中提取，然后将它们嵌入到自动生成的抽象摘要中，以在抽象总结中使用的数据集的例子是：阿片类药物数据集[42];一个主题导向的意见汽车，酒店和产品的句子（公共数据集16），TGSum数据集[55];由tweets引导的多文档摘要数据集（公共数据集17），Hu和Liu数据集[56];从Amazon.com和CNet（公共数据集18）获得的12种产品的客户评论，一个大型语料库的中文短文本摘要数据集开发的中国微博网站新浪微博（公共数据集19），文档理解会议DUC数据集 20[2001e2005] 和 文 本 分 析 会 议 TAC 数 据 集 21[2010e 2011] ，Gigaword数据集，22收集的关于Twitter上最新趋势主题的推文，收集的评论来自Amazon.com和WhatCar。23在 这 类 总 结 中 使 用 的 评 估 方 法 是 用 于 Gisting 评 估ROUGE[57]的回忆导向替代研究，金字塔方法[58，59]。和16http://kavita-ganesan.com/opinosis-opinion-dataset。17http://www4.comp.polyu.edu.hk/~cszqcao/。18https://www.cs.uic.edu/~liub/FBS/sentiment-analysis.html#datasets。19http://icrc.hitsz.edu.cn/Article/show/139.html。20http://duc.nist.gov/data.html。21https://tac.nist.gov/data/index.html。22https://catalog.ldc.upenn.edu/ldc2012t21。23http://www.whatcar.com。法医Moussa等人/Future Computing and Informatics Journal 3（2018）82e 10993图19号。参考文献中内容选择阶段使用的图表[44].图20.从句子生成词图[45]。除了所使用的进动、召回和F分数测量之外，还有源复制率度量，其是在源中出现的系统概要中的令牌的百分比，以测量抽象的百分比（越低越好）。此外，DUC/TAC可读性标准是信息性（传达的信息量）及其可读性（语言质量、语法性、非冗余性、指称清晰性、焦点、结构和连贯性）被使用。从事抽象概括和观点研究的研究人员还处理极性（积极/消极/中性）和强度（高/中/低）。一些人工评估是基于使用众包服务的成对偏好，例如crowdflower 24[人在环]，其中评级者被特别指示他们的评级应该表达“对摘要提供的信息的总体满意度”。其他人工评估使用亚马逊土耳其机器人众包系统25[人类智能任务]。其他人使用Microsoft N-gram服务26，该服务考虑了系统生成的短语的可读性的近似判断[42，49]，还引入了可读性测试以了解他们的系统摘要是否实际上可读，他们将来自系统摘要的句子与来自人类黄金标准摘要的句子混合，并要求人类评估员挑选句子24http://www.crowdflower.com。25http://www.mturk.com。26http://web-ngram.research.microsoft.com。94法医Moussa等人/Future Computing and Informatics Journal 3（2018）82e 109¼图21岁抽象总结过程的阶段，如参考文献。[3]的第11段。图22.基于语义角色标注的多文档摘要[46]。至少是可读的，那么如果人类评估员大部分时间都选择它们，则系统摘要被认为可读性差。尽管人们已经做了大量的研究，但摘要的语言质量仍然不尽如人意[39]。这类摘要的未来工作包括：通过在提取关键词和短语的过程中结合关键词和短语的上下文来增强摘要的可读性，通过使用释义技术来增强质量，通过解决短语级别的冗余来增强连贯性，为由多个句子组成的摘要建立更健壮的模型，通过以数据驱动的方式改进摘要的语法来提高语法质量，提高时间效率，使用词义消歧，更深的语义，回指解析，以及规范非正式语言。基于模板的方法中的增强包括锁定单个名词和动词，并应用适当的动词变位，例如[建议语义图的增强包括将图与语义角色标记集成以构建用于多文档抽象摘要的语义图，通过使用类似的思想来覆盖解析树或通过使用抽象含义表示（AMR）图在深层语义级别对句子进行分组，加上重新定义INIT（信息项）以便它们可以被操纵（比较、分组、实现为句子等）。更高效地未来研究的另一个潜在领域是：根据用户需求个性化摘要的能力，地理邻域的使用，通过使用预先存在的提取技术来提高召回率和抽象技术来提高摘要的精确度，通过跟踪在不同日期发布的相同标签来合并抽象和更新摘要技术，从Twitter学习句子压缩技术。在自动文本摘要的过程中利用深度模型仍然很少见，但现在研究人员已经非常接近法医Moussa等人/Future Computing and Informatics Journal 3（2018）82e 10995图23岁抽象总结的工作流程图见参考文献。[47].利用深度学习方法生成抽象摘要[39]。增强功能包括使用层次递归神经网络RNN，特别是在使用基于单词的输入时修复罕见单词问题，使用神经生成模型，如神经翻译机（NTM）[60]。5.3. 基于AKA的意见摘要“基于特征的意见摘要。“基于方面的摘要系统可以被认为是一个多文档摘要系统，它根据目标项目的不同方面或特征对文档进行总结[12]。图24显示了Kim等人[18]对基于方面的摘要中的三个步骤的简要解释。图25显示了Yang等人[61]在2009年提出的使用客户情绪、特征发生率和评论率的产品评论总结的一般方法。[8] 提出了一种基于句子选择的意见摘要框架。他们评估了总结在方面覆盖和观点保留方面的质量。他们还预测了评论的有用性，同时考虑到了Reddit和Coverage。他们将他们的方法与其他三种基线方法在方面覆盖和极性分布保留方面进行了比较。[12]使用了监督和无监督极性检测技术之间的混合方法，用于多文档的基于产品的情感摘要，减少了两种技术的一些缺点。他们创建了许多领域相关词典，并利用主题检测算法来检测不同的领域。他们的算法的优点包括能够识别新添加特征，其缺点是精度低于手动检测。[62]提出了一种基于特征的意见摘要方法，该方法基于名词、形容词、动词和副词计算整个产品及其特征的0到1之间的程度。[9] 提出了一个以实体为中心的基于主题的意见汇总框架，该框架突出了意见背后的洞察力。他们将#hashtags作为 弱 监 督 信 息 纳 入 主 题 建 模 算 法 ， 然 后 采 用AffinityPropagation算法将#hashtags分组为连贯的主题。[63]提出了一种用于情感摘要的特征评估（FESS）的技术，其旨在收集关于这些句子的相关性的句子的用户评估。他们发现，有支持论点的固执己见的内容片段在摘要中使用是有效的。[64]展示了一个总结餐馆和酒店图26中给出了系统的总体概述，其中它们的摘要器提取了按方面和情感组织的评论的简明样本，并提供了方面级别的定量和定性数据这类摘要中使用的数据集示例这些评论包括来自Amazon.com产品评论、由一组人工注释者注释的关于“iPhone”的推文未来的工作包括嘲弄的检测，发现更多的语义特征，建立一个多领域的上下文相关的词典，增强现有的方法来提高召回率，实验与其他实体比产品，给出一个给定的主题正常的文本摘要96法医Moussa等人/Future Computing and Informatics Journal 3（2018）82e 109图24岁基于方面的意见总结的一般三个步骤[18]。图二十五使用用户意见总结产品评论[61]。研究#hashtags的语义，尝试不同的语料库和语言，并找到构成一个体面的摘要的句子组合。5.4. 以查询为中心的摘要（Aka）“基于搜索的摘要。“自动摘要用户生成的在线帖子，如社区QA和博客提出了新的挑战，他们比产品评论更广泛的主题[65]。这些挑战包括如何检索查询相关句子，如何覆盖文档中的主要主题，以及如何平衡这两个请求[66]。[65] 设计了一个基于社区问答和博客数据的意见摘要框架。他们提出了一个考虑相关性、覆盖范围和非冗余的目标函数。[67]提出了一种基于句子压缩来处理这种类型的摘要法医Moussa等人/Future Computing and Informatics Journal 3（2018）82e 10997图26岁一个用于本地服务评论的情感摘要系统[64]。他们的框架由三个步骤组成：用于计算句子重要性的句子排名、用于产生连续排名的句子的句子压缩、以及用于共指消解和句子重新排序的后处理。他们的方法的特殊之处在于，他们在基于树的压缩函数中将查询相关性、内容重要性、冗余和语言质量的度量加入到压缩阶段。[68]利用一些矩阵分解方法，即加权原型分析（wAA）来查询聚焦的多文档摘要（图27）。他们将合成数据集显示为无向句子相似性图，其中节点表示句子，边表示连接节点之间的相似性，并且每个句子都连接到给定的查询，如图所示。 28岁。[66] 研究了以查询为中心的多文档摘要，重点关注相关性，覆盖范围和新颖性。他们提出了一个概率建模相关性，覆盖率和新颖性（PRCN）框架来建模主题相关性，图27岁。使用wAA的以查询为中心的MDS方法[68]。覆盖率;他们构建了一组功能来描述相关性，新颖性和主题平衡，无论是从文档还是从查询的角度。他们还提出了一个贪婪的主题平衡算法，用于句子排名和提取。[69]为Twitter提出了一个探索性搜索和主题总结的系统，称为TweetMotif27（开源28）;他们通过频繁的重要术语组装消息。TweetMotif提取一组主题进行聚类并总结这些消息。[70]提出了一个查询特定的意见摘要系统QOS。他们的系统（如图29所示）给出了一个与输入问题所描绘的情感和目标相关的摘要。他们利用基于LSI的策略来对与查询相关的句子进行评分，利用基于词典的方法来确定句子的意见倾向，并利用多样性惩罚来去除冗余。这 类 摘 要 中 使 用 的 数 据 集 示 例 包 括 Yahoo ！ 来 自Yahoo！Webscope程序，DUC 2005[71]，DUC 2006[72]，DUC 2007[73]，TAC 2008语料库[74]，参考文献[75]的数据集，以及满足以下标准的杂项主题（频率对比，主题多样性，主题大小和少量主题）。未来的工作包括改进加权原型分析wAA的性能，使用复杂的查询处理/扩展技术，使用WordNet计算句子之间的语义相似度，引入强调n-gram、短语和语义角色参数级别等关系的多层图模型，将以查询为中心的摘要技术应用于其他摘要任务，如更新和比较摘要。开发基于LDA（潜在狄利克雷分配）的文档摘要模型。并研究了意见排序和摘要方法，特别是在意见搜索中的应用。5.5. 实时事件摘要（Aka）“一个事件暗示了任何引起群众关注的利益概念。例子包括世界范围的灾害，如地震、政治抗议或动乱，27http://tweetmotif.com/about。28https://github.com/brendano/tweetmotif。98法医Moussa等人/Future Computing and Informatics Journal 3（2018）82e 109图28.句子相似度图[68]。图29.查询特定意见摘要系统[70]。新客户项目的调度[14]。在社交媒体中，实时事件搜索和对事件识别的要求提出了一个关键问题[76]。实时事件可以是预定事件或非预定事件