电商评论中提取有趣摘录的方法与挑战

第六届社交媒体自然语言处理国际研讨会WWW 2018，2018年4月23日至27日，法1669BlurbMining：从电子商务产品评论中发现有趣的摘录萨拉钱德拉·因德拉坎蒂eBay Inc.加利福尼亚州圣何塞sindrakanti@ebay.com贾尼特·辛格eBay Inc.加利福尼亚州圣何塞gysingh@ebay.com贾斯廷·豪斯eBay Inc.加利福尼亚州圣何塞juhouse@ebay.com摘要现代电子商务网站上的产品评论已经发展成为对产品有价值的第一手意见的以简洁的方式展示评论者对产品的意见，不仅可以推广产品，还可以提供一种吸引人的体验，简化在线购物者的购物旅程在电影和书籍等传统媒体的情况下，出于促销目的而使用导语或评论家评论的摘录是电影公关人员和书籍编辑的既定做法，这已被证明是吸引客户注意力的有效方法这样的摘录可以从电子商务产品评论中发现，以突出有趣的评论者意见，并向原本平淡无奇的电子商务产品页面添加情感元素。虽然传统的电影或书籍简介是手动提取的，但由于目录的规模，它们必须从电子商务产品评论中自动提取此外，传统的导语通常被措辞为语气非常积极，并且有时可能会将一些词语从上下文中取出然而，电子商务产品的摘录必须代表评论者的真实意见，并且必须捕捉使用这些词语的上下文，以保持用户的为此，我们在本文中介绍了从电子商务产品评论中提取引人入胜的摘录的问题我们提出的方法来自动发现这样的摘录，从评论的规模，利用自然语言的属性，如句子的句法结构和情感，并讨论了一些潜在的挑战。我们进一步提出了一个评估所提出的方法的有效性，在质量的blurbs产生和他们的排名顺序。CCS概念• 信息系统→信息提取;情感分析;总结;·计算方法学→语言资源;关键词Blurbs，意见挖掘，产品评论，Aspect挖掘，电子商务，情感分析ACM参考格式：Saratchandra Indrakanti，Gyanit Singh和Justin House。2018年。Blurb挖矿：从电子商务产品评论中发现有趣的摘录。在本文在知识共享署名4.0国际（CC BY 4.0）许可下发布。作者保留在其个人和公司网站上以适当的归属方式传播作品的权利。WWW©2018 IW3C2（国际万维网会议委员会），在知识共享CC BY 4.0许可下发布。ACM ISBN 978-1-4503-5640-4/18/04。https://doi.org/10.1145/3184558.3191626WWWACM，New York，NY，USA，7页。https://doi.org/10的网站。1145/3184558.31916261引言从评论家的评论或简介中摘录作为促销工具，在出版和媒体行业已经是一种长期的做法。电影观众和图书读者经常会在电影广告中看到“本季必看电影”或书籍封面上的“每一个字都有巨大的价值”等摘录电影公关人员和书籍编辑精心挑选这样的摘录，讲述吸引潜在观众并激起他们兴趣的主题的某些特征[5]。近年来，各种消费品的网站一直在引用专家评论的摘录作为产品的促销有趣的摘录或简介的组合，吸引观众以及评论作者的可信度，可以吸引客户对产品的注意力简介的概念，传统上用于媒体和出版业，很容易借给自己的现代电子商务网站。现代电子商务网站在其平台上列出了大量的产品目录，为客户提供了广泛的选择。这些产品中的许多吸引了来自购买者的大量评论，这些购买者分享了他们使用产品的第一手经验在线购物者越来越依赖产品评论来做出购买决定。然而，由于这些网站上列出的产品种类繁多，产品页面上的内容也越来越多，期望购物者阅读所有产品评论变得越来越不现实这就需要引入技术，以简洁和个性化的方式展示关于产品的意见，不仅可以吸引用户的注意力，还可以改善他们的购物体验。为此，在媒体行业中广泛使用的简介非常适合电子商务产品。例如，“伟大的故事和宏伟的图形！”，一个视频游戏评论中的简介，或者“图像超级清晰，噪音控制很好”，一个相机简介，提供了简洁而翔实的产品一瞥。通常，广告语是由出版商从评论家的评论中精心挑选的然而，在电子商务产品的情况下，这是不可能的，因为现代电子商务平台的规模可能有数亿种产品列在其目录中。必须开发方法来自动发现和提取大规模的电子商务产品评论中的简介有几个区别，blurb挖掘方法必须注意。首先，虽然电影或书籍的简介是已知的第六届社交媒体自然语言处理国际研讨会WWW 2018，2018年4月23日至27日，法1670图1：在电子商务产品页面为了解释原始评论[2]，并且偶尔表示脱离上下文的词语，电子商务产品简介确保摘录的上下文被保留并且避免夸张以保持用户对平台的信任此外，在电子商务网站的情况下，目标是为给定产品找到诱人的除此之外，导语不一定必须是整个句子，而是可以是句子的简洁摘录，确保它们保留上下文，这与许多现有的提取摘要任务不同。特别是，注意到评论者经常写长句，其中他们可能讨论多个主题，重要的是要识别句子的摘录，以确保简介简洁并集中在一个主题上。除此之外，广告语必须包含特定于产品的观点，而不是一般性的陈述，以便它们可以为在线购物者提供信息。例如，摘录在本文中，我们介绍了自动发现的问题，ING导语从产品评论。我们将描述所开发的为了从产品评论中挖掘导语，我们识别包含特定产品意见的摘录，然后对它们进行排名以发现最好的评论。我们采用了三个阶段的过程，包括方面挖掘，摘录提取和摘录排名来实现这一目标。我们首先发现产品的方面，或属性的评论中讨论的产品，方面挖掘的一部分，通过聚集词的依赖关系，从句子依赖结构的审查句子。我们保留对已确定的方面表达意见的句子。接下来，我们从这些句子中提取摘录，同时保留上下文作为except提取的一部分。然后训练监督学习模型，以基于人群的智慧、主题的流行度和句子质量对摘录进行排名，以挑选最准确、清晰和一致的摘录。我们提出并评估所提出的方法的有效性，在质量方面的提取blurbs和产生的排名，在评估部分。电子商务产品的blurb挖掘问题可能与提取摘要和意见挖掘有一些共同点，但也有几个方面的不同，需要开发专门的方法。提取式摘要涉及通过基于特定于应用的重要性度量对句子进行评分来识别文本主体中最重要的句子。虽然blurb挖掘涉及对摘录进行排名，但它在几个主要方面有所不同。首先，在提取摘要中，对句子进行评分，而导语不一定是完整的句子，而是句子的摘录。其次，导语必须捕捉特定于产品的意见，可能不适合作为一般性的句子。此外，与摘录摘要不同，blurb挖掘的目标不是生成评论摘要，而是发现最翔实、最有说服力和最简洁的摘录。换句话说，blurb挖掘的目标是摘录的狭窄但简洁，而不是摘要中主题的完整性。意见挖掘的重点是从文本中提取意见和意见目标。与意见挖掘类似，blurb挖掘侧重于识别特定于产品的意见和产品方面。然而，除此之外，blurb挖掘还涉及从包含观点和产品方面的句子中提取摘录。此外，必须对提取的固执己见的摘录进行排名，以发现传达流行和一致同意的主题的最有影响力的简介。因此，我们提出的方法，专门专注于发现有趣的广告语从电子商务产品评论。本文的贡献可概括如下：我们介绍了新的问题，从电子商务产品评论的blurb挖掘，并讨论了在开发一个可扩展的解决方案及其潜在的影响所涉及的挑战。我们提出了可扩展的方法来发现从产品评论是诱人的，产品特定的和简洁的简介。2相关工作摘要在传统媒体如书籍、电影等的宣传中，广告语被广泛使用[7]和[8]的作者提供了电影宣传员和最近的消费品促销员通过引用专家或评论家的评论，在产品网页上然而，在此上下文中的简介是由公关人员或编辑手动选择和措辞的。我们不知道任何自动化的过程中，blurb生成的规模或方法在这方面发表然而，包括电影评论、餐馆评论和电子商务产品评论在内的在线客户评论已经引起了研究界的极大兴趣。电子商务网站上的产品评论，这是本文的主题，已被广泛研究，一般和文本挖掘社区具体。一些研究人员专注于观点挖掘[12]，情感分析[24][15]和产品评论摘要[1][30]。具体来说，基于产品特征的观点挖掘和提取摘要是与blurb挖掘共享的领域。产品评论简介预计将讨论产品的具体方面，因此建立在基于产品功能的意见挖掘。在意见挖掘领域，研究人员在过去的十年中提出了几种基于评论者意见的产品方面提取模型。已经提出了各种监督、非监督和半监督模型来从评论中识别固执己见的产品方面[10]的作者首先介绍了一种基于频繁项集挖掘的无监督模型其他无监督方法包括利用PMI统计[10]，基于规则的方法，采用句子依赖树上的语言模式[22]，基于图形的方法，捕获单词··第六届社交媒体自然语言处理国际研讨会WWW 2018，2018年4月23日至27日，法1671∈联系我们依赖关系[29]，以及自动推断要应用于依赖关系树[13]的规则的模型等。主题模型的不同变体包括多粒度主题模型，其扩展了主题建模技术，例如LDA和PLSI，以提取产品的局部和全局方面[25]，以及扩展PLSI [17]的概率图形模型半监督模型，如[23]，[18]，[28]已经被引入，通过使用特定领域的种子词集来引导某些无监督模型走向更精确的方面已经提出了几种监督模型来从评论中提取方面，例如[11]基于条件随机场和基于卷积神经网络的模型[21]。[27]的作者提出了一种基于方面排名和分组的方法，以帮助卖家在电子商务网站上为产品撰写促销我们采用一种无监督的方法来发现可以用于blurb生成的方面，以便开发一种扩展到大量不同电子商务产品类别的方法提取摘要是文本挖掘的另一个领域，它与导语挖掘中涉及的一些任务有关提取摘要技术已被开发用于各种领域，包括在线评论情感摘要[26]，餐厅领域[20]，生物医学领域[16]和学生课程反馈[14]。在[19]中提供了对提取文本摘要技术的调查摘要提取领域的主要任务之一是通过适当的重要性度量来识别文本几种句子评分技术的比较研究见[6]。3方法在本节中，我们将详细介绍用于从电子商务产品评论中挖掘导语的3阶段方法。具体来说，我们描述的方面挖掘，摘录提取和摘录排名- ING步骤。我们首先发现产品方面，或词汇表上的产品特定的意见已表示使用方面挖掘中描述的方法。然后，我们保留那些出现已发现产品方面的评审语句。复习句子往往很长，包含了几个不同的讨论主题和表达的观点为了识别句子的简洁和主题集中的部分，我们应用摘录提取技术，该摘录提取技术返回捕获相应产品方面和观点的上下文的被训练以发现有趣摘录的监督学习模型被应用于对所识别的摘录进行排名并发现有趣的简介。图2提供了该方法的概述。3.1Aspect挖掘与一般性陈述相比，获取特定于产品的意见的摘录对用户来说更具信息性。为了识别这些特定于产品的摘录，我们首先从评论内容中发现产品方面。方面是在评论中讨论的产品的属性或特征，评论者对此发表意见。它们也被称为意见挖掘领域中的意见目标。例如，快门速度、光圈、变焦范围可以是相机评论中讨论的方面。考虑以下视频游戏评论的摘录：“引人入胜的游戏性和故事情节美丽的图形”。评论者表达了对游戏方面令人信服的意见。发现方面候选数据的挑战此外，为了量化所识别的方面的重要性，必须汇总评审者对这些方面表达的集体意见因此，该任务首先需要识别观点和目标词候选项，然后将它们聚合以量化评论者的强调。我们利用句子依赖树的属性，从每一个审查的每一句话中提取方面的候选人。句子依赖树捕获组成句子的单词之间的语法关系。依赖关系是被识别为中心词（通常是动词）的词与其从属词之间的二元不对称关系[4]。关系的性质由与连接关系中的两个词的边相关联的依赖性标签表示。例如，图3描绘了以下句子的依赖关系树：“相机一般，但晚上拍出来的照片不错。”. 相关性树的详细描述可以在[4]中找到。开源库Spacy [9]由于其速度和准确性的结合而被用于生成依赖树[3]。保留标点符号，并且在产生依赖关系树之前不执行预处理，因为词形分解或其他预处理步骤可能影响依赖关系树生成的准确性。从一个给定的句子构造的依赖关系树，我们选择那些依赖关系，捕获候选方面。具体来说，我们确定的依赖关系，捕获的方面之间的关系和与方面相关联的意见方面候选根据下面描述的一组依赖性规则R来识别，其中一些规则已经由[22]的作者定义，其确定单词是否是方面候选。(1) 名词n是一个体，如果n和另一个词a之间存在父子关系，并且a是形容词或副词。在这里，满足这个条件的词的集合a构成意见。(2) 形容词-副词同级规则：如果有一个词a与同一个父词（中心词）共享，并且a是形容词或副词，则选择名词n作为宾语，选择a作为观点。(3) 如果一个词v与一个名词n有直接的宾语关系，并且v是一个动词，那么n被选为一个体，v是观点。(4) 如果一个动词v有一个名词n作为父项（中心词），并且v与另一个词a有父子关系，a是一个形容词，那么n被选为一个体，a是观点。(5) 如果一个名词 n1与另一个名词n2处于连词关系或介词关系，而n2与一个形容词a处于父子关系，n1被选为与a存在的体(6) 如果一个词v与另一个词a处于开放的从句关系，其中v是动词，a是形容词或副词，那么选择v作为体，选择a作为观点。给定一个句子s，它的依存树Ds：depw1，w2，wherew1，w2s是句子s中具有依赖关系dep的任意两个单词。方面候选α满足第六届社交媒体自然语言处理国际研讨会WWW 2018，2018年4月23日至27日，法1672⟨⟩图2：blurb发现方法概述3.2摘录提取如前所述，简介必须包含特定于产品的内容，同时长度要短为此，保留出现方面的评论句子以考虑用于导语生成。然而，这些句子中的许多句子可能很长，需要方法来提取讨论方面和相关观点的摘录，然而，阅读起来是连贯在本节中，我们描述了一种摘录提取技术，该技术从不长于指定长度的句子中识别连贯的摘录，并捕获给定的方面和相关联的观点。选区解析（也称为“短语结构解析”）的目标成分结构是基于观察词与其他词结合形成单位。选区解析树将syn-tax组织成选区。图3：针对示例评论句子“相机是平均的，但是它在晚上会拍出相当好的照片”生成的句子依赖关系树。. 节点是句子中的单个单词，而边表示单词之间的依赖关系R中的至少一个规则与相关联的意见词和依赖性一起被选择。 返回令人满意的关系dep Oα，α，其中Oα是与α相关联的意见项。图4显示了为例句选择的依赖关系。所选择的方面候选及其相关联的意见被聚集以量化它们的重要性，如由审阅者共同表达的。体可以出现的频率是衡量其重要性的一个简单尺度。然而，这可以扩展到诸如与方面候选相关联的聚合情绪的度量生成一组方面及其重要性的度量图4：在示例语句上应用依赖树修剪算法后返回的依赖关系。图5：基于句子解析树的摘录提取的图示。摘录，用红色圈出 ， 由 方 面 重 量 和 平 衡 组 成 ， 从 句 子 “The weight andbalance of the club are good for my swing and it gives mea sense of confidence”的解析树中提取建议的摘录提取技术利用一个句子的成分句子解析树来识别连贯的摘录。成分分析树基于单词与其他单词组合以形成语言结构的观察来将句法结构组织成成分。它们有助于识别文本中的短语。Stanford分析器用于生成给定句子的选区分析树 图5示出了为句子“The weight and balance of the clubare good for my swing and it gives me a sense of confidence”生成的解析树。 给定一个方面α和在句子中表达的相关观点Oα，以及一个指定的摘录中允许的字数上限k，返回满足以下条件的具有最大叶数的 子 树 τ 。第六届社交媒体自然语言处理国际研讨会WWW 2018，2018年4月23日至27日，法1673(1) 子树τ的根必须是句子或从句（S）或名词短语（NP）(2) 子树τ最多可以有k个叶子(3) 方面α和观点Oα是子树τ为了识别要返回的子树，首先从树中检索方面和返回以所选择的共同祖先为根的子树，并且其叶子构成所提取的摘录。对于图5中描绘的示例句子，权重和平衡是已经表达意见良好的方面，并且为了说明的目的，令k=要返回的子树必须最多有15个叶子，根的子树必须是S或NP，并且必须包含叶子的重量，平衡和良好。图5中以红色突出显示的子树被返回，其表示该句子的摘录3.3摘录排名我们打算在候选摘录中发现用户最感兴趣的摘录，并将其作为简介呈现我们训练了一个监督学习模型，通过利用群体智慧来代表主题的受欢迎程度和句子质量，以选择最有趣，准确和一致的摘录，来帮助对摘录该模型经过训练，以识别有趣的摘录和不有趣的摘录 学习问题被公式化为分类问题，其中学习器被训练为将摘录分类为有趣的、中性的或不有趣的。在训练模型时使用了几个句法、语法、基于情感和评论特定的特征。原始评论句子和摘录中的词的词性标签用于构建捕获形容词、副词、名词和动词的数量的基于摘录中的方面和观点术语之间的依赖关系的特征文本特征，如字符长度，在句子和摘录，相应方面的tf-idf分数和它的出现频率之间的摘录候选中的字数。此外，句子的积极、消极和复合情感用于捕获评论者情感。除此之外，还使用产品和评论特定的特征，例如评论者提供的评级、产品的总体评级以及产品的正面和负面评级具体地，与评论内的方面相关度量相关的特征以及量化情感的那些特征旨在帮助分类器学习有趣的摘录。训练基于梯度提升树的分类器以将摘录分类到上述类别。将摘录属于感兴趣类别的分类器预测用作对摘录进行排名的度量4评价在这一节中，我们提出了评估的建议方法的blurb提取和排名。具体来说，我们评估的质量提取的广告和有效性的排名确定这些广告。为了生成针对每个产品的经排名的简介集合，首先，从针对该产品的评论中发现产品特定的方面接下来，具有指定的长度上限的摘录（将在本节中呈现的评估中的8个单词）是从包含所发现的方面的评论句子中提取这些摘录排名与人类注释的电子商务导语语料库上训练的分类器的帮助该过程连同表1中生成的简介的一些示例一起被示出。为了便于评估，我们策划了一个评估数据集，其中包括从20个不同的电子商务产品类别中抽样的25种产品的简介，包括笔记本电脑，智能手机，书籍，电影和体育用品。这些产品中每种产品的简介由3名独立的人类评价者标记。要求评价者将简介标记为有趣、中性或不有趣，与摘录排名阶段使用的标签一致不相关的、不适当的构造或缺乏适当的上下文的模糊被标记为不感兴趣。向评价者提供产品标题和描述。大多数人的一致意见被采纳为导语的标签。首先，我们评估提取的简介的质量。我们确定已被分类为有趣的，评估者标记为有趣的导语的比例。针对评估数据集计算Precision@k值，其中k是计算中考虑的顶部简介的数量。图6（a）示出了针对k=[2，14]获得的范围从0. 71比0 48.接下来，我们评估为简介生成的排名顺序的质量。为此，我们使用NDCG指标。图6（b）示出了针对k=[2，14]的评估数据集获得的NDCGOk值。 NDCG值的范围为0。94比0 88、从图中可以看出。获得的精度和NDCG值表明，虽然发现的blurbs的排名顺序是令人满意的，但提取的blurbs的质量还有改进的余地。对在导语提取中发生的误报的分析揭示了误报的两个主要来源。首先，不是非常特定于产品但本质上是通用的摘录可能对在线购物者来说不是信息性的，不被认为是有趣的简介。例如，来自膝上型计算机的产品评论的摘录这样的假阳性是方面挖掘中的假阳性的结果。第二类误报是那些不连贯或不代表句子的上下文的误报。例如，摘录这种假阳性是摘录提取中的错误的结果。歪曲原文的摘录可能是与另一个产品进行比较、使用语法从句（如对比连词，如however或but）或使用否定的结果其中一些已知是自然语言中具有挑战性的问题。此外，虽然出于说明的目的，我们已经使用8个单词作为摘录长度的上限，但是这可以基于底层应用而变化。上限的变化将影响所生成的简介的质量和所生成的排名顺序的有效性。虽然，这是本工作的背景下，上限的长度上的blurb的影响的分析可以进一步探讨。第六届社交媒体自然语言处理国际研讨会WWW 2018，2018年4月23日至27日，法1674产品方面复习句子Blurb视频游戏故事情节英文名称：Blood Omen：Legacy of Kain有很棒的画面和具有挑战性的故事情节。伟大的图形和具有挑战性的故事情节GPS单元屏幕这是一个伟大的单位，是非常容易操作而且屏幕非常容易看到和工作。屏幕非常容易看到和工作钻重量这是一个强大的重量轻无绳钻。大功率轻型无绳电钻书建议它有很好的简单的真实的建议，有一种脚踏实地的感觉，任何人都可以从头到尾跟着这本书。好的、简单的、真诚的建议表1：示例评论句子的简介生成的图示。这里，示出了针对给定评论句子的对应的产品特定方面和提取的摘录。图6：显示针对评价数据集计算的（a）Precision@k和（b）NDCG@k值的图这里k是被考虑用于NDCG计算的顶部简介的数量。5总结使用归因于专家或评论家评论的导语来捕捉观众的兴趣并推广产品的做法在书籍和电影领域已经普遍存在很长一段时间了。这个概念在其他领域得到越来越多的采用，例如消费品网站，其中专家评论的摘录用于鼓励购物者探索产品。随着产品评论在大多数现代电子商务平台上的日益突出以及在线购物者对评论的日益依赖，向电子商务产品引入简介似乎是自然的。在电子商务产品评论的上下文中，除了突出对产品的有趣评论者意见之外，当面对无数的产品选择时，导语可以简化购物体验传统上，导语是由图书编辑或电影出版商精心挑选的。然而，由于具有数亿产品和产品评论的现代电子商务网站的规模虽然文本挖掘领域的研究人员已经提出了几种专注于评论挖掘的方法，特别是协助意见挖掘，情感分析和总结的任务，但尚未探索产品评论中的blurb挖掘。虽然blurb挖掘与这些方法有一些共同点，但这项任务在几个关键领域有所不同Blurb挖掘涉及识别特定于产品的摘录，重点是识别保留上下文的简短摘录，而不是完整的句子。此外，blurb挖掘的目标是识别有趣和诱人的摘录，而不是总结的评论。此外，在电子商务平台上保持用户信任以保留意见的上下文并且在识别句子摘录时不歪曲它们是至关重要的这些独特的挑战，再加上电子商务网站上的产品目录的规模和多样性，有必要开发针对性的方法，用于blurb挖掘。在本文中，我们介绍了从电子商务产品评论中挖掘广告语的问题具体来说，我们提出的方法，首先发现产品的具体方面的评论，下一个从合格的审查句子产生摘录，然后排 名 他 们 选 择 有 趣 的 。 我 们 分 别 使 用 precision@k 和NDCG@k措施评估了提取的blurbs的质量和产生的排名顺序。虽然这项工作的重点是介绍的问题，从电子商务产品评论的blurb挖掘，并提出了一种方法来实现blurb发现和排名的规模，有几个途径，进一步探索和改进。首先，可以进一步探讨摘抄曲解原文句子的问题，特别是强调比较陈述句和带有对比分句和否定的句子。虽然在方面挖掘领域中存在大量的研究，但是将方面挖掘集成到简介发现中的进一步研究可能是有价值的。在这项工作中，我们采用了几个功能有关的方面特定的指标在评论和功能，量化情绪，以协助分类器区分摘录是有趣的对那些一段有趣的摘录，或者换句话说第六届社交媒体自然语言处理国际研讨会WWW 2018，2018年4月23日至27日，法1675简介的吸引力是非常主观的概念，并且可能难以量化。进一步研究如何量化简介的吸引力是有益的。引用[1] Muhammad Abulaish，Mohammad Doja，and Tanvir Ahmad. 2009.用于客户评论摘要的特征和意见挖掘。模式识别和机器智能（2009），219[2] 亨 利·阿 尔 福 德 2007 年 文 学 误 传 （ 2007年 4月 ） 。 2007年 4月 29 日 从http://www.nytimes.com/2007/04/29/books/review/Alford.t.html检索[3] Jinho D Choi，Joel R Tetreault，and Amanda Stent.2015年。它依赖于：使用基于Web的评估工具的依赖关系解析器在ACL（1）中。387-396[4] Marie-Catherine De Marneffe 和 Christopher D Manning 。 2008 年 Stanfordtyped dependencies manual. 技术报告。斯坦福大学技术报告[5] 科林·德怀尔2015.忘记这本书，你读过这本不可抗拒的书吗故事对废话？（9月2015年）。2015年9月27日检索 自 https://www.npr.org/2015/09/27/429723002/forget-the-book-have-you-read-this-irreversible-story-on-blurbs[6] Rafael Ferreira ， Luciano de Souza Cabral ， Rafael Dueire Lins ， GabrielPereira e Silva，Fred Freitas，George DC Cavalcanti，Rinaldo Lima，StevenJ Simske，and Luciano Favaro. 2013.评估用于提取文本摘要的句子评分技术。Expert systems with applications40，14（2013），5755[7] Mª Gea Valor. 2005.广告书：导语的语言学分析。Ibérica10（2005）.[8] Maria-Lluïsa Gea-Valor和Marta Inigo Ros。2009.论体裁的动态性：导语的历时研究在学术评价中。Springer，199[9] 马修·霍尼巴尔和马克·约翰逊2015.一种改进的非单调转换依赖分析系统。2015 年 自 然 语 言 处 理 经 验 方 法 集 。 计 算 语 言 学 协 会https://aclweb.org/anthology/D/D15/D15-1162[10] 胡敏清和刘冰。2004.挖掘客户评论中的意见特征。在AAAI，第4卷中。755-760[11] Niklas Jakob和Iryna Gurevych。2010年。利用条件随机场在单域和跨域环境中提取意见目标2010年自然语言处理经验方法会议论文集。计算语言学协会，1035[12] 刘冰和张磊。2012.意见挖掘与情感分析综述。在挖掘文本数据中。斯普林格，415[13] Qian Liu，Zhiqiang Gao，Bing Liu，and Yuanlin Zhang.2015年。观点挖掘中面向抽取的自动规则选择在IJCAI。1291-1297年。[14] Wencan Luo，Fei Liu，Zitao Liu，and Diane Litman. 2016.学生课程反馈的自动总结。在2016年计算语言学协会北美分会会议论文集：人类语言技术。80比85[15] Walaa Medhat，Ahmed Hassan，and Hoda Korashy. 2014.情绪分析算法和应用：一项调查。Ain Shams Engineering Journal5，4（2014），1093-1113.[16] Rashmi Mishra ， Jiantao Bian ， Marcelo Fiszman ， Charlene R Weir ，Siddhartha Jonnalagadda，Javed Mostafa，and Guilherme Del Fiol.2014年生物医学领域的文本摘要：对最近研究的系统回顾。Journal of biomedicalinformatics52（2014），457[17] Samaneh Moghaddam和Martin Ester。2011. ILDA：从在线产品评论中学习潜在方面及其评级的相互依赖LDA模型。在第34届国际ACM SIGIR会议上，信息检索的研究和发展。ACM，665[18] Arjun Mukherjee和Bing Liu。2012年。通过半监督建模的方面提取第50届计算语言学协会年会论文集：长论文-第1卷。计算语言学协会，339[19] 安妮·南科娃和凯瑟琳·麦基翁2012.文本摘要技术综述。Mining text data（2012），43[20] Patrick Nguyen、Milind Mahajan和Geoffrey Zweig。2007.餐厅领域中的多个 用 户 评 论 的 汇 总 。 Microsoft Research ， Redmond ， WA ， Citeseer（2007）.[21] Soujanya Poria，Erik Cambria，and Alexander Gelbukh. 2016. 使用深度卷积神经网络进行观点挖掘的方面提取。Knowledge-Based Systems108（2016），42[22] Soujanya Poria ， Erik Cambria ， Lun-Wei Ku ， Chen Gui ， and AlexanderGelbukh. 2014.基于规则的产品评论方面提取方法。第二届社交媒体自然语言处理研讨会（SocialNLP）。28-37[23] Guang Qiu，Bing Liu，Jiajun Bu，and Chun Chen.2011年。基于双传播的观点词扩展与目标提取Computational linguistics37，1（2011），9[24] Huifeng Tang，Songbo Tan，and Xuechi Cheng. 2009. 关于情绪审查的检测Expert Systems with Applications36，7（2009），10760[25] 伊万·蒂托夫和瑞安·麦克唐纳。2008年使用多粒度主题模型对在线评论进行在第17届万维网国际会议上。ACM，111[26] 伊万·蒂托夫和瑞安·T·麦克唐纳。2008年一种用于情感摘要的文本和方面评分的联合模型在ACL中，卷。8. 308-316[27] Takaaki Tsunoda，Takashi Inui和Satoshi Sekine。2015.利用评论分析提出产品广告改进建议。第六届主观性、情感和社交媒体分析的计算方法研讨会论文集。41比50[28] Tao Wang ， Yi Cai ， Ho-fung Leung ， Raymond YK Lau ， Qing Li ， andHuaqing Min. 2014.在线领域知识指导下的产品特征提取。Knowledge-Based Systems71（2014），86[29] Zhijun Yan，Meiming Xing，Dongsong Zhang，and Baizhang Ma.2015年。EXPRS：一种扩展的PageRank方法，用于从在线消费者评论中提取产品特征。Information Management52，7（2015），850[30] Rong Zhang，Wenzhe Yu，Chaofeng Sha，Xiaofeng He，and Aoying Zhou.2015.面向产品的评审总结和评分。Frontiers of Computer Science9，2（2015），210