自然语言处理优化临床决策支持系统

沙特国王大学学报基于自然语言处理的临床决策支持系统优化个性化治疗巴萨瓦拉杰河放大图片作者：Hirematha，Malini M.帕蒂尔a，ba计算机科学与工程系，J S S技术教育学院，Bengalu-560060，卡纳塔克邦，印度b印度卡纳塔克邦Belagavi 590018 Visvesvaraya技术大学Bengalu-560060，J S S技术教育学院信息科学与工程系阿提奇莱因福奥文章历史记录：2020年1月3日收到2020年2月26日修订2020年3月13日接受2020年3月19日网上发售保留字：极性标记器情绪评分情绪标签分类自然语言处理A B S T R A C T情感分析是通过使用自然语言处理的计算技术来识别和分类人类话语所表达的意见的过程。目前的工作主要集中在一个案例研究，以开发一个临床决策支持系统的个性化治疗过程中使用的方面为基础的情感分析。该过程是对药物审查数据进行的，以确定是否使用NLP技术，患者对药物，产品，治疗等的行为是积极的，消极的或中性的。将获得的极性进行比较，以进一步分析患者评论，从而获得更好的临床决策系统。机器学习方法还用于药物评论数据的分类以比较情感分数。使用的主要统计sklearn模型是支持向量机（SVM），随机森林分类，LinearSVC，MultinomialNB。SVM算法被认为是执行更好的相比，其他的准确性。©2020作者由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍人类的语言交流是通过言语进行的。大多数的交流活动都是通过言语进行的。技术的发展奠定了人机界面的基础。机器理解人类语言的能力被称为自然语言处理（NLP）。在NLP的背景下，作者（Cambria等人，2017 b）指出了包含所有分析的大箱子，如极性，主观性，其分类为语用学，语义学和句法层。整个语言处理问题可以分为两个主要任务。一种是利用书面语篇的词汇、句法和语义知识进行加工，另一种是利用语音学进行口语加工NLP是一个需要使用算法来产生和识别基于自然语言的规则的过程。NLP的重要应用是Google翻译，单词语法检查，IVR系统，Google个人助理，*通讯作者。电子邮件地址：basavaraj@ieee.org（B.N.Hiremath）。沙特国王大学负责同行审查Siri，Alexa，Cortana，Ok Google. NLP在帮助人机交互方面发挥着重要作用。人与人之间的对话是通过书面或口头交流的方式进行的。理解语言的句法和为了完成有效的谈话和回应，以完成沟通（Hiremath和Patil，2019a），必须了解语言结构。这需要机器和人类之间频繁和大量的交互。相互作用的模式可以称为数据（Hiremath和Patil，2019 b）。这种非结构化的语言数据被转换成计算机可以理解的代码。当文本数据被处理为输入时，计算机运行算法来提取与每个句子相关的含义并收集重要信息。人与机器之间的信息传输或数据交换的过程循环以各种形式发生 整个流程以图表的形式画出，如图所示。1.一、情绪分析和情感计算（Cambria等人，2017a）在分析人工智能中的人类通信方面表现出了潜力。作者已经开发了一个混合的极性检测框架，主要是在情感识别任务。情感计算导致对情感标签进行分类，这些标签主要来自共享的社交表达。作者（Cambria等人，2012），有解释的情绪https://doi.org/10.1016/j.jksuci.2020.03.0061319-1578/©2020作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comB.N. Hiremath，M.M.Patil/ Journal of King Saud University2841Fig. 1. 人机界面。分析标准患者报告的结局指标，作为监测患者数据结局的措施这些数据将以自由文本的形式表达，表达他们对医疗保健的生理情感体验的满意感受或这些感知计算方法被归类为感知维度，如敏感度、注意力、愉悦度和对挫折、焦虑、乐观、拒绝和反对的态度这项工作（Gräßer等人， 2018）涉及基于方面的意见分析与迁移学习方法。它强调对药物评论的分析，模型可移植性与域内，即基于条件的训练信息，丰富了高性能分类结果的最后总结了支持药物警戒和改进临床决策支持系统的发现本工作的目的是了解不同的方法来执行情感分析，并知道人的情感，通过评估一系列的话对人类语言的句子。所选数据来自患者使用特定药物进行特定治疗的经验所表达的综述。在卫生保健领域，上市后药物监测研究，即药物警戒，在药物放行后评价药物安全性方面发挥着重要作用。临床决策支持系统用于增强优化的个性化治疗。审查句子包括确定药物的有效性及其副作用。这两个优点用于基于方面的情感分析中的分类。本文的其余部分概述如下：第二部分是关于材料，然后在第三部分进行文献综述。第四部分是方法与模型。第5节解释了实验、讨论和结果。最后一部分是结论和未来的工作2. 预赛NLP是人工智能的一个分支，它涉及支持计算机和人类交互的计算算法。(i) NLP的目标：NLP的目标是感知，分析，阅读和破译，以可理解的方式解释人类语言。大多数NLP技术都依赖于机器学习来从人类语言中获取含义。它也是最常见的文本分类技术，分析传入消息并告诉传入消息的情绪是否被标记为积极，消极或中性。(ii) NLP的挑战：教机器理解人类交流语言的本质是非常困难的。有些任务处于较高的级别，有些任务处于详细的级别。理解人类语言需要理解单词和概念，以及两者如何联系以传递预期的信息。人类(iii) NLP如何工作？NLP的五个步骤被简要地解释了它们的具体功能，如图所示。 二、1. 形态分析：单个单词被分析成它们的组成部分。非单词标记的分离所有的词都有2. 句法分析：处理单个词之间的关系。线型检查单词的顺序。拒绝不符合特定语言规则的句子。3. 语义分析：注意句子的正确含义。4. 语篇整合：单个句子的意义可能取决于进行的上下文。5. 语用分析：处理句子的解释。3. 文献调查情感分析是一项新兴的研究，多年来，相关的挑战已经增加（Valdivia等人，2017）喜欢2842B.N. Hiremath，M.M.Patil/ Journal of King Saud University图二. NLP进程循环。意见摘要、检索和主观分类。这使得通过统计测量进行验证过程成为可能（Wilson和Hernán-Halll，2014）。作者（Laksono等人，2019）得出的结论是，像用于识别情感分析的朴素贝叶斯方法这样的统计分类比Textblob（一个基于Python的开源库，用于执行所有NLP功能，并测量句子中情感的定量评估）提供了更好的结果。在（Hiremath和Patil，2017）中，作者描述了一种用于理解NLP英语的计算机系统。计算机系统基本上采用英语语言的交互方法。系统回答问题、执行命令和接受信息。建模语言的基本方面，即语法，语义和推理被认为是。该系统具有用于语义分析的程序，识别语法和通用解决方案框架系统。在另一项工作中（Fernán-Gavilanes等人，2016）的情感分析方法来提取情感。本文还着重于情感的表达，通过将基 本 问 题 分 类 为 对 主 题 的 积 极 （ 有利 ） 或 消 极 （ 不 利 ） 意 见 。Daelemans和Hoste，2002年）的作者提出了一种解决方案，其中使用n-gram模型从文本的样本句子中的前面的单词预测单词。作者还提出了几种统计算法，分配- ING字组的基础上，他们与其他词的一致性的频率。在（Brown et al.，1992年）关注于文本分析在人类基因组上的使用，这是所发现的突破性工作之一。此外，在（Turian和Ph，2013年）中，发现文本分析被认为是企业数据计划中发现的重要工作之一。自然语言处理是任何语言分析的重要过程人类语言研究人员（Vyas和Uma，2018）对使用NLP方法识别文本情感分析的各种工具进行了综述。文本的主观性分类是在作者对阿拉伯语文本进行情感分析的实验中完成的（Boudad等人，2017），他们在那里描述了基于词汇的方法。使用极性扩展方法（Fernán-Gavilanes等人，2016年），半自动技术作为一种新的方法来预测基于评论的数据集中的情绪，因为它在这项工作中使用。在论文中（Bharti等人，2015年）作者使用TextBlob来执行词性标记，用于社交媒体数据中文本的情感识别。NLP工具用于执行推文分类，位置提取和流量级别提取，方法包括标记，句子分割和基本任务。研究（Sarkar）例如， 2019）通过计 算观 察情 绪 的可信度Textblob情感分析器，并且进一步地，该方法计算互联网上的出版物的假观察。方面术语是基于在研究中处理的观点词的位置和内容的情感分类中的特征（Park等人，2020），一种使用双向长短期记忆的方法。定性分析涉及内容比如，“食物”这个方面得到肯定，而“服务”这个词被贴上了否定的标签，因为“伟大”和“可怕”在句子中的位置。深度学习模型分类实现可比的结果。作者（Cambria等人，2017 b）描述了深度学习架构在NLP中的使用，通过使用机器学习框架比较依赖性，透明度和一致性等问题。在生成加权unigrams的tfidf矢量化器中，作者（He和Zheng，2019）指出，Textblob和Vader是创建加权unigrams的通用情感分析器，其中单词库可能在通用情感分析中表现朴素贝叶斯分类器在分析与顾客相关的调查数据以选择作者的餐馆时表现出比Textblob分析器更好的性能（Laksono等人，2019年）。作者（Daelemans和Hoste，2002年）提供了关于算法设置参数与单个算法内特征选择之间不可靠交互的信息。作者（Chaturvedi等人， 2018）指出，主观识别对于提高意见挖掘的准确性至关重要，因为这是NLP中唯一一项删除“事实”内容的任务。本文采用基于相似度嵌入词的文本特征进行情感分析，NLP技术可以扩展到韵律、词汇、语用和句法特征的提取。该研究（Suhaimin等人， 2017）指出使用非线性支持向量机对文本进行分类。4. 方法和模型本节重点介绍数据集描述、情感标签工具和方法、情感评分的详细信息4.1. 数据集描述UCI University of California Irene的存档数据集专门用于使用可用的计算库通过机器学习算法分析经验计算。B.N. Hiremath，M.M.Patil/ Journal of King Saud University2843在此存储库中选择的数据集属于药品审评数据集。详细数据描述见表1。实例数为21.5万个，属性数为6个，由英语句子组成。这些描述了关于药物体验的反馈和总结。训练集的学习分割为75%，测试集为25%。有用计数是保存查看和共享的用户数量的属性。4.2. NLP工具Vader（Valence Aware Dictionary for Sentiment Reasoning）是一种情绪分析工具，可以找到良好的预测准确性来衡量情绪状态。维达词典最初是由C.J hutto（Sarkar，2019）基于基于规则的方法开发的，维达不需要训练（Tomp等人，2019年），因为它是建立在一个lex图标与标准的情感库。Vader使用的情感词典被验证为黄金标准，（Sarkar，2019）经过人类测试，而Textblob是一个Python字符串。Textblob仅由研究人员使用（Mishra等人，2019年），用于分析以图像作为上下文源的社交媒体数据集的基于上下文的情感分析。Textblob是Python编程语言中使用的一个库，用于执行基于NLTK和模式的常见文本处理操作（Loria，2015）。表1数据集描述。SL号属性数据类型描述1ID整数唯一id2药名分类药物名称3条件分类条件名称4审查文本患者评估5评级数值10星评级6日期YYYY-MM-DD进入审查7有效计数数值发现药物4.3. 分类器对于数据模式的分类，使用突出的统计sklearn模型，即支持向量分类 器（ Sarkar 等 人，2019 ） ，多 项 式朴 素 贝叶 斯 （Griol 等 人，2017），逻辑回归（Sarkar等人，2019）、随机森林分类器（Karoui等人，2017）用于实验目的，并进行了5次交叉验证。4.4. NLP中的情感标签情绪是一种受情绪影响的态度或观点。情感分析是对极性进行分类的过程一个给定的文本。情感标注是对句子进行否定或肯定意义分类的一种方法。这些句子来自客户评论、电影评论或政治言论等。研究人员（Chen et al.，2017年）已经明确地将评论微调为非常积极，中立或非常消极。标签的基本基础是通过手动标签的方式，其中完成编号的程度。该机器可以做自动贴标与一个标准化的标签得分称为极性得分。它建立在每个包开发的情感库上。标签将用于分类，然后通过使用学习算法来预测相应的集合。4.5. NLP中的情绪评分情感得分是在句子级别总结的基本编号，以达到所需的分类，如消极，中性或积极意义。在编程语言中，使用被称为情感极性库的词典。例如（Vechtomova，2017）AFINN有2477个效价标签，ANEW有1034个单词，MPQA有8222个单词。这些被标记为具有先前极性分数的情感强度（弱和强）。但是作者（Rosenthal等人，2014）已经强调了基于方面的情感分析的需要，作为一种基于被称为“方面”的关键词来评估极性的方法。极性分数是用一个命名的元组（称为极性和主观性）来衡量的。的图三. 情感标签的方法。2844B.N. Hiremath，M.M.Patil/ Journal of King Saud University-极性评分范围为1 ~ 1，主观性评分范围为0.0 ~ 1.0。这个过程在TextBlob中被广泛使用。但在维德分析中，当它>=（0.05）时，它被称为正，正和负，<=（-0.05）和休息。4.6. 情感标签情感标记中遵循的步骤如图3所示，并在 图 3 中 显示为流程图。四、该方法聚焦于分类和计算情感得分（消极情感，积极情感标签）。5. 实验、结果和讨论本节重点讨论基于数据集的疾病类别使用Textblob和Vader包对情感标签进行的一组实验的详细讨论，并在分类报告中提供情感标签的预测。见图4。 算法流程表2基于方面的例句标记化皮肤和它已经使它完美无瑕！太神奇了！我爱贝亚兹！Sl编号句话极性主体性情感标签1“遭受抑郁症状，因为我继续服药抑郁症变得更糟。停止服用，抑郁症花了一周时间才减轻。0.6-0.4负2我已经服用贝亚兹整整一个月了，我的粉刺已经消失了很多！我一直都有很糟糕的0.6027780.3625积极3‘‘Longer 体重增加和焦虑。阿狄森00负B.N. Hiremath，M.M.Patil/ Journal of King Saud University2845在表2中突出显示，来自药物审查数据集，以便于理解计算。下面复习句子中突出显示的词是体术语.为了计算每个单词的基于方面的标记化的极性分数，需要获得极性和主观性的元组。然后根据代码中嵌入的规则将其标记为否定或肯定。关于大小为215 k评论的数据集标记化的综合报告在直方图中显示，如图所示。 五、为了定量地比较这两种方法，给出了直方图的基本统计在图中，Textblob计数的直方图列被观察为图五.使用Textblob和Vader进行情感标签的比较。图6a. 情感标签的预测：混淆矩阵-文本blob。5.1. 情感标签基于方面的标记化过程生成情感标签。从数据集中5.2. 基于混淆矩阵混淆矩阵能很好地区分两种方法的真阳性和真阴性，但由于Vader方法的结果中真阴性和真阳性分支出的中性值子集很少，因此总的值数略有不同。两种方法的真阳性和真阴性测量值比较见图11和图12。图6a和图6b是混淆矩阵。5.3. 型号类别表该实验是在逻辑回归、朴素贝叶斯、SVC和随机森林分类器等标准分类器方法的支持下建模的。在线性SVC（使用rbf作为内核）和Textblob方法中的逻辑回归中然而，发现在Vader方法中的精度值较小。不同分类方法之间的交叉验证根据表3中列出的折叠数计算。线性SVC和multinomialNB分类器在Vader方法中表现更好，而RFC和Logistic回归在TextBlob方法中表现更好。将这些符号监督学习方法进行比较并应用于人类语言技术，这通常解释了不同算法的输出中的较高值。通过分组描述数值数据来测量分类模型得分的统计表示，两种方法的箱形图准确度见图1。7.第一次会议。观察到的分数是图6b.情感标签预测：混淆矩阵-维德。2846B.N. Hiremath，M.M.Patil/ Journal of King Saud University表3模型类别详细信息。SL编号型号名称Fold_idx准确度-Textblob精确维德1RandomForestClassifier00.6254390.6340262RandomForestClassifier10.6254390.6550353RandomForestClassifier20.6254390.6435964RandomForestClassifier30.6254530.6374275RandomForestClassifier40.6254530.6496716LinearSVC00.9465050.9324647LinearSVC10.9444590.9335328LinearSVC20.9433890.9350899LinearSVC30.9438760.93762210LinearSVC40.9478750.93576111MultinomialNB00.6710300.8196412MultinomialNB10.6718900.81856613MultinomialNB20.6710530.8211714MultinomialNB30.6723470.82218915MultinomialNB40.6735100.82299916逻辑回归00.8955900.88826917逻辑回归10.8941480.88922018逻辑回归20.8951710.89005619逻辑回归30.8953780.89198420逻辑回归40.8970290.891191见图7。 Textblob模型和Vader模型两种方法的准确度得分箱形图。B.N. Hiremath，M.M.Patil/ Journal of King Saud University2847-表4总结了这两种方法的简要评分Sl编号型号名称维德分析的分数Textblob分析得分1LinearSVC0.9348940.9456212逻辑回归0.8901440.8962033MultinomialNB0.8209130.6675904RandomForestClassifier0.6439510.625445在表4中列出。在Textblob方法中，线性SVC分类的准确率较高。5.4. 分类报告：准确度表5中的分类报告表明，文本blob的正精度略高于Vader方法，召回值也高于Vader方法。意见如下正 面 召 回 意 味 着 63% 的 正 面 标 签 被 Vader 方 法 选 择 ， 但 被Textblob选择的次数为96%负召回意味着94%的负面标签被选中，但Textblob是91%的时候它应该被选中，Vader方法的加权平均值是93%，Textblob是94%。该模型在分类错误方面相当出色，在Vader方法中对正类分类的召回率为63%，而在文本blob中为94%5.5. 按疾病类别列出的情感标签计数结果在图表中的可视化是重要的，其中数据中的智能是派生的，并且在总结药物使用审查时很容易做出明确的句子。图8中显示的可视化图表清楚地突出了最具建设性的评论，如“节育”，“抑郁”和“焦虑”。 机器学习数据库的选定数据源索引为00462（UCI），从本文第4节中提到的集合中收集。极性分数范围为1比1，主观性从0.0到1.0。这个过程在TextBlob中被广泛使用。但在维德的分析中，它被称为中性的，积极的和消极的，当它是>=（0.05）、=（-0.05）和其余。6. 结论这项工作的目的是通过Textblob和Vader NLP包使用基于方面的情感分析来找到主观性和极性方面的极性得分使用UCI数据库中的药品审评意见数据集Textblob方法被用来确定审查句子和分类的方面表5分类报告：通过召回[Vader]和[Textblob]的准确性SL. 号参数维德Textblob精度召回f1得分支持精度召回f1得分支持1负0.930.940.9325,5530.930.910.9219,9692积极0.940.630.7526770.950.960.9533,7973中性0.930.950.9425,536-------4精度--0.9453,766--0.9453,7665宏平均值0.930.840.8853,7660.940.930.9453,7666加权平均值0.930.930.9353,7660.940.940.9453,766见图8。 包含情绪标签计数的朝阳图，其中包含按疾病类别列出的详细信息（详细信息）。●●●2848B.N. Hiremath，M.M.Patil/ Journal of King Saud University-根据使用者对与Vader方法相比，该算法的准确度评分显示Textblob方法的值更高。该分类器采用径向基函数作为核函数，采用线性支持向量分类器（SVC）进行分类。关于分析中使用的药物评论数据，最具建设性的评论分别来自从Textblob观察到的极性分数在以下范围内：1到1，以及从0.0主观性为1.0。然而，在Vader分析中，当分数>=（0.05）时，极性分数被观察为中性，当分数=（-0.05）时，极性分数被观察为正，并且对于其余值，极性分数分别为负。7. 今后工作该预处理方法可以被增强，以进一步分析人类语言的情感行为的反语和讽刺方面最佳拟合分类模型也可以在句子中的方面的识别中进行测试sklearn和NLTK中使用的所有库都可以更好地使用，以获得有希望的结果。未来的工作可以通过使用0.0001的值进行迭代来扩展下一级的NLP可以在结果数据集上进行处理，即否定的评论语句被标记为做出任何禁忌指示并映射相对优先级以与临床试验映射这使得能够识别症状和针对根本原因的方法，以突出药学领域中微调的潜在药物。工作的扩展也可以通过考虑评论中的条件特定信息来使用深度学习方法进行。可以开发Sentic-Prom方法，以突出特定医疗保健领域功能的优势。竞争利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作。确认作者感谢孟加拉国技术教育学院为开展这项工作提供设施引用Bharti，S.K.，巴布，K.S.，Jena，S.K.，2015.推特数据中基于解析的讽刺情感识别Proc. 2015 IEEE/ACM Int.Conf. Adv. Soc. Anal. 最 小 值 2015 - ASONAM '151373-1380。https://doi.org/10.1145/2808797.2808910.Boudad，N.，法伊兹河，Oulad Haj Thami，R.，Chiheb河，2017.阿拉伯语中的情感分析：文献综述。Ain Shams Eng. J. https://doi.org/10.1016/j. asej.2017.04.007。Cambria，E.，本森，T.，Eckl，C.，侯赛因，A.，2012.敏感的可编程只读存储器：敏感计 算 的 应 用 ， 以 衡 量 卫 生 保 健 质 量 的 一 个 新 的 统 一 框 架 的 发 展 。 ExpertSyst.Appl.39，10533https://doi.org/10.1016/j.eswa.2012.02.120Cambria，E.，达斯，D.，Bandyopadhyay，S.，Feraco，A.，2017年a。情感计算和情感分析，1https://doi.org/10.1007/978-3-319-55394-8_1Cambria，E.，S.，Gelbukh，A.，Nacional，I.P. Thelwall，M.，2017年b月。情感计算和情感分析是一个大箱子。查图维迪岛Ragusa，E.，Gastaldo，P.，祖尼诺河Cambria，E.， 2018. 基于贝叶斯网络的极 端 学 习 机 主 观 性 检 测 。J.FranklinInst.355 ， 1780-1797.https://doi.org/10.1016/j.jfranklin.2017.06.007网站。陈，T.，徐，R.，他，Y.，王，X.，2017.使用BiLSTM-CRF和CNN通过句子类型分类改进情感分析。专家系统应用72，221-230。https://doi.org/10.1016/j.eswa.2016.10.065网站。Daelemans，W.，Hoste，V.，2002.评估自然语言处理任务的机器学习方法。第三届国际会议记录Eval. Lr. 2002，755- 760。Fernán-Gavilanes ， M. ， Álvarez-López ， T. ， Juncal-Martínez ， J. ， Costa-Montenegro，E.，Javier González-Castaño，F.，2016.在线文本情感分析的无监督方法。专家系统应用58，57-75。https://doi.org/10.1016/j的网站。eswa.2016.03.031网站。Gräßer，F.，Malberg，H.，Kallumadi，S.，Zaunseder，S.，2018.应用跨领域和跨数据 学 习 的 基 于 情 感 分 析 的 药 物 评 论 。 ACM 国 际 会 议 论 文 集 ，121https://doi.org/10.1145/3194658.3194677Griol，D.，Molina，J.M.，Callejas，Z.，2017.结合语音分类器和语言分类器来识别用户口语中的情感神经计算，1https://doi.org/10.1016/j.neucom.2017.01.120网站。他，L.，Zheng，K.，中国科学院，2019年。当应用于与健康相关的在线社交媒体数据时 ， 通 用 情 感 分 析 器 的 表 现 如 何 研 究 生 健 康 技 术 报 告 。 264 ， 1208-1212 。https://doi.org/10.3233/SHTI190418网站。Hiremath，B.N.，马里尼湾帕蒂尔，2019年。反语识别中的语音线索分析。最近的专利计算。Sci. 12，1-15。https://doi.org/10.2174/ 2213275912666190819113541.Hiremath，B.N.，Patil，M.M.，2019年b.人类交流中的言语分析。J. Comput. Sci.软件。Test. 5，8-16。Hiremath，B.N.，Patil，M.M.，2017.文本分析的综合研究。 Int. J.第内特尔马赫系统。学习. 9，70-76。 https://doi.org/AIML042017002。Karoui，J.，Zitoune，F. B.，Moriceau，V.，2017. SOUKHRIA：面向社交媒体中阿拉伯 语 的 讽 刺 检 测 系 统 。 Procedia 计 算 Sci. 117 ， 161-168 。 网 址 ： http ：//doi.org/10.1016/j.procs.2017.10.105Laksono，R.A.，Sungkono，K.R.，萨尔诺河Wahyuni，C.S.，2019.基于朴素贝叶斯的tripadvisor餐厅顾客评论情感分析。2019年国际会议信息通讯Technol. Syst. ICTS2019，49-54. https://doi.org/10.1109/ICTS.2019.8850982.Loria，S.，2015年。TextBlob情绪：计算极性和主观性。米什拉，S.，Pappu，A.，Bhamidipati，N.，2019年。使用维基百科脚注推断在线文章中的广告商情绪Web Conf. 2019 - Companion World Wide Web Conf. WWW2019 2，1224-1231. https://doi.org/10.1145/3308560.3316752.帕克，H。Jung，Song，M.，Shin，K.S.，2020.深度学习模型和数据集用于方面术语情感分类：在目标依赖记忆上实现整体循环基于知识的系统。https://doi.org/10.1016/j.knosys.2019.06.033。布朗，彼得F.，DeSouza，Peter V.，默瑟，罗伯特·L·，Della，Vincent J. Pietra，J.C.L.，一九九二年基于类的自然语言n-gram模型IwlWk. Comput.语言学家18，467-479。罗森塔尔，S.，Ritter，A.，Nakov，P.，Stoyanov，V.，2014. SemEval-2014任务9：Twitter中的情绪分析。Proc. 第八届国际工作塞曼特评估，七十三至八十岁Sarkar，D.，2019年。Text Analytics with Python（Python文本分析）网址：//doi.org/10.1007/978-1-4842-4354-1。Sarkar，D.，Markovski，S.，Gusev，M.，Tomp，D.，Muravyov，S.，Filchenkov，A. ， Parundekar ， A. ， 埃 利 亚 斯 ， S. ， Ashok ， A. ， Sujitparapitaya ， S. ，Shirani，A.，Roldan，M.，Bonta，V.，Kumaresh，N.，Janardhan，N.，米什拉 ，S. ， Pappu ， A. ， Bhamidipati ， N. ， 他， L. ， Zheng ，K. ， 中国 科 学院 ，Bandi，A.，Fellah，A.，2019.使用维基百科脚注推断在线文章中的广告商情绪。高级内部系统计算2，1224-1231. https://doi.org/10.29007/kzk1。Suhaimin，M.S.M.，Hijazi，M.H.A.，阿尔弗雷德河，巴西-地Coenen，F.，2017.基于自然语言处理的讽刺检测特征：使用双语社交媒体文本的调查。ICIT 2017-第八届国际信息技术大会，703https://doi.org/10.1109/ICITECH.2017.8079931Tomp ， D. ， Muravyov ， S. ， Filchenkov ， A. ， 2019. 基 于 元 学 习 的 进 化 。https://doi.org/10.1007/978-3-030-33607-3.Turian，J.，博士，2013.文本分析：企业数据计划的关键部分。Valdivia，A.，Luzón，M.V.，Herrera，F.，2017年。TripAdvisor中的情绪分析IEEE内特尔系统32，72-77。https://doi.org/10.1109/MIS.2017.3121555网站。Vechtomova，O.，2017.基于语境的词极性消歧：一种信息检索方法。INF. 过程经理。53，1062网址：//doi. org/10.1016/j.ipm.2017.03.007。Vyas，V.，Uma，V.，2018年使用rapid miner对情绪分析工具和推文的二进制分类进行了广泛的研究Procedia计算Sci.125，329https://doi.org/10.1016/j.procs.2017.12.044网站。威尔逊，J.，Hernán-Hall，C.，2014年。物理实验室实验第八届国际18.第十八章. https://doi.org/10.1210/en.2011-1066网站。