京东产品评论情感分析：机器学习 vs 词典算法

该文档是关于京东产品评论情感分析的研究报告，主要对比了机器学习算法与词典算法在处理电商评论情感分析中的效果。报告由曾珂于2016年3月24日发布，内容涵盖了问题描述、解决思路、数据清洗、文本处理、分类器选择、情感分析、细粒度情感分析以及对应分析等多个方面。 1. 问题描述与初始数据 报告关注的是热水器产品的用户评论，目标是分析不同品牌热水器的用户情感倾向、优缺点以及各品牌卖点。初始数据包含21万条来自AO史密斯、格兰仕等六个品牌的热水器评论。 2. 解决思路与方法 解决思路包括数据清洗、文本处理、构建情感分类模型和进行细粒度情感分析。报告使用了Python编程语言，结合jieba分词库、re正则表达式库和pandas数据处理库。同时，使用了修正的jieba字典和哈工大停用词词典来优化文本处理。 3. 数据清洗与文本处理 在数据预处理阶段，主要任务是读取评论、分词、正则化去除无关字符、移除停用词，最后得到干净的文本用于后续分析。 4. 分类器选择 报告中并未详细提及具体选择了哪些分类器，但通常在情感分析中，可能会用到如朴素贝叶斯、支持向量机、决策树或深度学习模型如卷积神经网络（CNN）和循环神经网络（RNN）等。 5. 情感分析 情感分析是将预处理后的文本输入到分类器中，以判断评论的情感极性，例如正面、负面或中立。 6. 细粒度的情感分析 进一步的分析细化到评论的特定属性，如性能、价格、服务等，以便更深入地了解用户对产品各方面的满意度。 7. 对应分析-双标图 对应分析是一种统计方法，用于可视化类别变量之间的关系，此处可能被用来展示不同品牌和其属性情感分类的关联性。 8. 结果展示 报告包含了情感分析的结果，以及基于属性的情感分类和品牌列联表，这有助于理解用户情感与产品特性的关联。 通过这份报告，我们可以看到在电商客户评价分析中，机器学习算法和词典算法如何被用来挖掘用户情感，为企业提供改进产品和服务的依据。同时，它还强调了数据预处理的重要性，以及如何利用Python和相关工具进行文本分析。