没有合适的资源?快使用搜索试试~ 我知道了~
首页电商平台家电评论数据挖掘:消费者需求与产品分析
电商平台家电评论数据挖掘:消费者需求与产品分析
需积分: 5 0 下载量 89 浏览量
更新于2024-06-18
收藏 2MB PDF 举报
"这篇文档是华南师范大学团队在泰迪杯大学生数据挖掘竞赛中获得特等奖的作品,名为《基于电商平台家电设备的消费者评论数据挖掘分析》。该研究专注于挖掘京东平台上三种品牌型号热水器的消费者评论数据,以理解消费者需求并提升产品竞争力。作者包括周涛、吴家舜和邵悦涵,由杨坦教授指导。" 在这项研究中,研究人员首先对从京东平台获取的评论数据进行了预处理,包括使用Python编程语言和ICTCLAS工具进行数据清洗、分词和停用词过滤,以提高数据质量,使其更适合后续的建模分析。 接下来,他们采用了多种数据挖掘技术来构建分析模型。其中,深度学习技术,特别是栈式自编码神经网络(Stacked Autoencoder),被用来进行情感倾向分析,以识别评论中的正面和负面情绪。此外,武汉大学的ROSTCM6系统被用于创建语义网络,以揭示不同品牌热水器的好坏评价之间的关联性,帮助识别产品的优点和改进点。 此外,研究团队应用了Latent Dirichlet Allocation (LDA) 主题模型,这是一种统计方法,它能够从大量文本中抽取出关键主题,从而揭示消费者关注的焦点。通过LDA模型,他们能够发现消费者对不同型号热水器的好评和差评集中在哪些特性或问题上,为制造商提供有针对性的改进方向。 这篇论文展示了如何通过数据挖掘技术从消费者评论中提取有价值的信息,以帮助电商平台和制造商更好地理解消费者需求,提升产品性能,以及优化市场策略。这种方法论可以广泛应用于电商领域的其他产品,对于提升客户满意度和市场竞争能力具有重要意义。
资源详情
资源推荐
![](https://csdnimg.cn/release/download_crawler_static/88619478/bg6.jpg)
泰迪杯大学生数据挖掘竞赛论文报告 www.tipdm.org
第 2 页
筛选的方式得到,而最后一种则来自我们的自行爬取),即选取三个品牌的热水器,且每个品牌选取
一个型号来研究。从总体上来说,京东作为国内最大型的电商平台之一,在该网站购买的顾客比较
多,因此相关产品的评论也就会比较多,而且评论质量也较一些其它网站上的要好。
2.2.2 文本评论预处理
取到文本后,我们首先要进行文本评论数据的预处理。文本评论数据里面存在大量价值含量很
低甚至没有价值含量的条目,如果将这些评论数据也引入进行分词、词频统计乃至情感分析等,则
必然会对分析造成很大的影响,得到的结果的质量也必然是存在问题的。那么在利用到这些文本评
论数据之前就必须要先进行文本预处理,把大量的这些无价值含量的评论去除。
我们运用 Python2.7 对这些文本评论数据的预处理主要由三个部分组成:文本去重、机械语料压
缩以及短句删除。按照各自处理的特性,我们依照这个顺序进行文本评论数据的预处理。
2.2.2.1 文本去重
(1)文本去重的基本解释及原因
文本去重,顾名思义,就是去除文本评论数据中重复的部分。无论获取到什么样的文本评论数
据,首先要进行的预处理应当都是文本去重。文本去重的主要原因如下:
①一些电商平台往往为了避免一些客户长时间不进行评论,会设置一道程序,如果用户超过规
定的时间仍然没有做出评论,系统会自动替客户做出评论,当然这种评论的结果大多都会是好评,
比如国美。但是这类数据显然没有任何分析价值,而且这种评论是大量重复出现的,必须去除。
②同一个人可能会出现重复的评论,因为同一个人可能会购买多种热水器,然后在进行评论过
程中可能为了省事,就在多个热水器中采用同样或相近的评论,这里当然可能不乏有价值的评论,
但是即使有价值也只有第一条有作用。
③由语言的特点我们知道,在大多数情况下,不同人之间的有价值的评论都不会出现完全重复,
如果出现了不同人评论之间的完全重复,这些评论一般都是毫无意义的,诸如“好好好好好”、“XX
牌热水器 XX 升”等等或者说就是直接复制粘贴上一人的评论,这种评论显然就只有最早评论出
的才有意义(即只有第一条有作用)。而如果不是完全重复,而比较相近的,也存在一些无意义的评
论。
(2)常见文本去重算法概述及缺陷
在前人的研究下,有许多的文本去重算法,大多都是先通过计算文本之间的相似度,再以此为
基础进行去重,包括编辑距离去重,Simhash 算法去重等等,但是大多存在一些缺陷。以编辑距离
算法去重为例,编辑距离算法去重实际上就是先计算两条语料的编辑距离,然后进行阈值判断,如
果编辑距离小于某个阈值则进行去除重复处理,这种方法针对类如:
“XX 牌热水器 XX 升 大品牌 高质量”
以及
“XX 牌热水器 XX 升 大品牌 高质量 用起来真的不错”
的接近重复而又无任何意义的评论文本的去除的效果是很好的,主要为了去除接近重复或完全重复
![](https://csdnimg.cn/release/download_crawler_static/88619478/bg7.jpg)
泰迪杯大学生数据挖掘竞赛论文报告 www.tipdm.org
第 3 页
的评论数据,而并不要求完全重复,但是当这种方法测到都有意义,但是有相近的表达的时候就可
能也会采取删除操作,这样就会造成错删问题,比如如下的例子:
“还没正式使用,不知道怎样,但安装的材料费确实有点高,380”
以及
“还没使用,不知道质量如何,但安装的材料费确实贵,380”。
这组语句的编辑距离只是比上一组大 2 而已,但是很明显这两句就是都有意义的,如果阈值设为 10
(该组为 9),就会带来错删问题。可惜的是,这一类的评论数据组还是不少的,特别是差评的语
料,许多顾客不会用太多的言语表达,直至中心,问题就来了。
(3)文本去重选用的方法及原因
既然这一类相对复杂的文本去重的算法容易去除有用的数据,那么我们就需要考虑一些相对简
单的文本去重思路。由于相近的语料存在不少是有用的评论,去除这类语料显然不合适,那么为了
存留更多的有用语料,我们就只能针对完全重复的语料下手。那么处理完全重复的语料直接采用最
简单的比较删除法就好了,也就是两两对比,完全相同就去除的方法。
从上述的总结我们知道存在文本重复问题的条目归结到底只有1条语料甚至 0条语料是有用的,
但是透过观察评论我们知道存在重复但是起码有 1 条评论有用的语料,即 1.1 中情况②的语料很多,
而我们运用比较删除法显然只能定为留 1 条或者是全去除,因此我们只能设为留 1 条,以确保尽可
能存留有用的文本评论信息。
观察比较删除法实现后的结果,我们发现总体效果还是很不错的。
2.2.2.2 机械压缩去词
(1)机械压缩去词的思想
由于电商品台的文本评论数据质量参差不齐,没有意义的文本数据很多,因此透过文本去重就
已经可以删除掉非常多的没有意义的评论文本。但是文本去重远远不够,经过文本去重后的评论仍
然有很多评论需要处理掉,比如:
“非常好非常好非常好非常好非常好非常好非常好”
以及
“好呀好呀好呀好呀好呀好呀好呀好呀好呀”。
这一类语料是存在连续重复的语料,也是最常见的较长的无意义语料。因为大多数给出无意义评论
的人都只是为了获得一些额外奖励等,并不对评论真正抱有兴趣,而他们为了省事就很可能进行这
样的评论。显然这一类语料并不显得就会重复,但是也是毫无意义的评论,是需要删除的。
可惜的是,计算机不可能自动识别出所有这种类型的语料,比如“非常好”可以有从 1 到无上
限的有穷个的叠加,即使运用词典透过某些方式识别了这一类的文本评论数据,比如算出“非常好”
比较多意味着可能是无意义评论,一位制造无意义评论的顾客还可以以任何一个词进行重复,还可
以重复某词,但次数不一定多,而这种显然只需要保留第一个即可,若不处理,可能会影响情感倾
向的判断,比如:
剩余31页未读,继续阅读
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/864ffdc5a26342a6add0026479aef1e5_matlab_dingdang.jpg!1)
matlab科研助手
- 粉丝: 2w+
- 资源: 5694
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- AirKiss技术详解:无线传递信息与智能家居连接
- Hibernate主键生成策略详解
- 操作系统实验:位示图法管理磁盘空闲空间
- JSON详解:数据交换的主流格式
- Win7安装Ubuntu双系统详细指南
- FPGA内部结构与工作原理探索
- 信用评分模型解析:WOE、IV与ROC
- 使用LVS+Keepalived构建高可用负载均衡集群
- 微信小程序驱动餐饮与服装业创新转型:便捷管理与低成本优势
- 机器学习入门指南:从基础到进阶
- 解决Win7 IIS配置错误500.22与0x80070032
- SQL-DFS:优化HDFS小文件存储的解决方案
- Hadoop、Hbase、Spark环境部署与主机配置详解
- Kisso:加密会话Cookie实现的单点登录SSO
- OpenCV读取与拼接多幅图像教程
- QT实战:轻松生成与解析JSON数据
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)