豆瓣电影TOP250分析报告文本挖掘.docx

豆瓣电影 TOP250 分析报告

摘 要：本文爬取豆瓣电影 TOP250 的榜单电影信息和热评，运用数据可视

化和文本挖掘的相关方法和理论对电影进行 Knn 分类和 KMeans 聚类以及相

关的电影信息分析，并预测了新上映电影的所属类型,画出了相应的混淆矩阵。

关键词：豆瓣电影；文本挖掘；数据爬虫；KMeans

目 录

1 引 言............................................................................................................................................ 1

2 数据来源..................................................................................................................................... 3

4 豆瓣文本数据........................................................................................................................... 14

4.1 对热门影评的探索分析................................................................................................. 17

4.2 常用标签分析................................................................................................................. 19

4.3 分类模型与预测电影类别............................................................................................. 21

5 结 论.......................................................................................................................................... 24

6 附 录.......................................................................................................................................... 25

##movie................................................................................................................................ 25

##评论.................................................................................................................................. 28

##评论词云.......................................................................................................................... 29

##数据处理.......................................................................................................................... 30

中国电影产业发展迅速，网络大数据对电影的影响也不断加大。豆瓣平台

更加方便快捷的传播方式，更趋近于现代生活的节奏，逐渐成为影评文化的主

流。豆瓣电影提供最新的电影介绍及评论包括上映影片的影讯查询及购票服

务。你可以记录想看、在看和看过的电影电视剧，顺便打分、写影评，极大地

方便了人们的生活。豆瓣电影是这样介绍自己的：“国内最权威电影评分和精彩

影评，千万影迷的真实观影感受，为你的观影做决策。”而它也确实做到了这一

点。然而，前些日子，朋友圈又因一事沸腾了。《中国电影报》12 月 27 日发

布题为“豆瓣电影评分，面临信用危机”的文章，随后人民日报客户端转发了该

文，并将标题改为“豆瓣、猫眼电影评分面临信用危机，恶评伤害电影产业”。

在这个互联网将渗透到整个电影产业链中的时代，网络数据对电影的影响不断

数据来源于豆瓣电影 TOP250，我们通过 python 爬取网站数据，共爬取

到豆瓣电影共 250 条电影信息，包括评分、评分人数、导演、编剧、主演、类

型、制片国家/地区、语言、上映日期、片长、剧情简介、热门影评、豆瓣成员

常用标签，同时爬取前 3 个电影的热评进行文本分析。

主要分析一豆瓣电影 TOP250（https://movie.douban.com/top250）

的相关电影，使用 Python 获取，技术分析流程分为以下三个步骤：网络数据

获取、数据读入和数据清洗、数据可视化分析。经过网站爬虫，我们整理出来

了 7 个字段，字段含义为评分、评分人数、导演、编剧、主演、类型、制片国

家/地区、语言、上映日期、片长、剧情简介、热门影评、豆瓣成员常用标签。

3.1 上映年代分析