python爬虫数据可视化例子

Python爬虫获取数据后，数据可视化是一个常见的步骤，可以帮助我们更好地理解和呈现数据。以下是一个简单的例子，使用Python的Scrapy爬虫框架获取数据，然后用Matplotlib和Pandas进行数据处理和可视化：

1. **爬虫数据获取**:
使用Scrapy编写一个爬虫脚本，抓取网站上的数据。例如，爬取豆瓣电影Top250的数据，包括电影标题、评分等信息。

import scrapy

class DoubanSpider(scrapy.Spider):
    name = 'douban'
    start_urls = ['https://movie.douban.com/top250']

    def parse(self, response):
        # 解析HTML获取数据
        titles = response.css('div.title a::text').getall()
        ratings = response.css('span.rating_num::text').getall()
        # ...

        yield {
            'title': titles,
            'rating': ratings,
        }

2. **数据处理**:
使用Pandas库将爬取的数据存储为DataFrame。

import pandas as pd

data = pd.DataFrame({
    'title': titles,
    'rating': ratings,
    # 其他可能需要的数据字段
})

# 储存为CSV或Excel文件
data.to_csv('douban_top250.csv', index=False)

3. **数据可视化**:
使用Matplotlib或Seaborn对数据进行可视化，如创建条形图展示评分分布。

import matplotlib.pyplot as plt

plt.figure(figsize=(10, 6))
plt.hist(data['rating'], bins=10, edgecolor='black')
plt.xlabel('电影评分')
plt.ylabel('数量')
plt.title('豆瓣电影Top250评分分布')
plt.show()