python爬虫数据可视化案例

Python爬虫数据可视化是一个常见的应用场景，通常用于处理从网络抓取的数据并将其呈现出来，以便于理解和分析。以下是一个简单的例子：

假设我们用Python的Scrapy框架爬取了一个包含股票价格数据的网站，获取到每只股票每天的价格变化。首先，我们需要对爬取的数据进行清洗和整理，比如将数据存储在一个CSV文件或者Pandas DataFrame中。

import scrapy
import pandas as pd

# 爬虫代码
class StockSpider(scrapy.Spider):
    # ...定义spider属性和下载函数...

def parse_data(response):
    data = response.css('div.stock-price::attr(price)').getall()
    yield {
        'stock': response.css('h2::text').get(),
        'date': response.meta['date'],
        'price': float(data),
    }

# ...处理完数据后保存到DataFrame...
df = pd.read_csv('stock_prices.csv')

接着，我们可以使用matplotlib、Seaborn或Plotly等数据可视化库来创建图表，如折线图展示股价随时间的变化趋势：

import matplotlib.pyplot as plt

plt.figure(figsize=(10,6))
df.set_index('date', inplace=True)
df.plot(kind='line', y='price', by='stock')
plt.title('Stock Prices Over Time')
plt.xlabel('Date')
plt.ylabel('Price')
plt.legend(df['stock'].unique())
plt.show()