天气数据的爬取及可视化

天气数据的爬取和可视化可以分为以下几个步骤：

1. 数据爬取：通过网页爬虫技术爬取天气数据，一般来说可以从气象局、天气网等网站获取天气数据。

2. 数据清洗：将爬取到的天气数据进行清洗，去掉无用信息，保留需要的数据字段。

3. 数据存储：将清洗后的数据存储到数据库中，比如 MySQL、MongoDB 等。

4. 数据可视化：通过数据可视化工具将数据可视化，比如使用 Matplotlib、Seaborn 等 Python 库来进行可视化。

下面是一个简单的示例代码，演示如何爬取天气数据并可视化：

import requests
from bs4 import BeautifulSoup
import pandas as pd
import matplotlib.pyplot as plt

# 爬取天气数据
url = 'http://www.weather.com.cn/weather/101010100.shtml'
response = requests.get(url)
response.encoding = 'utf-8'
soup = BeautifulSoup(response.text, 'html.parser')
weather_data = soup.select('.t ul li')
data = []
for item in weather_data:
    temp = {}
    temp['date'] = item.select('.h2')[0].string
    temp['weather'] = item.select('.wea')[0].string
    temp['temperature'] = item.select('.tem span')[0].string + '/' + item.select('.tem i')[0].string
    data.append(temp)

# 数据清洗
df = pd.DataFrame(data)
df['high_temperature'] = df['temperature'].apply(lambda x: int(x.split('/')[0]))
df['low_temperature'] = df['temperature'].apply(lambda x: int(x.split('/')[1]))

# 数据可视化
plt.figure(figsize=(10, 6))
plt.plot(df['date'], df['high_temperature'], label='high temperature')
plt.plot(df['date'], df['low_temperature'], label='low temperature')
plt.legend()
plt.xlabel('date')
plt.ylabel('temperature')
plt.title('Beijing Weather')
plt.show()

通过以上代码，我们可以爬取北京的天气数据，并可视化出最高温度和最低温度曲线图。