python爬虫实时爬取天气数据

Python爬虫是一种用于从网页上获取数据的技术。实时爬取天气数据可以通过以下步骤实现：

1. 导入所需的库：首先，需要导入Python的requests库和BeautifulSoup库。Requests库用于发送HTTP请求，而BeautifulSoup库用于解析HTML页面。

2. 发送HTTP请求：使用requests库发送GET请求到天气数据的网站。可以使用城市名称或者经纬度作为参数来获取相应城市的天气数据。

3. 解析HTML页面：使用BeautifulSoup库解析返回的HTML页面。可以使用CSS选择器或XPath来定位所需的天气数据。

4. 提取天气数据：根据HTML页面的结构，提取所需的天气数据。可以使用BeautifulSoup提供的方法来提取标签内的文本内容。

5. 处理和展示数据：对提取到的天气数据进行处理和展示。可以将数据保存到文件中或者通过其他方式展示给用户。

以下是一个简单的示例代码，用于实时爬取天气数据：

import requests
from bs4 import BeautifulSoup

def get_weather(city):
    url = f'https://www.weather.com.cn/weather/{city}.shtml'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36'
    }
    response = requests.get(url, headers=headers)
    response.encoding = 'utf-8'
    soup = BeautifulSoup(response.text, 'html.parser')
    weather = soup.find(class_='tem').text.strip()
    return weather

city = '101010100'  # 北京的城市代码
weather_data = get_weather(city)
print(f"北京的实时天气为：{weather_data}")