python爬虫某地近半年天气
时间: 2023-11-08 10:47:46 浏览: 80
您可以使用 Python 中的 requests 库和 BeautifulSoup 库来爬取某地近半年的天气信息。以下是一个简单的示例代码:
```python
import requests
from bs4 import BeautifulSoup
# 设置请求头
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36"
}
# 发送请求并获取响应
url = "http://www.weather.com.cn/weather/101010100.shtml#7d"
response = requests.get(url, headers=headers)
# 解析 HTML
soup = BeautifulSoup(response.text, "html.parser")
# 获取近半年的天气信息
weather_list = []
for ul in soup.select(".t clearfix"):
for li in ul.select("li"):
date = li.select(".date")[0].text.strip() # 日期
weather = li.select(".wea")[0].text.strip() # 天气
temperature = li.select(".tem")[0].text.strip() # 温度
weather_list.append((date, weather, temperature))
# 打印结果
for weather in weather_list:
print(weather)
```
需要注意的是,不同网站的 HTML 结构可能会有所不同,需要根据实际情况进行调整。此外,爬虫行为需要遵守相关法律法规和网站的使用协议,避免对网站造成不必要的影响。
阅读全文