用2345天气网站爬取曲阳县天气历史数据
时间: 2023-08-16 07:03:51 浏览: 176
曲阳热线恶意IP封杀系统 1.0
好的,以下是使用 Python 爬虫爬取2345天气网站曲阳县历史天气数据的示例代码:
``` python
import requests
from bs4 import BeautifulSoup
url = 'https://tianqi.2345.com/wea_history/69720.htm'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
r = requests.get(url, headers=headers)
r.encoding = 'gbk' # 2345天气网站使用gbk编码
soup = BeautifulSoup(r.text, 'html.parser')
weather_list = soup.select('.tqtongji1 tr')
for weather in weather_list:
date = weather.select('td')[0].text
weather_detail = weather.select('td')[1].text
print(date, weather_detail)
```
以上代码中,我们首先向2345天气网站发送了一个 GET 请求,获取了曲阳县天气的历史数据页面。然后,使用 BeautifulSoup 库解析网页源代码,提取出了天气数据,并打印输出了日期和天气详情。
需要注意的是,2345天气网站使用 gbk 编码,因此需要在 requests 库中设置编码为 gbk。另外,该网站的页面结构可能会随着时间而发生变化,如果代码无法正常运行,可以根据实际情况进行修改。
阅读全文