爬取天气后报网站 http://www.tianqihoubao.com/lishi/changsha.html 爬取长沙市 2021、2022年24个月的历史天气的html源码,写入12个文本文件。 每个文件与年月命名,例如”202201.txt
时间: 2023-12-31 16:07:07 浏览: 128
Python实现长沙特色饮食信息采集源代码,数据来源于慧游长沙文旅平台(小程序)+美食天下(Web)
你可以使用Python的requests库和BeautifulSoup库来实现爬取长沙市历史天气数据的功能。以下是示例代码:
```python
import requests
from bs4 import BeautifulSoup
# 定义要爬取的月份列表
months = ['202101', '202102', '202103', '202104', '202105', '202106', '202107', '202108', '202109', '202110', '202111', '202112',
'202201', '202202', '202203', '202204', '202205', '202206', '202207', '202208', '202209', '202210', '202211', '202212']
# 循环爬取每个月份的数据,并写入相应的文件
for month in months:
# 构造URL
url = f'http://www.tianqihoubao.com/lishi/changsha/month/{month}.html'
# 发送HTTP请求
response = requests.get(url)
# 解析HTML源码
soup = BeautifulSoup(response.content, 'html.parser')
# 获取天气数据表格
table = soup.find('table', {'class': 'b'})
# 将表格写入文件
with open(f'{month}.txt', 'w', encoding='utf-8') as f:
f.write(str(table))
```
该代码中,我们首先定义了要爬取的月份列表,然后循环遍历每个月份,构造URL并发送HTTP请求。接着,我们使用BeautifulSoup库解析HTML源码,并找到其中的天气数据表格。最后,我们将表格数据写入相应的文本文件中。
阅读全文