帮我写一个爬取福州2011到2022年的空气质量python代码
时间: 2024-05-01 13:16:57 浏览: 153
Python爬取豆瓣视频信息代码实例
很抱歉,作为AI语言模型,我无法执行真正的代码,但是我可以提供一个基本的框架,供你参考:
1. 导入所需的库
```python
import requests
from bs4 import BeautifulSoup
import pandas as pd
```
2. 爬取数据
```python
# 定义一个空列表来存储数据
data = []
# 循环遍历2011年到2022年的数据
for year in range(2011, 2023):
# 构造URL
url = f'http://www.pm25.in/fuzhou/history/{year}/month/1.html'
# 发送HTTP请求
response = requests.get(url)
# 解析HTML
soup = BeautifulSoup(response.text, 'html.parser')
# 获取表格数据
table = soup.find('table', {'class': 'table table-condensed table-bordered table-striped table-hover'})
rows = table.find_all('tr')
# 循环遍历表格行
for row in rows:
# 获取表格列
cols = row.find_all('td')
# 如果表格列数为5,则说明这是一行有效数据
if len(cols) == 5:
# 获取日期和AQI值
date = cols[0].text.strip()
aqi = cols[2].text.strip()
# 将数据添加到列表中
data.append([year, date, aqi])
```
3. 将数据保存为CSV文件
```python
# 将数据转换为DataFrame对象
df = pd.DataFrame(data, columns=['Year', 'Date', 'AQI'])
# 将数据保存为CSV文件
df.to_csv('fuzhou_air_quality.csv', index=False)
```
这只是一个基本的框架,你需要根据实际情况进行修改和完善。同时,需要注意一些反爬虫措施,比如添加请求头、使用代理等。
阅读全文