python爬虫爬取天气数据1000条
时间: 2024-12-03 10:16:49 浏览: 42
要使用Python爬虫爬取天气数据1000条,可以使用一些常用的库,如`requests`用于发送HTTP请求,`BeautifulSoup`用于解析HTML内容,`pandas`用于数据存储和处理。以下是一个简单的示例代码,演示如何从某个天气网站爬取天气数据:
```python
import requests
from bs4 import BeautifulSoup
import pandas as pd
# 目标网站的URL
url = 'https://example.com/weather'
# 发送HTTP请求
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 解析HTML内容
soup = BeautifulSoup(response.text, 'html.parser')
# 找到包含天气数据的表格
table = soup.find('table', {'id': 'weather-data'})
# 提取表头
headers = [header.text for header in table.find_all('th')]
# 提取表格数据
rows = []
for row in table.find_all('tr')[1:]:
cells = row.find_all('td')
rows.append([cell.text.strip() for cell in cells])
# 将数据存储到DataFrame中
df = pd.DataFrame(rows, columns=headers)
# 保存到CSV文件
df.to_csv('weather_data.csv', index=False)
print(f'成功爬取{len(df)}条天气数据并保存到weather_data.csv')
else:
print('请求失败,状态码:', response.status_code)
```
请注意:
1. 替换`https://example.com/weather`为目标天气网站的实际URL。
2. 根据目标网站的实际HTML结构调整解析逻辑。
3. 确保遵守目标网站的使用条款和条件,避免违反爬虫协议。
阅读全文