爬取天气数据并存入数据库
时间: 2023-08-26 16:09:20 浏览: 40
利用python3爬虫爬取全国天气数据并保存入Mysql数据库
5星 · 资源好评率100%
好的,以下是一个简单的爬取天气数据并存入数据库的示例代码:
```python
import requests
from bs4 import BeautifulSoup
import sqlite3
# 请求天气数据
url = 'http://www.weather.com.cn/weather/101010100.shtml'
response = requests.get(url)
response.encoding = 'utf-8'
html = response.text
# 解析html
soup = BeautifulSoup(html, 'html.parser')
weather_list = soup.select('.t > ul > li')
# 连接数据库
conn = sqlite3.connect('weather.db')
cursor = conn.cursor()
# 创建表格
cursor.execute('''CREATE TABLE IF NOT EXISTS weather (
date TEXT,
weather TEXT,
temperature TEXT
)''')
# 保存数据到数据库
for item in weather_list:
date = item.select('.time')[0].text
weather = item.select('.wea')[0].text
temperature = item.select('.tem')[0].text.strip()
cursor.execute("INSERT INTO weather (date, weather, temperature) VALUES (?, ?, ?)", (date, weather, temperature))
# 提交并关闭数据库连接
conn.commit()
conn.close()
```
这个示例代码会爬取北京市的天气数据,并将日期、天气和温度数据存入名为`weather.db`的SQLite数据库中。你可以根据自己的需求修改代码中的网址、数据库名称和表格字段等信息。
阅读全文