将爬取的数据存入mysql
时间: 2023-10-24 18:08:47 浏览: 89
好的,我们可以使用Python中的mysql-connector模块来连接MySQL数据库,并将爬取的数据存入数据库中。以下是一个简单的代码示例:
```python
import mysql.connector
import requests
from bs4 import BeautifulSoup
# 连接MySQL数据库
cnx = mysql.connector.connect(
host='localhost',
user='your_username',
password='your_password',
database='your_database'
)
# 发送HTTP请求,获取HTML源代码
url = 'http://www.stats.gov.cn/sj/tjgb/rkpcgb/qgrkpcgb/202302/t20230206_1902008.html'
response = requests.get(url)
html = response.content
# 解析HTML源代码,找到需要的数据
soup = BeautifulSoup(html, 'html.parser')
table = soup.find('table', attrs={'class': 'MsoNormalTable'})
rows = table.find_all('tr')[1:]
for row in rows:
cols = row.find_all('td')
region = cols[0].text.strip()
population = int(cols[1].text.strip().replace(',', ''))
# 将数据存入数据库
cursor = cnx.cursor()
query = "INSERT INTO population (region, population) VALUES (%s, %s)"
data = (region, population)
cursor.execute(query, data)
cnx.commit()
# 关闭数据库连接
cnx.close()
```
这个代码示例使用了mysql-connector模块连接MySQL数据库,并将爬取的数据存入population表中。你需要将代码中的数据库连接信息(host、user、password、database)替换成你自己的数据库连接信息。
阅读全文