python爬虫并存入数据库中
时间: 2024-06-14 18:03:50 浏览: 154
利用 python操作爬虫数据存入mysql数据库。
```python
import requests
import pymysql
# 发起HTTP请求获取数据
response = requests.get('http://example.com/api/data')
data = response.json()
# 连接MySQL数据库
conn = pymysql.connect(
host='localhost',
user='username',
password='password',
database='dbname'
)
cursor = conn.cursor()
# 将数据存入数据库
for item in data:
cursor.execute("INSERT INTO table_name (column1, column2, column3) VALUES (%s, %s, %s)", (item['value1'], item['value2'], item['value3']))
# 提交并关闭连接
conn.commit()
conn.close()
```
阅读全文