利用pymysql将爬虫回来的数据保存到数据库。
时间: 2024-05-05 19:20:33 浏览: 63
python爬虫并导入数据库
好的,您可以在Python中使用pymysql连接到MySQL数据库并将爬虫回来的数据保存到数据库。以下是一个示例代码:
```
import pymysql
# 连接数据库
conn = pymysql.connect(host='localhost', port=3306, user='root', password='password', db='mydb', charset='utf8mb4')
# 获取游标
cursor = conn.cursor()
# 定义SQL语句
sql = "INSERT INTO mytable (column1, column2, column3) VALUES (%s, %s, %s)"
# 定义数据列表
data = [('value1', 'value2', 'value3'), ('value4', 'value5', 'value6'), ('value7', 'value8', 'value9')]
try:
# 执行SQL语句并提交到数据库
cursor.executemany(sql, data)
conn.commit()
print("数据插入成功!")
except Exception as e:
# 发生错误时回滚事务
conn.rollback()
print("数据插入失败:", e)
# 关闭游标和数据库连接
cursor.close()
conn.close()
```
在这个示例代码中,我们首先使用pymysql连接到MySQL数据库,然后定义SQL语句和数据列表。我们使用`executemany`方法执行SQL语句,并提交到数据库。如果出现错误,我们回滚事务。最后,我们将游标和数据库连接关闭。
阅读全文