爬虫数据保存到mysql
时间: 2023-10-17 21:10:06 浏览: 45
要将爬虫数据保存到 MySQL 数据库,可以使用 Python 的 MySQL Connector 库。下面是一个简单的示例代码,假设已经爬取了一些数据,并且存储在了一个列表中:
```python
import mysql.connector
# 连接数据库
cnx = mysql.connector.connect(user='username', password='password',
host='localhost',
database='database_name')
cursor = cnx.cursor()
# 创建表格
create_table_query = '''CREATE TABLE IF NOT EXISTS my_table
(id INT AUTO_INCREMENT PRIMARY KEY,
field1 VARCHAR(255),
field2 VARCHAR(255),
field3 VARCHAR(255))'''
cursor.execute(create_table_query)
# 将数据插入表格
insert_query = '''INSERT INTO my_table (field1, field2, field3)
VALUES (%s, %s, %s)'''
data = [('value1', 'value2', 'value3'), ('value4', 'value5', 'value6')]
cursor.executemany(insert_query, data)
# 提交更改并关闭连接
cnx.commit()
cursor.close()
cnx.close()
```
在这个示例中,我们首先连接到 MySQL 数据库,然后创建一个名为 `my_table` 的表格。接着,我们将数据插入到表格中,使用 `executemany` 方法可以一次性插入多条数据。最后,我们提交更改并关闭连接。