如何将python爬取的数据批量导入mysql
时间: 2023-09-21 10:10:43 浏览: 157
python批量导出导入MySQL用户的方法
可以使用Python中的pymysql或者mysql-connector-python模块来连接MySQL数据库。首先用pandas读取爬取的数据并转化为dataframe格式,然后使用pandas将dataframe中的数据逐行写入MySQL数据库中的表中。具体代码可以参考以下示例:
```
import pandas as pd
import pymysql
# 数据库配置信息
db_config = {
'host': 'localhost',
'port': 3306,
'db': 'test',
'user': 'root',
'password': '123456'
}
# 数据库连接
conn = pymysql.connect(**db_config)
cursor = conn.cursor()
# 读取数据并转化为dataframe
df = pd.read_csv('data.csv')
# 将数据逐行插入数据库中的表
for index, row in df.iterrows():
sql = 'INSERT INTO tablename (column1, column2, column3) VALUES (%s, %s, %s)'
cursor.execute(sql, (row['column1'], row['column2'], row['column3']))
conn.commit()
conn.close()
```
注意要将代码中的数据库连接信息和表名、列名等信息改为自己的数据库配置信息。
阅读全文