python如何批量存储数据
时间: 2023-10-13 20:57:38 浏览: 148
在Python中,可以使用MySQL的`LOAD DATA INFILE`命令来批量存储数据。该命令可以直接执行文件,并将文件中的数据导入到MySQL表中。例如,可以使用以下命令将文件`data.txt`中的数据导入到名为`表名`的表中的`字段名`字段中:
```python
import pymysql
conn = pymysql.connect(
host='XXX.XXX.XXX.XXX',
user='XXXXX',
password='XXXXX',
db='XXXXX',
port=3306,
charset='utf8',
autocommit=1,
)
cursor = conn.cursor()
sql = "LOAD DATA INFILE '/var/lib/mysql-files/data.txt' INTO TABLE 表名 (字段名)"
cursor.execute(sql)
cursor.close()
conn.close()
```
另一种批量存储数据的方法是使用`executemany`函数。这种方法适用于集中大批量操作数据。以下是一个示例代码:
```python
import pymysql
conn = pymysql.connect(
host='XXX.XXX.XXX.XXX',
user='XXXXX',
password='XXXXX',
db='XXXXX',
port=3306,
charset='utf8',
)
cursor = conn.cursor()
sql = "INSERT INTO 表名 (字段1, 字段2) VALUES (%s, %s)"
data = \[('a', 1), ('b', 2), (None, 3)\] # 数据列表,元素可以是元组或列表
cursor.executemany(sql, data)
conn.commit()
cursor.close()
conn.close()
```
使用`executemany`函数可以一次性执行多个SQL语句,将数据批量插入到数据库中。这种方法在效率和功能上与`LOAD DATA INFILE`命令有一定的差异。对于大批量数据,`executemany`方法通常更快。
#### 引用[.reference_title]
- *1* *2* *3* [python批量插入数据到mysql](https://blog.csdn.net/qq_35224503/article/details/130333778)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]
阅读全文