Python批量将CSV转为TXT并导入MySQL

“这篇资源主要介绍了如何使用Python将CSV文件高效地导入到MySQL数据库中，通过在VSCode环境下操作。文章作者分享了一种经过尝试和优化的方法，以解决大量数据（如几百万条）的导入问题。” 在处理大数据导入任务时，Python常常被用作连接MySQL数据库和CSV文件的桥梁。本资源提供的方案分为两个步骤： 1. 使用Python将CSV转换为TXT文件： 首先，代码使用`pandas`库读取CSV文件，并将其内容写入UTF-8编码的TXT文件。这一步的目的是为了让MySQL能够更高效地处理数据。代码中，`os`库用于遍历CSV文件夹，读取每个文件并使用`pd.read_csv`加载数据，然后利用`df.to_csv`将数据保存为TXT格式，分隔符为逗号，且不包含索引。 2. 使用MySQL命令行工具批量导入TXT数据： 接下来，在CMD命令行中，切换到MySQL的bin目录，通过`mysql`命令连接到数据库服务器。这里需要指定`--local-infile=1`参数来启用本地文件导入功能，然后输入数据库用户名、密码和选择要使用的数据库。之后，使用`LOAD DATA LOCAL INFILE`语句将TXT文件导入到特定的表中，指定字段分隔符（如逗号）、行终止符（如`\r\n`），并可以设置忽略首行（例如含有标题行的文件）。需要注意的是，文件路径不应包含空格，否则会导致导入失败。 这种方法的优点在于，`LOAD DATA INFILE`是MySQL中快速导入大量数据的命令，比使用SQL的`INSERT INTO`语句效率高得多。结合Python预处理CSV文件，可以有效地提高整个导入过程的速度和效率。 总结来说，该资源提供了一种适用于大型CSV数据导入MySQL的实用方法，通过Python与MySQL命令行的结合，实现了快速且高效的数据迁移。对于需要处理大量数据的开发者来说，这是一种值得参考的解决方案。