快速导入40万数据到MySQL：load data infile与utf8处理

在MySQL中，`LOAD DATA INFILE` 是一个强大的SQL命令，用于将外部文件中的数据快速导入到数据库表中，尤其适用于批量数据导入。针对40万条数据能在3-5秒内导入，效率较高。然而，当涉及到非英文字符，如中文时，确保文件和数据库字符集的一致性至关重要。如果你的MySQL服务器设置为UTF-8，那么文件也必须以UTF-8编码保存，否则可能会导致乱码。例如，命令如下： ```sql LOAD DATA INFILE 'd:/Websites/Sxxxx/test1.txt' IGNORE INTO TABLE `names` FIELDS TERMINATED BY ',' ENCLOSED BY '\"' ``` 这里`IGNORE`选项表示在导入过程中遇到重复键值时会忽略数据，而`REPLACE`则会替换已存在的行。如果在远程客户端执行此操作，需要加上`--local-infile=1`选项，以便MySQL能够处理文件中的数据。 对于本地服务器导入本地文件的情况，如果不指定`LOCAL`，可能会因为唯一性约束冲突而失败。此时，使用`IGNORE`或`REPLACE`可以避免这个问题，继续导入数据。例如，测试过程如下： 1. 首先检查表结构和当前数据： ``` SHOW CREATE TABLE tmp_loaddata\G; SELECT * FROM tmp_loaddata; ``` 2. 然后在命令行通过`system`命令执行文本文件内容到MySQL： ``` mysql> system cat /home/zhuxu/1.txt ``` 3. 接着尝试导入数据，可能遇到唯一性约束错误，这时使用`REPLACE`或`IGNORE`来处理： ```sql LOAD DATA INFILE '/home/zhuxu/1.txt' REPLACE INTO TABLE tmp_loaddata; ``` MySQL官方文档提供了详尽的`LOAD DATA INFILE`命令的说明，包括各种选项、限制以及如何处理不同类型的数据导入情况。建议在遇到具体问题时查阅官方文档，以便更准确地调整参数和解决潜在问题。在处理大量数据时，除了关注字符集一致性，还要注意性能优化，如使用索引、分批导入等。