快速导入40万数据至MySQL：loaddata infile详解与utf8编码处理

MySQL的`LOAD DATA INFILE`命令是一种高效的方法，用于快速将大量数据从外部文件导入到数据库中，特别是在处理预生成的文本文件时。在这个特定的例子中，作者提到导入40万条数据仅花费3-5秒，显示出该操作在性能上的优势。当涉及到中文字符导入时，由于MySQL的默认字符集设置为UTF-8，确保txt文件也采用UTF-8编码至关重要，否则可能会遇到乱码问题。 `LOAD DATA INFILE`有以下几个关键点： 1. **文件格式与字符集匹配**：为了正确解析非ASCII字符，如中文，文件必须保存为UTF-8编码。如果使用的是其他字符集，可能需要进行转换或调整MySQL的字符集设置。 2. **选项选择**： - **IGNORE**：默认情况下，`LOAD DATA INFILE`使用`IGNORE`选项，这意味着遇到重复键值时，MySQL会忽略该行。这对于避免唯一性约束冲突很有用。 - **REPLACE**：如果想要替换现有数据，而不是忽略，可以使用`REPLACE`选项。这会删除已存在的记录并插入新数据，但同样需要注意唯一性约束。 3. **本地与远程导入**： - **远程导入（--local-infile=1）**：当从远程客户端导入数据时，需要明确指定`LOCAL`选项，因为默认情况下，MySQL不允许远程文件上传。这允许数据通过网络传输到数据库。 - **本地导入**：对于本地文件导入，不指定`LOCAL`时，如果数据与表中的唯一性约束冲突，导入会被阻止，此时可以选择`IGNORE`或`REPLACE`来处理冲突。 4. **示例应用**： - 作者提供了两个示例： - 本地服务器导入本地文件时，需要查看表结构（如创建`tmp_loaddata`表的SQL语句），然后运行`LOAD DATA INFILE`命令，可能遇到唯一性约束问题，需要处理。 - 当在远程客户端导入时，需要加上`--local-infile=1`选项，并且指定`LOCAL`，以允许数据导入。 为了深入了解`LOAD DATA INFILE`的使用，强烈建议查阅MySQL官方文档，那里有详尽的解释和最佳实践，包括错误处理、性能优化和安全注意事项。此外，实际操作中可能还需要根据具体环境和需求进行适当的调整和配置。