java 大数据量 excel导入到mysql

当处理大量数据时，使用多线程可以提高导入效率。除此之外，还有一些其他的技巧可以帮助优化导入过程，下面是一些参考：

1. 使用批量插入：批量插入可以显著提高导入效率，因为它减少了和数据库的交互次数。可以使用 JDBC 的 `addBatch()` 方法来将多个 SQL 语句打包成一个批次，然后使用 `executeBatch()` 方法一次性执行。建议每次批量插入的数据行数不要过多，最好控制在几千行以内，否则可能会导致内存溢出。

2. 开启事务：在大量数据导入时，开启事务可以提高效率，因为它可以减少数据库的提交操作。通过 `Connection` 对象的 `setAutoCommit(false)` 方法来关闭自动提交，然后在执行完批量插入后，使用 `commit()` 方法手动提交事务。

3. 使用流式读取：如果你的 Excel 文件非常大，一次性读取到内存中可能会导致内存溢出。这时可以使用流式读取的方式，即读取一部分数据，处理完后再读取下一部分。可以使用 Apache POI 的 `SXSSFWorkbook` 类来实现流式读取。

4. 关闭自动刷新：在使用 `SXSSFWorkbook` 进行流式读取时，默认情况下会自动刷新内存，将数据写入磁盘。如果你的 Excel 文件非常大，频繁的刷新可能会影响性能。可以使用 `setFlushOnFlush()` 方法来关闭自动刷新。

下面是一份示例代码，仅供参考：

// 打开 Excel 文件
Workbook workbook = WorkbookFactory.create(new File("data.xlsx"));

// 获取工作表
Sheet sheet = workbook.getSheetAt(0);

// 开始事务
Connection conn = DriverManager.getConnection(url, user, password);
conn.setAutoCommit(false);

// 准备 SQL 语句
String sql = "INSERT INTO table_name (col1, col2, col3) VALUES (?, ?, ?)";
PreparedStatement pstmt = conn.prepareStatement(sql);

// 批量插入数据
int batchSize = 1000;
int count = 0;
for (Row row : sheet) {
    pstmt.setString(1, row.getCell(0).getStringCellValue());
    pstmt.setString(2, row.getCell(1).getStringCellValue());
    pstmt.setString(3, row.getCell(2).getStringCellValue());
    pstmt.addBatch();
    if (++count % batchSize == 0) {
        pstmt.executeBatch();
    }
}

// 执行剩余的数据
pstmt.executeBatch();

// 提交事务
conn.commit();

// 关闭资源
pstmt.close();
conn.close();
workbook.close();

需要注意的是，这只是一个简单的示例代码，具体实现还需要根据实际情况进行调整。同时，需要注意数据库连接池的配置，以及线程安全和数据一致性的问题。