SpringBoot利用ThreadPoolTaskExecutor批量插入百万级数据实测！

Spring Boot中的`ThreadPoolTaskExecutor`是一个线程池管理工具，可以用来执行异步任务，包括批量处理数据。当需要处理大量数据，特别是涉及到数据库的插入操作时，使用线程池可以提高性能，因为它可以并发地执行多个插入操作，减少阻塞。

批量插入百万级数据时，你可以按照以下步骤操作：

1. 配置ThreadPoolTaskExecutor：首先，在Spring Boot应用的配置类中（如`ApplicationConfig`或`MyConfig`），定义一个`ThreadPoolTaskExecutor`，设置核心线程数、最大线程数和队列大小等参数。例如：

@Bean
public ThreadPoolTaskExecutor taskExecutor() {
    ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
    executor.setCorePoolSize(10); // 核心线程数
    executor.setMaxPoolSize(20); // 最大线程数
    executor.setQueueCapacity(1000); // 队列大小
    executor.setThreadNamePrefix("data-import-");
    executor.initialize();
    return executor;
}

2. 创建批量操作类：创建一个包含`Runnable`接口的类，用于封装批量插入操作。比如，如果你的数据源是JPA，可以创建一个`JpaInsertBatch`类：

public class JpaInsertBatch implements Runnable {
    private List<YourEntity> entities; // 你需要插入的数据列表

    @Override
    public void run() {
        entityManager.persistAll(entities);
    }
}

3. 批量提交任务：使用`ThreadPoolTaskExecutor`来执行批量插入任务，循环提交你的数据列表到线程池：

@Autowired
private ThreadPoolTaskExecutor taskExecutor;

List<YourEntity> largeDataList = ... // 获取你的百万级数据

for (int i = 0; i < largeDataList.size(); i += batchSize) {
    int endIndex = Math.min(i + batchSize, largeDataList.size());
    taskExecutor.execute(new JpaInsertBatch(largeDataList.subList(i, endIndex)));
}

4. 评估性能：实测时，记录开始和结束时间，计算整个过程的耗时，并根据实际情况调整线程池参数，以达到最佳性能。