徐庶讲解百万数据导出execl多线程如何避免OOM源码

徐庶在讲解处理大量数据（如百万级）从数据库导出到Excel文件，并通过多线程优化性能以避免内存溢出（OOM，Out Of Memory）的过程中，可能会建议以下几个关键点：

1. **分批加载**：将大数据量拆分成较小的数据块，每次只加载和处理一部分，而不是一次性全部加载到内存。可以设置一个合适的阈值，例如每读取几千条数据就保存一次。

List<List<Object>> dataList = new ArrayList<>();
while (hasMoreData) {
    List<Object> batch = readDataInBatch();
    if (!batch.isEmpty()) {
        dataList.add(batch);
        // 每处理一定数量的数据，将数据写入Excel
        writeToExcel(dataList);
        dataList.clear(); // 清空当前批次，释放内存
    }
}

2. **多线程并行操作**：利用并发库（如Java的ExecutorService），对每个数据块创建一个新的线程进行写入Excel的操作，避免阻塞主线程。

ExecutorService executor = Executors.newFixedThreadPool(threadPoolSize);
for (List<Object> batch : dataList) {
    executor.submit(() -> writeToExcel(batch));
}
executor.shutdown(); // 等待所有任务完成

3. **内存池技术**：对于频繁创建和销毁的对象（如字符串、日期等），考虑使用对象池来复用，减少垃圾回收的压力。

4. **缓存与流式处理**：如果可能，使用流（Stream API）处理数据，它们会在需要时才计算结果，而不是一次性生成所有结果再存储在内存中。

5. **监控内存状况**：运行过程中持续监控JVM的内存使用情况，一旦发现内存占用过高，及时调整数据加载策略或者增大堆内存。