导出10w数据,怕内存溢出怎么办
时间: 2024-03-10 17:49:13 浏览: 173
phpExcel导出大量数据出现内存溢出错误的解决方法
导出大量数据的时候,如果一次性获取过多数据,很容易导致内存溢出。为了避免这种情况,可以考虑采用分页查询和分批写入Excel文件的方式。以下是一种常见的分页查询和分批写入Excel文件的方式:
1. 将数据按照分页大小进行分页,每次查询一页数据。
2. 使用POI等Java Excel操作库,将查询到的一页数据分批写入Excel文件中,每次写入一定数量的数据。
3. 循环执行步骤1和步骤2,直到所有数据都导出到Excel文件中。
下面是一个简单的代码示例:
```
// 设置分页大小和每次写入的数据量
int pageSize = 1000;
int batchSize = 100;
// 创建Excel文件和工作表
Workbook workbook = new XSSFWorkbook();
Sheet sheet = workbook.createSheet("Sheet1");
// 查询总记录数
int total = getDataTotal();
// 分页导出数据
for(int i = 0; i < total; i += pageSize) {
// 查询一页数据
List<Data> dataList = getDataByPage(i, pageSize);
// 将一页数据分批写入Excel文件中
for(int j = 0; j < dataList.size(); j += batchSize) {
// 创建批次数据列表
List<Data> batchList = dataList.subList(j, Math.min(j + batchSize, dataList.size()));
// 将批次数据写入Excel文件中
for(int k = 0; k < batchList.size(); k++) {
Data data = batchList.get(k);
Row row = sheet.createRow(i + j + k);
row.createCell(0).setCellValue(data.getId());
row.createCell(1).setCellValue(data.getName());
row.createCell(2).setCellValue(data.getValue());
// ...
}
}
}
// 将Excel文件写入输出流
OutputStream outputStream = response.getOutputStream();
workbook.write(outputStream);
outputStream.flush();
outputStream.close();
```
在上面的代码中,首先设置了分页大小为1000条数据和每次写入的数据量为100条数据,然后查询总记录数,接着循环执行分页查询数据并分批写入Excel文件中,最后将Excel文件写入输出流返回给前端。这样可以避免一次性获取数据过多导致内存溢出的问题。
阅读全文