java读取大csv文件上传_java – 使用superCSV读取80GB的大文本文件
时间: 2024-05-16 10:14:05 浏览: 15
读取大型CSV文件可以使用SuperCSV库,它是一个快速、可伸缩和轻量级的CSV读写器/写入器。下面是使用SuperCSV读取大型CSV文件的Java示例代码:
```java
import java.io.FileReader;
import java.io.IOException;
import java.util.List;
import org.supercsv.io.CsvListReader;
import org.supercsv.prefs.CsvPreference;
public class ReadLargeCSVFile {
public static void main(String[] args) throws IOException {
String csvFileName = "/path/to/large/file.csv";
CsvListReader csvReader = null;
try {
csvReader = new CsvListReader(new FileReader(csvFileName),
CsvPreference.STANDARD_PREFERENCE);
List<String> record;
while ((record = csvReader.read()) != null) {
// process record
}
} finally {
if (csvReader != null) {
csvReader.close();
}
}
}
}
```
在上面的示例中,使用CsvListReader类从文件中读取CSV记录。CsvListReader类可以读取CSV记录并将它们作为List<String>返回。CsvPreference.STANDARD_PREFERENCE定义了CSV文件的格式,包括分隔符、文本限定符等。您可以根据您的CSV文件的格式更改CsvPreference对象。
此外,您可以使用CSV文件的分隔符和文本限定符作为参数创建CsvListReader对象,如下所示:
```java
CsvListReader csvReader = new CsvListReader(new FileReader(csvFileName),
new CsvPreference.Builder('"', ',', "\n").build());
```
在上面的示例中,CSV文件使用双引号作为文本限定符,逗号作为分隔符,换行符作为记录分隔符。
读取大型CSV文件时,需要注意内存使用情况。您可以使用Java的内存分页技术来处理大型CSV文件。将CSV文件分成多个文件,并在每个文件中处理一部分记录,以避免内存不足的问题。
相关推荐
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)