用java编写一个多线程处理大数据文件的例子

在Java中编写一个多线程处理大数据文件的示例，我们可以使用`BufferedReader`读取文件，`ExecutorService`管理线程池，以及`Callable`和`Future`来异步计算数据。下面是一个简化版的示例：

import java.io.*;
import java.util.concurrent.*;

public class DataProcessor {
    private static final int THREAD_POOL_SIZE = 4;
    
    public static void main(String[] args) throws IOException, ExecutionException, InterruptedException {
        // 读取大数据文件
        File inputFile = new File("large_data.txt");
        BufferedReader reader = new BufferedReader(new FileReader(inputFile));
        
        // 创建线程池
        ExecutorService executor = Executors.newFixedThreadPool(THREAD_POOL_SIZE);
        
        // 使用Callable包装任务，每个任务处理文件的一部分
        List<Future<String>> results = new ArrayList<>();
        String line;
        while ((line = reader.readLine()) != null) {
            DataTask task = new DataTask(line);
            Future<String> result = executor.submit(task);
            results.add(result);
        }
        
        // 关闭输入流并等待所有任务完成
        reader.close();
        for (Future<String> future : results) {
            try {
                System.out.println(future.get()); // 获取计算结果
            } catch (InterruptedException | ExecutionException e) {
                e.printStackTrace();
            }
        }

        // 关闭线程池
        executor.shutdown();
    }

    // 定义任务类，这里只是一个简单的计算示例
    static class DataTask implements Callable<String> {
        private String data;

        public DataTask(String data) {
            this.data = data;
        }

        @Override
        public String call() {
            // 实现具体的数据处理逻辑
            // 这里仅做简单示例，替换为实际的计算操作
            return "Processed: " + data.length();
        }
    }
}

在这个例子中，`DataTask`类实现了`Callable`接口，它的`call()`方法会在单独的线程中执行。通过`ExecutorService`提交这些任务，并获取它们的结果。