java利用多线程批量下载压缩成zip

在Java中，可以利用多线程技术结合Apache Commons Compress库来实现批量下载文件并将其压缩成ZIP格式。以下是简要步骤：

1. **添加依赖**：首先，你需要在项目中引入`org.apache.commons.compress:commons-compress`库，用于压缩功能。

<dependency>
    <groupId>org.apache.commons</groupId>
    <artifactId>commons-compress</artifactId>
    <version>1.20</version> <!-- 使用最新版本 -->
</dependency>

2. **创建任务类**：定义一个WorkerThread类，继承自Runnable，负责下载单个文件并在完成后将其加入到ZIP文件中。

public class DownloadTask implements Runnable {
    private String url;
    private String localPath;
    private ZipOutputStream zipOut;

    // 构造函数、初始化及运行逻辑...
}

3. **下载线程池**：创建一个固定大小的线程池，如ThreadPoolExecutor，并将任务放入其中执行。

ExecutorService executor = Executors.newFixedThreadPool(5); // 根据实际需要调整线程数
List<Future<Void>> futures = new ArrayList<>(); // 存储每个任务的结果

for (DownloadTask task : tasks) { // tasks是一个包含所有下载任务的列表
    Future<Void> future = executor.submit(task);
    futures.add(future);
}

// 等待所有下载任务完成
for (Future<Void> future : futures) {
    try {
        future.get();
    } catch (InterruptedException | ExecutionException e) {
        e.printStackTrace();
    }
}

executor.shutdown(); // 关闭线程池

4. **处理 ZIP 文件**：在DownloadTask类中，在下载完成后，通过ZipEntry和zipOut将文件添加到ZIP中。

@Override
public void run() {
    // 下载文件逻辑
    // ...

    try (FileOutputStream fileOut = new FileOutputStream(localPath);
         ZipOutputStream zipOut = new ZipOutputStream(new BufferedOutputStream(fileOut))) {

        // 将文件添加到ZIP中
        ZipEntry entry = new ZipEntry(url.substring(url.lastIndexOf("/") + 1));
        zipOut.putNextEntry(entry);
        Files.copy(localPath.toPath(), zipOut);
        zipOut.closeEntry();

    } catch (IOException e) {
        e.printStackTrace();
    }
}