java连接HDFS并下载某个目录下的所有文件成压缩包

要连接Java到HDFS并下载某个目录下的所有文件成压缩包，可以使用Hadoop API中的FileSystem类和ZipOutputStream类。

以下是示例代码：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.*;
import java.net.URI;
import java.net.URISyntaxException;
import java.util.zip.ZipEntry;
import java.util.zip.ZipOutputStream;

public class HDFSFolderDownload {

    public static void main(String[] args) throws IOException, URISyntaxException {
        String hdfsUri = "hdfs://localhost:9000";
        String folderPath = "/user/hadoop/example";
        String localPath = "example.zip";

        Configuration config = new Configuration();
        // 设置HDFS的URI
        config.set("fs.defaultFS", hdfsUri);

        // 创建HDFS文件系统对象
        FileSystem fs = FileSystem.get(new URI(hdfsUri), config);

        // 创建HDFS文件夹路径对象
        Path hdfsFolderPath = new Path(folderPath);

        // 创建本地文件路径对象
        Path localPathObj = new Path(localPath);

        // 创建本地输出流对象
        OutputStream outputStream = new FileOutputStream(localPathObj.toUri().getPath());

        // 创建本地压缩流对象
        ZipOutputStream zipOutputStream = new ZipOutputStream(outputStream);

        // 遍历HDFS文件夹并下载所有文件
        downloadFolder(fs, hdfsFolderPath, zipOutputStream);

        // 关闭输出流、压缩流和文件系统
        zipOutputStream.close();
        outputStream.close();
        fs.close();
    }

    public static void downloadFolder(FileSystem fs, Path hdfsFolderPath, ZipOutputStream zipOutputStream) throws IOException {
        // 获取HDFS文件系统中的所有文件和文件夹
        Path[] pathList = fs.listPaths(hdfsFolderPath);

        // 遍历文件和文件夹
        for (Path path : pathList) {
            if (fs.isDirectory(path)) {
                // 如果是文件夹，则递归下载它
                downloadFolder(fs, path, zipOutputStream);
            } else {
                // 如果是文件，则下载它
                Path localPath = new Path(path.getName());
                fs.copyToLocalFile(path, localPath);

                // 创建压缩包条目并写入数据
                ZipEntry zipEntry = new ZipEntry(path.getName());
                zipOutputStream.putNextEntry(zipEntry);

                FileInputStream fileInputStream = new FileInputStream(localPath.toUri().getPath());
                byte[] buffer = new byte[1024];
                int len;
                while ((len = fileInputStream.read(buffer)) > 0) {
                    zipOutputStream.write(buffer, 0, len);
                }
                fileInputStream.close();

                // 删除本地文件
                localPath.toFile().delete();
            }
        }
    }
}

这将遍历给定的HDFS文件夹并下载所有文件。然后，它将创建一个本地压缩文件并将所有下载的文件添加到该文件中。最后，它将删除所有下载的文件。

希望这些代码能够帮助到您！