hadoop封装hdfs工具类

Hadoop是一个开源的框架，它允许使用简单的编程模型跨计算机集群分布式处理大数据。Hadoop的核心是HDFS（Hadoop Distributed File System），这是一个高度容错的系统，适合在廉价硬件上存储大数据。封装HDFS工具类通常是为了简化与HDFS的交互，使其更加方便和高效。一个典型的封装类可能会包含如下功能：

1. 连接和配置HDFS：设置Hadoop的配置参数，初始化FileSystem实例。
2. 文件操作：包括但不限于创建目录、列出文件、删除文件或目录、重命名文件、读写文件等。
3. 文件状态检查：获取文件或目录的元数据，比如大小、权限、复制因子等。
4. 错误处理：封装异常处理逻辑，处理常见的I/O异常，使上层调用更加清晰。
5. 资源管理：确保打开的资源被正确关闭，比如文件流、连接等。

在Java中，可以使用Hadoop提供的API来实现这样一个工具类。以下是一个简单的封装工具类的示例代码：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.util.Progressable;

import java.io.Closeable;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.net.URI;

public class HdfsUtil implements Closeable {
    private FileSystem fs;
    private Configuration conf;

    public HdfsUtil(String hdfsUri, String user) throws IOException {
        conf = new Configuration();
        conf.set("fs.defaultFS", hdfsUri);
        fs = FileSystem.get(URI.create(hdfsUri), conf, user);
    }

    public void uploadFile(File src, String dst) throws IOException {
        Path dstPath = new Path(dst);
        Path srcPath = new Path(src.getPath());
        fs.copyFromLocalFile(srcPath, dstPath);
    }

    public void downloadFile(String src, File dst) throws IOException {
        Path dstPath = new Path(dst.getPath());
        Path srcPath = new Path(src);
        fs.copyToLocalFile(srcPath, dstPath);
    }

    // 更多的封装方法可以在这里实现，比如列出目录下的文件，删除文件等

    @Override
    public void close() throws IOException {
        IOUtils.closeStream(fs);
    }
}

使用此类时，你可以这样操作：

public class HdfsExample {
    public static void main(String[] args) {
        try (HdfsUtil hdfsUtil = new HdfsUtil("hdfs://namenode:8020", "user")) {
            hdfsUtil.uploadFile(new File("localfile.txt"), "/user/hadoop/uploadedfile.txt");
            hdfsUtil.downloadFile("/user/hadoop/uploadedfile.txt", new File("localfile_download.txt"));
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}