HDFS Java API操作（IDEA2023版）

HDFS (Hadoop Distributed File System) 是 Apache Hadoop 平台的核心组件，用于分布式存储大规模数据。在 IntelliJ IDEA 2023 版本中操作 HDFS，通常会用到 Hadoop 的官方 Java API 包 org.apache.hadoop.fs。

以下是基本的 HDFS Java API 操作步骤：

1. **添加依赖**：在你的 Maven 或 Gradle 项目配置文件（pom.xml 或 build.gradle）中添加 Hadoop 核心库的依赖。例如，Maven 里添加如下：

   <dependency>
       <groupId>org.apache.hadoop</groupId>
       <artifactId>hadoop-client</artifactId>
       <version>3.x.y</version> <!-- 更新到合适的版本 -->
   </dependency>

2. **创建 FileSystem 对象**：通过 `FileSystem` 类的静态方法 `get()` 来获取一个对 HDFS 文件系统实例的引用，需要提供集群的名称节点地址作为构造函数参数：

   Configuration conf = new Configuration();
   conf.set("fs.defaultFS", "hdfs://namenode.example.com:9000");
   FileSystem fs = FileSystem.get(conf);

3. **读取和写入文件**：
- **上传文件**：可以使用 `create()`、`append()` 和 `write()` 方法上传文件到指定路径：

     Path path = new Path("/path/to/file");
     DataOutputStream out = fs.create(path);
     // 写入数据...
     out.close();

- **下载文件**：使用 `open()` 和 `read()` 方法读取文件内容：

     DataInputStream in = fs.open(path);
     byte[] buffer = new byte[4096];
     int bytesRead;
     while ((bytesRead = in.read(buffer)) != -1) {
         // 处理读取的数据...
     }
     in.close();

4. **删除文件和目录**：

   boolean result = fs.delete(path, true); // 第二个参数表示是否递归删除整个目录

5. **关闭连接**：

   fs.close();