使用 Java API 操作 HDFS,并创建一个 /user/hadoop/test 目录。
时间: 2023-12-31 13:04:35 浏览: 103
hadoop的hdfs笔记
可以使用 Apache Hadoop 提供的 Java API 操作 HDFS。以下是创建 `/user/hadoop/test` 目录的示例代码:
```java
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class HdfsExample {
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://localhost:9000"); //设置HDFS的地址
FileSystem fs = FileSystem.get(conf);
Path path = new Path("/user/hadoop/test");
if (fs.exists(path)) {
System.out.println("目录已存在!");
} else {
boolean success = fs.mkdirs(path);
if (success) {
System.out.println("创建目录成功!");
} else {
System.out.println("创建目录失败!");
}
}
fs.close();
}
}
```
在这个示例中,我们首先创建了一个 `Configuration` 实例,并设置了 HDFS 的地址。然后使用 `FileSystem.get()` 方法获取了一个 `FileSystem` 实例,通过 `fs.exists()` 方法判断目录是否已经存在,如果不存在,则使用 `fs.mkdirs()` 方法创建目录。最后,关闭 `FileSystem` 实例。
需要注意的是,如果你的 HDFS 集群不在本地,需要将 `fs.defaultFS` 的值设置为 HDFS 的地址。同时,需要将 Hadoop 的依赖包添加到项目中。
阅读全文