使用java操作hdfs
时间: 2024-01-02 13:03:12 浏览: 40
要使用Java操作HDFS,您需要使用Hadoop的Java API。以下是一些常见的HDFS操作:
1. 创建一个Hadoop配置对象:
```java
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://localhost:9000");
```
2. 创建一个HDFS文件系统对象:
```java
FileSystem fs = FileSystem.get(conf);
```
3. 在HDFS上创建一个新文件:
```java
Path path = new Path("/user/hadoop/test.txt");
FSDataOutputStream outputStream = fs.create(path);
outputStream.writeBytes("Hello World");
outputStream.close();
```
4. 从HDFS上读取一个文件:
```java
Path path = new Path("/user/hadoop/test.txt");
FSDataInputStream inputStream = fs.open(path);
BufferedReader reader = new BufferedReader(new InputStreamReader(inputStream));
String line = null;
while ((line = reader.readLine()) != null) {
System.out.println(line);
}
reader.close();
inputStream.close();
```
5. 从HDFS上删除一个文件:
```java
Path path = new Path("/user/hadoop/test.txt");
fs.delete(path, true);
```
这些是一些基本的HDFS操作。您可以使用Java API进行更多的操作,例如复制、移动、重命名文件或目录等。