hadoop使用java api操作hdfs
时间: 2023-05-31 21:03:30 浏览: 186
hadoop的hdfs文件操作实现上传文件到hdfs
5星 · 资源好评率100%
Hadoop是一个分布式计算框架,它的核心组件包括HDFS(Hadoop分布式文件系统)和MapReduce。在Hadoop中,Java API是操作HDFS的主要方式之一。
以下是使用Java API操作HDFS的步骤:
1. 导入Hadoop依赖项
```java
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
```
2. 配置Hadoop环境
```java
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://localhost:9000");
```
3. 获取FileSystem对象
```java
FileSystem fs = FileSystem.get(conf);
```
4. 创建目录
```java
Path path = new Path("/test");
fs.mkdirs(path);
```
5. 上传文件
```java
Path srcPath = new Path("/local/file.txt");
Path destPath = new Path("/test/file.txt");
fs.copyFromLocalFile(srcPath, destPath);
```
6. 下载文件
```java
Path srcPath = new Path("/test/file.txt");
Path destPath = new Path("/local/file.txt");
fs.copyToLocalFile(srcPath, destPath);
```
7. 删除文件或目录
```java
Path path = new Path("/test/file.txt");
fs.delete(path, true); // true表示递归删除目录
```
以上是使用Java API操作HDFS的基本步骤,可以根据实际需求进行修改和扩展。
阅读全文