使用java api操作hdfs上传
时间: 2023-04-26 11:00:58 浏览: 124
使用Java API操作HDFS上传文件的步骤如下:
1. 创建一个Configuration对象,用于指定HDFS的配置信息。
2. 创建一个FileSystem对象,用于连接HDFS。
3. 使用FileSystem对象的create方法创建一个输出流,用于将数据写入HDFS。
4. 使用Java IO流将数据写入输出流。
5. 关闭输出流和FileSystem对象。
示例代码如下:
```
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
public class HdfsUpload {
public static void main(String[] args) throws IOException {
// 1. 创建Configuration对象
Configuration conf = new Configuration();
// 2. 创建FileSystem对象
FileSystem fs = FileSystem.get(conf);
// 3. 创建输出流
OutputStream out = fs.create(new Path("/test.txt"));
// 4. 使用Java IO流将数据写入输出流
InputStream in = HdfsUpload.class.getResourceAsStream("/test.txt");
byte[] buffer = new byte[1024];
int len;
while ((len = in.read(buffer)) > 0) {
out.write(buffer, 0, len);
}
// 5. 关闭输出流和FileSystem对象
in.close();
out.close();
fs.close();
}
}
```
阅读全文