java怎么上传文件到HDFS
时间: 2024-02-28 19:55:03 浏览: 76
要在Java中上传文件到HDFS,你可以使用Hadoop的Java API。以下是一个简单的代码示例:
```java
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.File;
import java.io.IOException;
public class HDFSUploader {
public static void main(String[] args) throws IOException {
String localFilePath = "/path/to/local/file.txt";
String hdfsFilePath = "/path/to/hdfs/file.txt";
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(conf);
// 本地文件路径
Path localPath = new Path(localFilePath);
// HDFS文件路径
Path hdfsPath = new Path(hdfsFilePath);
// 上传文件到HDFS
fs.copyFromLocalFile(localPath, hdfsPath);
System.out.println("File uploaded to HDFS.");
}
}
```
在这个示例中,我们首先指定了本地文件路径和HDFS文件路径。然后,我们创建了一个Hadoop配置对象,并使用它创建了一个Hadoop文件系统对象。接下来,我们创建了本地路径和HDFS路径对象,并使用`copyFromLocalFile()`方法将本地文件上传到HDFS。最后,我们输出了一条消息,表示文件已成功上传到HDFS。
需要注意的是,你的Java应用程序必须在Hadoop集群中运行,才能使用Hadoop的Java API来上传文件到HDFS。
阅读全文