编写 java 程序实现:把上面己上传到 HDFS 中的文件下载到本地
时间: 2023-06-13 15:08:48 浏览: 215
hdfs-gress:通用加载程序
可以使用 Hadoop 的 Java API 来实现文件的下载,下面是一个简单的 Java 代码示例:
```java
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.IOException;
public class HDFSDownload {
public static void main(String[] args) throws IOException {
// 创建配置对象
Configuration conf = new Configuration();
// 设置HDFS的URI
conf.set("fs.defaultFS", "hdfs://localhost:9000");
// 获取FileSystem对象
FileSystem fs = FileSystem.get(conf);
// 定义HDFS文件路径
Path hdfsPath = new Path("/test/test.txt");
// 定义本地文件路径
Path localPath = new Path("/tmp/test.txt");
// 下载文件
fs.copyToLocalFile(false, hdfsPath, localPath, true);
// 关闭FileSystem对象
fs.close();
}
}
```
在上面的代码中,我们首先创建了一个 `Configuration` 对象,并设置了 HDFS 的 URI。然后通过 `FileSystem.get(conf)` 方法获取到了一个 `FileSystem` 对象,接着定义了 HDFS 文件路径和本地文件路径,最后调用 `copyToLocalFile()` 方法实现文件的下载。最后别忘记关闭 `FileSystem` 对象。
阅读全文