试编写程序,要求在HDFS文件系统中建立一个目录test,在test目录下创建文本文件file,并将该文件从HDFS下载到本地文件。
时间: 2024-05-15 14:17:10 浏览: 81
11HDFS的读写流程&NameNode、DataNode工作机制——好程序
5星 · 资源好评率100%
可以使用以下的Java代码实现:
```
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileUtil;
public class HDFSFileDownload {
public static void main(String[] args) {
Configuration conf = new Configuration();
Path dstPath = new Path("hdfs://localhost:9000/test/file");
Path srcPath = new Path("/path/to/local/file");
try {
FileSystem fileSystem = dstPath.getFileSystem(conf);
FileUtil.copy(fileSystem, dstPath, new File(srcPath.toUri().getPath()), false, conf);
} catch (Exception e) {
e.printStackTrace();
}
}
}
```
其中,需要将hdfs://localhost:9000替换为你的实际HDFS集群地址,/path/to/local/file替换为你想要将文件下载到的本地文件路径。
阅读全文