java将hdfs文件下载到本地
时间: 2024-04-18 11:07:29 浏览: 126
利用JAVA代码将本地文件传入HDFS中
可以使用Java中的Hadoop API来实现将HDFS文件下载到本地。以下是一个示例代码:
```java
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.IOException;
public class HDFSDownload {
public static void main(String[] args) throws IOException {
String hdfsFilePath = "/user/hadoop/test.txt"; // HDFS文件路径
String localFilePath = "/tmp/test.txt"; // 本地文件路径
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://localhost:9000"); // 设置HDFS地址
FileSystem fs = FileSystem.get(conf);
Path hdfsPath = new Path(hdfsFilePath);
Path localPath = new Path(localFilePath);
fs.copyToLocalFile(false, hdfsPath, localPath); // 将HDFS文件复制到本地
fs.close();
}
}
```
其中,`hdfsFilePath`是HDFS文件的路径,`localFilePath`是本地文件的路径,需要根据实际情况修改。`fs.defaultFS`是HDFS的地址,也需要根据实际情况修改。`fs.copyToLocalFile(false, hdfsPath, localPath)`方法将HDFS文件复制到本地,第一个参数表示是否删除原文件,这里设置为false,表示不删除。
阅读全文