java连接hadoop的测试代码
时间: 2023-07-09 22:53:45 浏览: 194
您好,以下是一个简单的Java代码示例,用于连接Hadoop集群并读取HDFS文件:
```java
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.FileStatus;
public class HdfsReader {
public static void main(String[] args) throws Exception {
String hdfsPath = "hdfs://localhost:9000/user/hadoop/input/test.txt";
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://localhost:9000");
FileSystem fs = FileSystem.get(conf);
Path path = new Path(hdfsPath);
if (fs.exists(path)) {
FileStatus[] fileStatus = fs.listStatus(path);
for (FileStatus status : fileStatus) {
System.out.println(status.getPath());
}
} else {
System.out.println("File not found");
}
}
}
```
上面的代码示例使用了Hadoop的Java API,首先设置了Hadoop集群的地址,然后通过FileSystem类获取Hadoop的文件系统对象。接下来,使用listStatus方法列出指定路径下的所有文件,并输出它们的路径。请注意,您需要将代码中的hdfsPath替换为您自己的HDFS文件路径。
希望这可以帮助您开始连接和操作Hadoop集群!
阅读全文