Java 读取hdfs文件数据并输出
时间: 2023-08-31 13:06:07 浏览: 170
可以使用Hadoop的Java API来读取HDFS文件数据并输出到控制台。以下是一个示例代码:
```java
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import java.io.IOException;
import java.io.InputStream;
public class HDFSReader {
public static void main(String[] args) throws IOException {
String uri = "hdfs://[namenode]:[port]/[path]/[filename]";
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(URI.create(uri), conf);
InputStream in = null;
try {
in = fs.open(new Path(uri));
IOUtils.copyBytes(in, System.out, 4096, false);
} finally {
IOUtils.closeStream(in);
}
}
}
```
在这个示例中,我们首先指定要读取的HDFS文件的URI。然后,我们创建一个Hadoop配置对象和一个Hadoop文件系统对象,使用这些对象打开文件并读取它的内容。最后,我们使用`IOUtils.copyBytes()`方法将文件内容复制到标准输出流中。
请注意,这个代码示例需要将Hadoop的类路径添加到Java类路径中,并且需要正确配置Hadoop的环境变量。
阅读全文