java代码实现HDFS文件内容读取并输出
时间: 2024-01-11 08:18:00 浏览: 151
可以使用 Hadoop 提供的 Java API 来实现 HDFS 文件内容的读取和输出。以下是一个简单的示例代码:
```java
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import java.io.InputStream;
import java.net.URI;
public class HdfsReader {
public static void main(String[] args) throws Exception {
// 创建 Hadoop 配置对象
Configuration conf = new Configuration();
// 创建 Hadoop 文件系统对象
FileSystem fs = FileSystem.get(URI.create("hdfs://localhost:9000"), conf);
// 创建 Hadoop 文件路径对象
Path path = new Path("/user/input/test.txt");
// 打开 Hadoop 文件输入流
InputStream in = fs.open(path);
try {
// 将输入流内容输出到控制台
IOUtils.copyBytes(in, System.out, 4096, false);
} finally {
// 关闭输入流
IOUtils.closeStream(in);
}
}
}
```
在上面的代码中,我们首先创建了一个 Hadoop 配置对象和一个 Hadoop 文件系统对象。然后我们创建了一个 Hadoop 文件路径对象,指定要读取的文件路径。接下来,我们使用文件系统对象打开文件输入流,并通过 IOUtils 工具类将输入流内容输出到控制台。最后我们关闭输入流,释放资源。
阅读全文