使用 Java API 操作 HDFS,读取相关文件内容并换行输出。
时间: 2024-05-14 15:13:01 浏览: 157
以下是使用 Java API 操作 HDFS 读取文件内容并换行输出的示例代码:
```java
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.BufferedReader;
import java.io.InputStreamReader;
public class HdfsFileReader {
public static void main(String[] args) throws Exception {
// 设置 Hadoop 配置信息
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://localhost:9000");
// 获取文件系统
FileSystem fs = FileSystem.get(conf);
// 获取文件路径
Path path = new Path("/user/hadoop/input/sample.txt");
// 读取文件内容
BufferedReader reader = new BufferedReader(new InputStreamReader(fs.open(path)));
// 输出文件内容
String line;
while ((line = reader.readLine()) != null) {
System.out.println(line);
}
// 关闭读取器和文件系统
reader.close();
fs.close();
}
}
```
上述代码中,我们首先设置了 Hadoop 的配置信息,包括默认文件系统地址和端口号。然后通过 `FileSystem.get(conf)` 获取文件系统对象。接着,我们指定要读取的文件路径,并通过 `BufferedReader` 读取文件内容。最后,我们逐行输出文件内容,直到文件读取完毕。最后别忘了关闭读取器和文件系统对象。
阅读全文