使用 FSDataInputStream获取 HDFS 的 /user /hadoop/目录下的 task.txt 的文件内容,并输出,其 Puri / hdfs://localhost: 9000/user/hadoop/task.txt
时间: 2024-09-30 08:06:59 浏览: 34
利用JAVA代码将本地文件传入HDFS中
在Hadoop的分布式文件系统(HDFS)中,使用`FSDataInputStream`读取文件通常涉及以下步骤:
1. **创建FileSystem实例**:首先需要连接到HDFS,这通常是通过`FileSystem`接口完成,例如`Configuration`对象初始化后使用`FileSystem.get()`。
```java
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(conf);
```
2. **定位文件路径**:指定任务文本文件的完整路径,包括协议、主机名、端口和具体的目录。
```java
Path filePath = new Path("hdfs://localhost:9000/user/hadoop/task.txt");
```
3. **打开文件流**:使用`FSDataInputStream`从文件路径中打开一个输入流。
```java
FSDataInputStream in = fs.open(filePath);
```
4. **读取和处理文件内容**:可以逐行读取文件内容,然后输出到控制台或其他地方。
```java
BufferedReader reader = new BufferedReader(new InputStreamReader(in));
String line;
while ((line = reader.readLine()) != null) {
System.out.println(line);
}
reader.close(); // 关闭流
in.close(); // 关闭FSDataInputStream
fs.close(); // 最终关闭FileSystem
```
阅读全文