头歌第1关：HDFS文件操作

### HDFS 文件操作教程实例

#### 第一关：基础环境准备与概念理解

为了顺利进行HDFS文件的操作，首先要确保已经正确安装并配置好了Hadoop集群。HDFS作为Hadoop的核心组件之一，其架构主要包括NameNode和DataNode两个部分[^1]。

- **NameNode**负责管理文件系统的命名空间（Namespace），保存着文件系统树及其访问控制信息。
- **DataNode**用于存储实际的数据块，默认情况下会将数据复制多份以提高可靠性和可用性。

了解这些基础知识有助于后续更高效地完成各种文件处理任务。接下来可以尝试一些简单的命令来熟悉这个分布式文件系统的工作方式。

#### 命令行工具入门

假设现在有一个运行良好的Hadoop环境，在Linux终端可以通过`hdfs dfs`指令来进行多种常见的文件操作：

- 列出目录下的所有文件：

  hdfs dfs -mkdir /user/hadoop/input

- 向HDFS中上传本地文件：

  hdfs dfs -put localfile.txt /user/hadoop/

上述命令展示了如何利用命令行接口轻松实现对远程服务器上HDFS资源的基本管理和交互功能。

#### 使用Java API 进行文件读取

除了命令行外，还可以借助编程语言如Java直接调用API方法来操纵HDFS内的对象。下面给出了一段简单示例代码展示怎样从指定位置获取文件内容至客户端内存缓冲区[^3]。

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class ReadFromHDFS {
    public static void main(String[] args) throws Exception{
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(conf);
        
        Path path = new Path("/example/file");
        try (FSDataInputStream inputStream = fs.open(path)) {
            byte[] buffer = new byte[1024];
            int bytesRead = inputStream.read(buffer);
            
            while(bytesRead != -1){
                System.out.write(buffer, 0 ,bytesRead );
                bytesRead = inputStream.read(buffer);
            }
        }

        fs.close();
    }
}

这段程序片段说明了通过建立连接、打开目标路径对应的输入流，并循环读取直至结束的过程，实现了跨网络边界的安全传输服务。