第2关：配置开发环境 - Hadoop安装与伪分布式集群搭建

### 配置Hadoop开发环境及伪分布式集群安装

#### 创建必要的目录结构
为了确保Hadoop能够正常运行，在开始之前需创建一些必需的文件夹。这些文件夹用于存储临时数据和其他重要信息。

mkdir /usr/hadoop
mkdir /usr/hadoop/tmp
mkdir /usr/hadoop/hdfs
mkdir /usr/hadoop/hdfs/data
mkdir /usr/hadoop/hdfs/name

上述命令会建立一个基本框架来支持后续操作[^3]。

#### 下载并解压Hadoop包
前往官方站点获取最新版本的Hadoop压缩包，并将其放置到合适的位置，比如`/opt`或`/usr/local`下。接着使用tar工具解开此压缩包：

cd /path/to/download/directory/
tar -xzvf hadoop-x.x.x.tar.gz -C /desired/installation/path/

这里假设已经成功下载了名为"hadoop-x.x.x.tar.gz"的文件，并希望把它安放在指定路径中[^1]。

#### 修改配置文件
进入刚刚解压出来的Hadoop目录中的etc子目录内编辑几个重要的XML格式配置文档。主要涉及以下几个方面：

- **core-site.xml**: 设置namenode地址以及其他全局参数。

  <configuration>
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://localhost:9000</value>
      </property>
      ...
  </configuration>

- **hdfs-site.xml**: 定义datanode和namenode的具体位置及相关属性

  <configuration>
      <property>
          <name>dfs.replication</name>
          <value>1</value>
      </property>
      <property>
          <name>dfs.namenode.name.dir</name>
          <value>/usr/hadoop/hdfs/name</value>
      </property>
      <property>
          <name>dfs.datanode.data.dir</name>
          <value>/usr/hadoop/hdfs/data</value>
      </property>
  </configuration>

以上更改使得HDFS能够在本地机器上以单节点模式运作[^2]。

#### 初始化NameNode
完成前面几步之后就可以初始化Namenode了。这一步骤非常重要因为它负责管理整个文件系统的命名空间。

$HADOOP_HOME/bin/hdfs namenode -format

这条指令将会清理掉任何现存的状态并且重新构建一个新的空文件系统实例。

#### 启动服务
最后通过执行脚本来启动各个组件的服务进程:

start-dfs.sh    # 启动 NameNode 和 DataNodes
jps             # 查看 Java 进程状态确认是否全部启动成功

此时应该可以看到类似如下输出表明所有必要组件均已激活。