头歌Hadoop安装与伪分布式集群搭建

### Hadoop伪分布式集群配置指南

#### 创建工作目录与解压缩软件包
为了准备Hadoop的工作环境，需要创建一个特定路径下的文件夹用于存放Hadoop的相关文件，并将下载好的Hadoop压缩包解压到该位置。命令如下所示[^1]:

mkdir -p /usr/hadoop
tar -zxvf /home/lan/hadoop-2.7.3.tar.gz -C /usr/hadoop

#### 配置Hadoop环境变量
确保`hadoop version`能够正常执行来验证Hadoop环境变量是否已经正确设置。此命令不带任何额外参数直接运行即可；如果遇到Java环境变量未设的情况，则可能需重启虚拟机使更改生效[^3]。

#### 初始化HDFS文件系统
在初次启动之前，通常建议先格式化NameNode以初始化一个新的HDFS实例。这一步骤对于清除旧的数据以及解决某些错误（比如提到的`no node for /user/master`）非常重要[^2]。可以使用下面这条指令完成操作：

hdfs namenode -format

#### 修改核心配置文件core-site.xml
为了让Hadoop知道如何连接至正确的Namenode服务地址，在`core-site.xml`中添加必要的属性定义，例如指定fs.defaultFS指向本地机器上的默认文件系统的URI。

#### 设置hdfs-site.xml中的副本策略和其他选项
通过编辑`hdfs-site.xml`可进一步调整诸如数据块复制因子等重要参数，这对于提高可靠性和性能至关重要。同时也要注意检查是否有其他依赖组件如YARN也需要相应的配置更新。

#### 启动Hadoop服务
当所有的前期准备工作完成后就可以依次开启各个守护进程了——首先是Namenode和Datanodes, 接着是ResourceManager及其对应的NodeManagers (如果是启用MapReduce框架的话)[^4]。可以通过脚本一键实现整个过程：

start-dfs.sh
start-yarn.sh

#### 测试安装成果
最后利用简单的WordCount例子或者其他方式测试下新搭建起来的小型集群能否顺利运作。也可以尝试访问Web界面监控页面获取更多实时状态信息。