头歌hadoop伪分布式安装过程

### Hadoop伪分布式模式安装过程

在单节点上模拟多节点集群环境是测试和学习Hadoop的理想方式。通过配置伪分布模式，可以在一台机器上运行多个守护进程来模仿真实生产环境中不同服务器的角色。

#### 准备工作
确保Linux系统已经准备好并满足基本条件：

- 安装SSH服务以便于远程管理各个组件。
- 配置无密码登录以简化操作流程[^2]。
- 检查Java环境变量设置情况；如果未安装，则需先行部署适合版本的JDK[^3]。

#### 创建专用用户与目录结构
为了安全性和权限控制考虑，建议创建专门用于执行Hadoop命令和服务的新用户及其所属组，并赋予适当的操作权限:

sudo groupadd hadoopgroup
sudo useradd -g hadoopgroup hadoopuser
sudo passwd hadoopuser

接着建立必要的文件夹并将所有权分配给新创建的用户:

sudo mkdir /usr/local/hadoop
sudo chown -R hadoopuser:hadoopgroup /usr/local/hadoop/

#### 下载并解压缩软件包
前往官方网站下载页面选取最新稳定版次的二进制分发包，将其放置到之前准备好的位置后进行解压处理[^1]:

cd /usr/local/hadoop
wget https://downloads.apache.org/hadoop/common/stable/hadoop-x.x.x.tar.gz
tar zxfv hadoop-x.x.x.tar.gz
ln -s ./hadoop-x.x.x/ .

#### 修改核心配置文件
编辑`$HADOOP_HOME/etc/hadoop/core-site.xml`, 添加如下内容指定临时存储路径及默认FS实现类名:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/app/hadoop/tmp</value>
    </property>
</configuration>

对于`mapred-site.xml.template`重命名为`mapred-site.xml`之后加入MapReduce框架参数定义:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

最后调整YARN相关设定(`yarn-site.xml`)使ResourceManager能够监听本地地址上的端口8032提供RPC接口访问支持:

<configuration>
    <!-- Site specific YARN configuration properties -->
    <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
    </property>
    <property>
      <name>yarn.resourcemanager.hostname</name>
      <value>localhost</value>
    </property>
</configuration>

#### 启动服务实例
完成上述准备工作以后就可以依次启动NameNode、DataNode、ResourceManager以及NodeManager等主要组成部分了。注意每次都需要切换至先前设立的服务账户下执行相应脚本命令:

sbin/start-dfs.sh
sbin/start-yarn.sh

此时应该能够在浏览器里打开http://localhost:50070 和 http://localhost:8088 查看Web UI界面显示的状态信息验证整个平台是否正常运作起来[^4]。