搭建hadoop完全分布式集群

### Hadoop 完全分布式集群搭建教程

#### 解压Hadoop压缩包并设置环境变量
为了开始构建Hadoop完全分布式集群，在主节点上先要解压下载的Hadoop软件包至指定文件夹。例如，可以在`/opt/module`路径下执行此操作[^3]。

对于环境配置而言，不仅需要为主节点设定好Java Development Kit (JDK) 和Hadoop的相关环境变量，同样也要把这些配置同步给所有的从节点。这一步骤可以通过SCP命令来实现批量复制`.bash_profile`以及整个Hadoop安装目录到各个slave机器上[^2]。

scp -r ~/software/hadoop-3.3.0 hd@hadoopSlave01:/software/

请注意上述命令中的IP地址和用户名应替换为实际环境中对应的值；另外还需重复以上指令针对每一个额外的从属节点（如`hadoopSlave02`, `hadoopSlave03`等）。

#### 修改核心配置文件
编辑位于`${HADOOP_HOME}/etc/hadoop/core-site.xml`内的XML标签<configuration>下的内容以指明NameNode的位置和其他必要的参数。同样的处理也适用于其他重要的配置文档比如`hdfs-site.xml`,`mapred-site.xml`与`yarn-site.xml`，确保它们都指向正确的主机名或IP地址，并设置了合适的端口和服务选项。

#### 初始化HDFS文件系统
一旦所有服务器上的Hadoop服务都被正确部署完毕之后，则需通过运行如下命名初始化namenode：

$HADOOF_HOME/bin/hdfs namenode -format

这条语句将会创建一个新的文件系统的元数据存储位置，这是启动之前必不可少的一个环节。

#### 启动Hadoop集群组件
最后按照顺序依次开启Namenode, Datanodes, ResourceManager 及 NodeManagers:

start-dfs.sh    # Starts NameNodes and DataNodes.
start-yarn.sh   # Starts Resource Manager and Node Managers.
mr-jobhistory-daemon.sh start historyserver  # Optional but recommended for tracking job histories.

此时如果一切顺利的话，就可以访问Web界面验证集群状态了——只需在支持的网页浏览器里键入Master节点的公网IP加上相应的HTTP(S)端点即可[^1]。