Hadoop集群三个主机展示

### 配置和管理Hadoop集群中的三个节点

对于配置和管理具有三个节点的Hadoop集群，具体操作涉及硬件选择、软件安装、环境变量设置以及服务启动等多个方面。

#### 硬件与角色分配

在一个典型的三节点Hadoop集群中，建议将其中一个节点作为Master节点（即NameNode），其余两个节点既可充当DataNodes也可承担其他辅助功能。考虑到性能因素，推荐使用物理机部署Master节点[^1]。Core节点可以选择虚拟机形式以利于灵活扩展。

#### 安装准备

确保所有机器已经正确安装Java运行环境，并且能够互相通过SSH无密码登录。这是为了简化后续管理和自动化脚本执行流程。

#### 修改配置文件

编辑`$HADOOP_HOME/etc/hadoop/core-site.xml` 文件，在其中指定Namenode的位置：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode_host:9000</value>
    </property>
</configuration>

接着修改 `$HADOOP_HOME/etc/hadoop/hdfs-site.xml` 来定义数据块复制因子和其他参数:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value><!-- 设置副本数量 -->
    </property>
</configuration>

最后更新 `slaves` 或者 `workers` 文件列表，添加所有datanodes的名字或IP地址。

#### 启动集群

进入Hadoop sbin目录并依次执行如下命令完成格式化名称空间及各组件初始化工作：

cd $HADOOP_HOME/sbin/
./hadoop-daemon.sh start namenode # 在master上执行
./hadoop-daemons.sh start datanode # 分布式执行于各个slave node
./yarn-daemon.sh start resourcemanager # 在master上执行
./yarn-daemons.sh start nodemanager # 分布式执行于各个slave node

#### 展示与监控

一旦集群正常运作起来之后，可以通过浏览器访问Web UI界面来进行状态监测。默认情况下，NameNode WebUI位于http://namenode_ip:9870, ResourceManager WebUI则处于 http://resourcemanager_ip:8088 。这些页面提供了丰富的统计图表用于直观展现整个系统的健康状况和服务性能指标[^3]。