hadoop集群搭建成果展示

### 成功的Hadoop集群搭建案例

#### Hadoop集群概述
构建一个成功的Hadoop集群涉及多个方面的工作，从硬件准备到软件配置。为了确保集群稳定高效地运行，需要遵循一系列详细的步骤来完成整个过程。

#### 准备工作
在开始之前，应准备好至少三台服务器作为节点，并确认每台机器都已安装好操作系统（推荐Linux）。此外，还需规划好各节点的角色分配以及网络连接情况[^1]。

#### 安装Java环境
由于Hadoop基于Java开发，在所有计划加入集群的计算机上都需要先安装JDK。可以通过命令行工具检查当前版本并下载适合的操作系统对应的最新版JDK包进行安装[^3]。

java -version
sudo apt-get install openjdk-8-jdk # 对于Ubuntu/Debian系统

#### 下载与解压Hadoop压缩包
获取官方发布的Hadoop二进制文件`hadoop-3.1.3.tar.gz`，将其上传至/opt/software路径下并通过tar命令解开压缩包：

cd /opt/software/
wget https://archive.apache.org/dist/hadoop/core/hadoop-3.1.3/hadoop-3.1.3.tar.gz
tar zxvf hadoop-3.1.3 /opt/module/hadoop

#### 修改配置文件
编辑位于`/opt/module/hadoop/etc/hadoop/`目录下的主要配置文件core-site.xml, hdfs-site.xml 和 yarn-site.xml 来适应实际需求。对于workers 文件，则需添加参与计算的所有slave节点名称列表[^2]:

<!-- core-site.xml -->
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
</configuration>

<!-- hdfs-site.xml -->
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

<!-- workers -->
hadoop101
hadoop102
hadoop103

#### 初始化NameNode
首次启动前要格式化namenode以初始化DFS元数据存储位置:

hdfs namenode -format

#### 启动服务
依次开启HDFS和YARN服务，可通过jps指令验证进程状态；最后访问Web界面查看集群健康状况。

start-dfs.sh
start-yarn.sh
jps

---