hadoop集群搭建docker

### 使用 Docker 搭建 Hadoop 集群

#### 准备工作
为了使用 Docker 构建 Hadoop 集群，需先安装并配置好 Docker 环境。确保本地已成功部署 Docker 并能够正常运行容器。

#### 创建自定义网络
构建 Hadoop 集群前，建议创建专用的 Docker 网络来管理节点间的通信。这有助于避免 IP 地址冲突，并简化集群内部的服务发现过程。具体操作如下：

docker network create \
  --driver bridge \
  --subnet=172.18.1.0/24 \
  --ip-range=172.18.1.0/24 \
  hadoop_network

上述命令会建立名为 `hadoop_network` 的桥接模式网络，指定子网为 `172.18.1.0/24` 和可用IP地址范围为 `172.18.1.0/24`[^2]。

#### 下载镜像
接下来拉取预先准备好的包含 Hadoop 安装包的基础镜像。这里推荐使用经过验证稳定版本的官方或第三方提供的镜像文件：

docker pull kunghuang/hadoop-docker:v1

此命令将下载由 `kunghuang` 提供的带有特定标签 (`v1`) 的 Hadoop-Docker 映像。

#### 启动 Master 节点
启动主节点 (NameNode)，命名为 `Master` 或其他易于识别的名字，并将其加入到之前创建的专属网络中:

docker run -d --name Master --network=hadoop_network -p 50070:50070 kunghuang/hadoop-docker:v1 /etc/bootstrap.sh -bash

这条指令会在后台以守护进程方式启动一个新容器作为 NameNode 实例，映射端口以便外部访问 Web UI 页面查看状态信息。

#### 添加 DataNodes
同样地，可以按照相同的方法增加多个数据节点（DataNode），只需更改名称即可区分不同角色成员。以下是添加两个 Slave 数据节点的例子：

对于第一个从属节点：

docker run -d --name Slave1 --hostname=Slave1 --network=hadoop_network kunghuang/hadoop-docker:v1 /etc/bootstrap.sh -bash

第二个从属节点则执行相似的操作，只是更换了主机名参数值：

docker run -d --name Slave2 --hostname=Slave2 --network=hadoop_network kunghuang/hadoop-docker:v1 /etc/bootstrap.sh -bash

通过这种方式可轻松扩展至更多数量的数据存储单元参与进来形成分布式计算环境[^3]。

#### 初始化与格式化 Namenode
一旦所有必要的组件都处于活动状态之后，则需要初始化命名空间以及格式化 namenode 文件系统结构。可以通过 SSH 登录 master 进入交互式的 bash shell 来完成这项任务：

docker exec -format
exit

最后一步退出当前 session 返回宿主机终端界面。

#### 开始服务
现在所有的准备工作都已经就绪，只需要简单几步就可以正式启动整个 Hadoop 生态系统的各个组成部分了。再次连接回 master node 执行启动脚本：

docker exec -it Master start-all.sh

此时应该可以看到日志输出显示各模块依次被激活上线，标志着一个多机协作型的大数据分析平台已经搭建完毕等待进一步的应用开发测试等工作开展。