docker搭建hadoop集群

搭建Hadoop集群需要进行以下步骤：

1. 安装Docker和Docker Compose

在搭建Hadoop集群之前，需要先安装Docker和Docker Compose。在Linux系统中，可以使用以下命令来安装：

sudo apt-get update
sudo apt-get install docker
sudo apt-get install docker-compose

2. 创建Docker镜像

在安装完Docker和Docker Compose之后，需要创建Hadoop镜像。Docker镜像可以通过Dockerfile文件进行创建。以下是一个简单的Dockerfile文件示例：

FROM ubuntu:18.04

RUN apt-get update && \
    apt-get install -y ssh && \
    apt-get install -y rsync && \
    apt-get install -y openjdk-8-jdk && \
    apt-get clean && \
    rm -rf /var/lib/apt/lists/* /tmp/* /var/tmp/*

RUN useradd -ms /bin/bash hadoop && \
    echo 'hadoop:hadoop' | chpasswd && \
    usermod -aG sudo hadoop

RUN ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa && \
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys && \
    chmod 0600 ~/.ssh/authorized_keys

ADD hadoop-2.10.1.tar.gz /opt

RUN cd /opt && \
    ln -s hadoop-2.10.1 hadoop && \
    chown -R hadoop:hadoop hadoop-2.10.1 && \
    chown -R hadoop:hadoop hadoop

ENV JAVA_HOME /usr/lib/jvm/java-8-openjdk-amd64
ENV PATH $PATH:/opt/hadoop/bin:/opt/hadoop/sbin

CMD ["/usr/sbin/sshd", "-D"]

在该Dockerfile文件中，我们使用了Ubuntu 18.04作为基础镜像，然后安装了SSH、rsync和OpenJDK-8。我们还创建了一个名为hadoop的用户和一个SSH密钥对。接着，我们下载并解压Hadoop二进制文件，并设置环境变量。最后，我们启动SSH服务。

在生成Dockerfile文件之后，我们可以使用以下命令创建Hadoop镜像：

docker build -t hadoop .

3. 编写Docker Compose文件

在创建完Docker镜像之后，需要编写Docker Compose文件来定义Hadoop集群的拓扑结构。以下是一个简单的Docker Compose文件示例：

version: '2.3'
services:
  namenode:
    image: hadoop
    container_name: namenode
    hostname: namenode
    ports:
      - "50070:50070"
      - "8088:8088"
    volumes:
      - ./data/namenode:/opt/hadoop-2.10.1/data/namenode
    environment:
      - HADOOP_ROLE=NAMENODE
      - NAMENODE_HOST=namenode
      - RESOURCEMANAGER_HOST=resourcemanager
    command: ["/opt/hadoop/bin/hadoop", "namenode"]
    networks:
      hadoop:
        ipv4_address: 172.16.238.10

  datanode1:
    image: hadoop
    container_name: datanode1
    hostname: datanode1
    volumes:
      - ./data/datanode1:/opt/hadoop-2.10.1/data/datanode
    environment:
      - HADOOP_ROLE=DATANODE
      - NAMENODE_HOST=namenode
      - RESOURCEMANAGER_HOST=resourcemanager
    command: ["/opt/hadoop/bin/hadoop", "datanode"]
    depends_on:
      - namenode
    networks:
      hadoop:
        ipv4_address: 172.16.238.11

  datanode2:
    image: hadoop
    container_name: datanode2
    hostname: datanode2
    volumes:
      - ./data/datanode2:/opt/hadoop-2.10.1/data/datanode
    environment:
      - HADOOP_ROLE=DATANODE
      - NAMENODE_HOST=namenode
      - RESOURCEMANAGER_HOST=resourcemanager
    command: ["/opt/hadoop/bin/hadoop", "datanode"]
    depends_on:
      - namenode
    networks:
      hadoop:
        ipv4_address: 172.16.238.12

  resourcemanager:
    image: hadoop
    container_name: resourcemanager
    hostname: resourcemanager
    ports:
      - "8080:8080"
    environment:
      - HADOOP_ROLE=RESOURCEMANAGER
      - NAMENODE_HOST=namenode
      - RESOURCEMANAGER_HOST=resourcemanager
    command: ["/opt/hadoop/bin/yarn", "resourcemanager"]
    depends_on:
      - namenode
    networks:
      hadoop:
        ipv4_address: 172.16.238.20

  nodemanager1:
    image: hadoop
    container_name: nodemanager1
    hostname: nodemanager1
    environment:
      - HADOOP_ROLE=NODEMANAGER
      - NAMENODE_HOST=namenode
      - RESOURCEMANAGER_HOST=resourcemanager
    command: ["/opt/hadoop/bin/yarn", "nodemanager"]
    depends_on:
      - namenode
      - resourcemanager
    networks:
      hadoop:
        ipv4_address: 172.16.238.21

  nodemanager2:
    image: hadoop
    container_name: nodemanager2
    hostname: nodemanager2
    environment:
      - HADOOP_ROLE=NODEMANAGER
      - NAMENODE_HOST=namenode
      - RESOURCEMANAGER_HOST=resourcemanager
    command: ["/opt/hadoop/bin/yarn", "nodemanager"]
    depends_on:
      - namenode
      - resourcemanager
    networks:
      hadoop:
        ipv4_address: 172.16.238.22

networks:
  hadoop:
    driver: bridge
    ipam:
      driver: default
      config:
        - subnet: 172.16.238.0/24

在该Docker Compose文件中，我们定义了一个包含一个NameNode、两个DataNode、一个ResourceManager和两个NodeManager的集群。我们使用了Hadoop镜像，并指定了容器名称、主机名、端口映射、数据卷、环境变量和命令。我们还使用了depends_on来定义容器之间的依赖关系。最后，我们定义了一个名为hadoop的网络，并指定了IP地址。

4. 启动Hadoop集群

在编写完Docker Compose文件之后，我们可以使用以下命令启动Hadoop集群：

docker-compose up -d

该命令会启动Hadoop集群，并在后台运行。运行完该命令后，可以使用以下命令检查容器是否已经启动：

docker ps

5. 访问Hadoop集群

启动完Hadoop集群之后，可以在浏览器中访问以下地址来查看Hadoop集群的状态：

http://localhost:50070/dfshealth.html
http://localhost:8088/

至此，完成了在Docker中搭建Hadoop集群的过程。