docker搭建Hadoop

要在Docker上搭建Hadoop集群，可以分为以下几个步骤：

1. 安装Docker和Docker Compose；
2. 创建一个Docker Compose文件，定义Hadoop集群的各个节点（namenode、datanode、resourcemanager、nodemanager、historyserver）；
3. 在Docker Compose中配置Hadoop集群的网络；
4. 编写Hadoop集群的配置文件，并将其挂载到Docker容器中；
5. 启动Docker容器，部署Hadoop集群。

以下是一个示例的Docker Compose文件，用于部署一个包含一个namenode节点、一个datanode节点、一个resourcemanager节点、两个nodemanager节点和一个historyserver节点的Hadoop集群：

version: "3.7"
services:
  namenode:
    image: sequenceiq/hadoop-docker:2.7.0
    container_name: namenode
    hostname: namenode
    ports:
      - "50070:50070"
      - "8088:8088"
    volumes:
      - ./hadoop-conf:/etc/hadoop
      - ./hadoop-data/namenode:/hadoop/dfs/name
    environment:
      - CLUSTER_NAME=hadoop-cluster
    command: /etc/bootstrap.sh -d -namenode
    networks:
      hadoop-net:
        ipv4_address: 172.18.0.2

  datanode:
    image: sequenceiq/hadoop-docker:2.7.0
    container_name: datanode
    hostname: datanode
    ports:
      - "50075:50075"
    volumes:
      - ./hadoop-conf:/etc/hadoop
      - ./hadoop-data/datanode:/hadoop/dfs/data
    environment:
      - CLUSTER_NAME=hadoop-cluster
    command: /etc/bootstrap.sh -d -datanode
    networks:
      hadoop-net:
        ipv4_address: 172.18.0.3

  resourcemanager:
    image: sequenceiq/hadoop-docker:2.7.0
    container_name: resourcemanager
    hostname: resourcemanager
    ports:
      - "8088:8088"
    volumes:
      - ./hadoop-conf:/etc/hadoop
    environment:
      - CLUSTER_NAME=hadoop-cluster
    command: /etc/bootstrap.sh -d -resourcemanager
    networks:
      hadoop-net:
        ipv4_address: 172.18.0.4

  nodemanager1:
    image: sequenceiq/hadoop-docker:2.7.0
    container_name: nodemanager1
    hostname: nodemanager1
    volumes:
      - ./hadoop-conf:/etc/hadoop
    environment:
      - CLUSTER_NAME=hadoop-cluster
    command: /etc/bootstrap.sh -d -nodemanager
    networks:
      hadoop-net:
        ipv4_address: 172.18.0.5

  nodemanager2:
    image: sequenceiq/hadoop-docker:2.7.0
    container_name: nodemanager2
    hostname: nodemanager2
    volumes:
      - ./hadoop-conf:/etc/hadoop
    environment:
      - CLUSTER_NAME=hadoop-cluster
    command: /etc/bootstrap.sh -d -nodemanager
    networks:
      hadoop-net:
        ipv4_address: 172.18.0.6

  historyserver:
    image: sequenceiq/hadoop-docker:2.7.0
    container_name: historyserver
    hostname: historyserver
    ports:
      - "19888:19888"
    volumes:
      - ./hadoop-conf:/etc/hadoop
    environment:
      - CLUSTER_NAME=hadoop-cluster
    command: /etc/bootstrap.sh -d -historyserver
    networks:
      hadoop-net:
        ipv4_address: 172.18.0.7

networks:
  hadoop-net:
    driver: bridge
    ipam:
      driver: default
      config:
        - subnet: 172.18.0.0/16

在上述文件中，定义了一个名为"hadoop-net"的网络，用于连接Hadoop集群中的各个节点。每个节点都有一个对应的Docker容器，其中包含了所需的Hadoop组件和配置文件，以及相关的环境变量和命令。

在启动Docker容器之前，需要先编写Hadoop集群的配置文件，并将其挂载到Docker容器中。例如，可以在本地创建一个名为"hadoop-conf"的文件夹，其中包含了core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml和hadoop-env.sh等配置文件。

最后，使用docker-compose命令启动Docker容器，即可完成Hadoop集群的部署：

docker-compose up -d

在启动之后，可以通过访问http://localhost:50070查看Hadoop集群的状态，并通过Hadoop命令行工具（例如hdfs dfs -ls /）来操作文件系统。