docker搭建spark集群

要在Docker上搭建Spark集群，需要执行以下步骤：

1. 安装Docker和Docker Compose
确保已经安装了Docker和Docker Compose，如果没有安装，可以按照官方文档进行安装。

2. 创建Docker镜像
创建一个Dockerfile文件，使用Spark官方镜像作为基础镜像，并添加配置文件和应用程序。在Dockerfile所在的目录下运行以下命令创建镜像：

docker build -t spark-image .

3. 创建Docker容器
使用Docker Compose创建一个包含多个节点的容器集群，可以在docker-compose.yml文件中定义每个容器的配置。以下是一个简单的例子：

version: '3'

services:
  master:
    image: spark-image
    ports:
      - "8080:8080"
      - "7077:7077"
    environment:
      - SPARK_MODE=master
      - SPARK_MASTER_HOST=master
  worker:
    image: spark-image
    environment:
      - SPARK_MODE=worker
      - SPARK_WORKER_CORES=2
      - SPARK_WORKER_MEMORY=2g
      - SPARK_MASTER_URL=spark://master:7077

在这个例子中，我们定义了一个master节点和一个worker节点，master节点暴露了端口8080和7077，worker节点定义了一些环境变量。

4. 启动集群
在Docker Compose文件所在的目录下运行以下命令启动集群：

docker-compose up -d

这将启动所有容器，并将它们连接在一起，形成一个Spark集群。

5. 运行应用程序
现在，我们可以使用Spark提交应用程序。可以使用以下命令在master节点上提交一个应用程序：

docker exec -it <master_container_id> /bin/bash
./bin/spark-submit --master spark://master:7077 --class org.apache.spark.examples.SparkPi ./examples/jars/spark-examples_2.11-2.4.0.jar 10

这将在集群上启动一个Spark Pi应用程序。

以上就是在Docker上搭建Spark集群的步骤。