docker-compose搭建spark集群

要在Docker中使用Spark集群，可以使用docker-compose来快速搭建集群。以下是步骤：

1. 首先安装Docker和Docker Compose。

2. 创建一个新目录，例如“spark-cluster”。

3. 在该目录中创建一个名为“docker-compose.yml”的文件。

4. 在“docker-compose.yml”文件中添加以下内容：

version: '3'
services:
  spark-master:
    image: bde2020/spark-master:2.4.4-hadoop2.7
    container_name: spark-master
    ports:
      - "8080:8080"
      - "7077:7077"
    environment:
      - INIT_DAEMON_STEP=setup_spark
  spark-worker-1:
    image: bde2020/spark-worker:2.4.4-hadoop2.7
    container_name: spark-worker-1
    environment:
      - SPARK_MASTER=spark://spark-master:7077
      - INIT_DAEMON_STEP=setup_spark
  spark-worker-2:
    image: bde2020/spark-worker:2.4.4-hadoop2.7
    container_name: spark-worker-2
    environment:
      - SPARK_MASTER=spark://spark-master:7077
      - INIT_DAEMON_STEP=setup_spark

在上面的示例中，我们定义了三个服务：Spark主节点和两个工作节点。我们使用bde2020的Spark Docker映像。

5. 在终端中，导航到新目录并运行以下命令：

docker-compose up -d

这将启动所有服务并在后台运行。

6. 现在，您可以通过访问http://localhost:8080来查看Spark Web UI，并查看Spark集群的状态。

7. 要停止并删除集群，请运行以下命令：

docker-compose down

这样就可以使用docker-compose快速搭建Spark集群了。