linux centos下docker安装spark

在 CentOS 下安装 Docker 并进一步安装 Spark 的步骤如下：

1. **安装 Docker**:
- 首先，打开终端并更新系统包列表：`sudo yum update`
- 安装 Docker：`sudo yum install docker-ce docker-ce-cli containerd.io`

2. **启动和启用 Docker**:
- 安装完成后，运行命令启动 Docker：`sudo systemctl start docker`
- 确保 Docker 自动开机时启动：`sudo systemctl enable docker`

3. **检查 Docker 是否运行正常**:
- 使用 `sudo docker run hello-world` 来验证 Docker 是否安装成功，并能从官方仓库拉取镜像。

4. **安装 Docker-compose**: 虽然不是必需的，但 Docker Compose 可以方便地管理复杂的容器部署，可以使用下面的命令安装：

   sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
   sudo chmod +x /usr/local/bin/docker-compose

5. **安装 Apache Spark** (假设你想要的是 Spark 3.x版本)：
- 由于 Docker Hub 上有预构建的 Spark 镜像，你可以直接通过 Docker Pull 进行安装：

   sudo docker pull apache/spark:3.1.2

或者，你可以创建一个新的Dockerfile，下载Spark源码并编译，然后运行容器。这里仅提供简化版示例：

   # 创建一个Dockerfile
   echo "FROM apache/spark:3.1.2" > Dockerfile
   echo "COPY spark-app.jar app.jar" >> Dockerfile
   docker build -t my-spark .

接着运行容器：

   docker run -p 8080:8080 -v /path/to/your/spark-app.jar:/app.jar my-spark

这里 `-p` 参数暴露了 Spark UI 的端口。

6. **配置 Spark**:
- 如果需要更详细的配置，可以在创建 Dockerfile 时添加环境变量或文件映射。

完成以上步骤后，你已经在 CentOS 中安装了 Docker 并利用它安装了 Spark。Spark 应该已经运行起来了，可以通过访问 `http://localhost:8080` 查看其 UI。