docker pyspark配置

### 配置 PySpark in Docker Container

#### 安装并配置 Docker 和 Docker Compose 版本
为了确保环境稳定，在开始之前确认使用的 Docker 及其组件版本。对于特定需求，可以查询可用的 Docker CE 版本并通过命令行工具安装指定版本[^2]。

#### 创建 Dockerfile 构建镜像
构建支持 PySpark 的 Docker 环境通常涉及创建自定义 `Dockerfile` 文件来设置必要的依赖项和服务：

FROM python:3.9-slim-buster

# 设置环境变量以避免交互提示
ENV DEBIAN_FRONTEND=noninteractive

# 更新包列表并安装基础软件包
RUN apt-get update && \
    apt-get install -y openjdk-11-jdk-headless && \
    rm -rf /var/lib/apt/lists/*

# 下载 Apache Spark 并解压到 /opt/spark/
ARG SPARK_VERSION="3.3.0"
ARG HADOOP_VERSION="3.2"
RUN cd /tmp && \
    wget https://archive.apache.org/dist/spark/spark-${SPARK_VERSION}/spark-${SPARK_VERSION}-bin-hadoop${HADOOP_VERSION}.tgz && \
    tar xzf spark-${SPARK_VERSION}-bin-hadoop${HADOOP_VERSION}.tgz && \
    mv spark-${SPARK_VERSION}-bin-hadoop${HADOOP_VERSION} /opt/spark && \
    rm spark-${SPARK_VERSION}-bin-hadoop${HADOOP_VERSION}.tgz

# 将 Python 解释器路径加入 Spark PATH 中
ENV PYTHONPATH=/opt/spark/python:/opt/spark/python/lib/py4j-src.zip \
    PYSPARK_PYTHON=python3 \
    SPARK_HOME=/opt/spark \
    JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64/

# 添加 PySpark 到 pip 虚拟环境中
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt

WORKDIR /workspace
CMD ["bash"]

此文件指定了基于官方 Python 映像的基础映像，并通过一系列指令设置了 Java 开发套件 (JDK)，下载并配置了 Apache Spark 以及 PySpark 所需的相关库。

#### 编写 requirements.txt 文件
在项目根目录下编写 `requirements.txt` 来声明额外所需的 Python 库:

pyspark==3.3.0
findspark
numpy
pandas
matplotlib
seaborn

这些库可以帮助更好地操作数据集和可视化分析结果。

#### 使用 Docker Compose 进行多服务编排
当需要更复杂的集群部署方案时，可以通过 `docker-compose.yml` 文件简化多个容器之间的协调工作：

version: '3'
services:
  master:
    image: pyspark-cluster-master
    ports:
      - "8080:8080"
      - "7077:7077"
    environment:
      - SPARK_MASTER_HOST=master
  worker:
    image: pyspark-cluster-worker
    depends_on:
      - master
    environment:
      - SPARK_WORKER_CORES=4
      - SPARK_WORKER_MEMORY=4g
      - SPARK_MASTER=spark://master:7077
    deploy:
      replicas: 2

上述 YAML 文件描述了一个简单的两节点 Spark 集群结构，其中包含一个 Master 节点用于调度任务分配给两个 Worker 子节点处理计算作业。