镜像安装pyspark

安装 PySpark 需要先安装 Apache Spark，以下是在 Linux 系统上使用镜像安装 PySpark 的步骤：

1. 下载 Apache Spark 安装包到本地：可以从官网（https://spark.apache.org/downloads.html）选择一个版本进行下载。

2. 解压 Spark 安装包：使用以下命令解压到指定目录，例如 `/usr/local/spark`：

   tar -zxvf spark-<version>-bin-hadoop<version>.tgz -C /usr/local/

其中，`<version>` 是 Spark 版本号，例如 `3.1.1`，`<version>` 是 Hadoop 版本号，例如 `2.7`。

3. 配置环境变量：在 `~/.bashrc` 文件中添加以下配置：

   export SPARK_HOME=/usr/local/spark
   export PYSPARK_PYTHON=/usr/bin/python3
   export PATH=$SPARK_HOME/bin:$PATH

其中，`PYSPARK_PYTHON` 指定 PySpark 使用的 Python 解释器版本。

4. 安装 PySpark：使用以下命令安装 PySpark：

   pip install pyspark -i https://mirrors.aliyun.com/pypi/simple/

在 `-i` 参数后面指定 PyPI 镜像源，可以选择国内的镜像源，例如阿里云的镜像源。

安装完成后，可以在 Python 中导入 PySpark 模块，例如：

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("example").getOrCreate()

# do something with Spark

注意：在使用 PySpark 时，需要先启动 Spark 集群，可以使用以下命令启动：

$SPARK_HOME/sbin/start-all.sh

也可以使用 `start-master.sh` 和 `start-worker.sh` 分别启动 Master 和 Worker 节点。