spark3.1.1安装配置

以下是在 Ubuntu 18.04 上安装和配置 Apache Spark 3.1.1 的步骤：

1. 首先，确认你的系统已经安装了 Java JDK 8 或更高版本。你可以使用以下命令检查：

   java -version

2. 然后，下载 Apache Spark 3.1.1 的二进制版本。你可以从官方网站上下载：

   wget https://downloads.apache.org/spark/spark-3.1.1/spark-3.1.1-bin-hadoop3.2.tgz

3. 解压缩下载的文件：

   tar xvf spark-3.1.1-bin-hadoop3.2.tgz

4. 将解压缩后的文件夹移动到 /usr/local/spark 目录下：

   sudo mv spark-3.1.1-bin-hadoop3.2 /usr/local/spark

5. 配置环境变量，将 Spark 的 bin 目录添加到 PATH 中：

   export PATH=$PATH:/usr/local/spark/bin

如果你想在每次启动终端时都自动加载这个环境变量，你可以将以上命令添加到你的 shell 配置文件中。例如，如果你使用的是 bash，则可以将命令添加到 ~/.bashrc 文件中。

6. 在 Spark 的 conf 目录中创建一个新的文件 spark-env.sh，该文件将包含 Spark 的环境变量设置。执行以下命令创建该文件：

   cp /usr/local/spark/conf/spark-env.sh.template /usr/local/spark/conf/spark-env.sh

7. 使用文本编辑器打开 spark-env.sh 文件，并添加以下内容：

   export SPARK_HOME=/usr/local/spark
   export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

请注意，这里假设你使用的是 OpenJDK 8。如果你使用的是其他 JDK 版本，请相应地更改 JAVA_HOME 变量。

8. 将 SPARK_HOME 添加到 Spark 的默认配置文件中：

   echo "export SPARK_HOME=/usr/local/spark" >> /usr/local/spark/conf/spark-env.sh

9. 最后，使用以下命令启动 Spark：

   spark-shell

如果一切正常，你应该可以看到 Spark Shell 的启动信息。至此，你已经成功地安装和配置了 Apache Spark 3.1.1。