CentOS 7上单机部署Spark 2.4.5：从JDK安装到环境配置

本文档详细介绍了如何在Linux单机版系统，尤其是CentOS 7上安装Spark 2.4.5，以便为开发智能推荐引擎的项目提供一个测试环境。以下是安装步骤的详细说明： 1. **Java Development Kit (JDK) 安装**： 首先，从Oracle官网下载JDK 1.8的Linux版本（如jdk-8u241-linux-x64.tar.gz），将其上传至Linux服务器的`software`文件夹，并使用`tar -zxvf jdk-8u241-linux-x64.tar.gz`命令进行解压。 2. **Spark 安装**： 前往Spark官网下载Spark 2.4.5的预编译二进制包（spark-2.4.5-bin-hadoop2.7.tgz），将其放入`software`文件夹后解压。由于后续管理方便，建议将解压后的Spark文件夹重命名。 3. **配置环境变量**： - **系统环境变量配置**：编辑`/etc/profile`文件，添加Spark的安装路径到JAVA_HOME变量中，以便系统能够识别Spark的JDK。 - **运行`source /etc/profile`** 使更改生效。 4. **Spark 配置文件设置**： - 创建Spark环境配置文件`spark-env.sh`，通常通过复制模板文件spark-env.sh.template并重命名为新的配置文件。 - 进入Spark的conf目录（`cd /tmp/software/spark-2.4.5-bin-hadoop2.7/conf`），并配置`spark-env.sh`中的相关环境变量。 5. **注意**： - 文档未提及具体的Spark配置项，但通常`spark-env.sh`会包含路径设置、内存分配、日志路径等关键信息。 - 在实际操作中，可能还需要设置`SPARK_HOME`环境变量，指向Spark的安装目录，以便其他Spark命令能正确识别。 这些步骤确保了在Linux系统上安装并配置好Spark 2.4.5，为后续开发和测试提供了基础环境。在部署到Spark集群之前，进行单机测试有助于发现和解决潜在问题，确保项目的顺利进行。