linux 安装 spark

安装 Apache Spark 在 Linux 上通常涉及几个步骤，包括下载、解压、配置环境变量和添加到系统路径，以及可能的依赖项安装。这里是一个简化的概述：

1. **下载Spark**: 访问Apache Spark官网（https://spark.apache.org/downloads.html）下载适合你系统的版本。推荐选择最新的稳定版。

2. **下载Hadoop（可选）**：Spark通常需要Hadoop作为分布式文件系统，如果你没有现成的Hadoop集群，可以同时下载Hadoop并进行安装。

3. **解压安装包**：将下载的tar.gz或zip文件解压到你希望放置Spark目录的地方，例如 `/opt/spark`。

4. **配置环境变量**:
- 在`.bashrc`或`.bash_profile`等配置文件中添加Spark的bin目录到PATH，如 `export PATH=$PATH:/opt/spark/bin`
- 可能还需要设置`SPARK_HOME`环境变量指向Spark的安装目录。

5. **启动服务**:
- 如果你打算运行Spark Standalone模式，可以在`conf/spark-env.sh`或`conf/spark-defaults.conf`配置master和worker节点信息。
- 启动Spark Master：`./sbin/start-master.sh`
- 启动Worker：`./sbin/start-slave.sh --master spark://<master-ip>:7077`

6. **验证安装**:
- 使用`jps`命令检查是否有`SparkMaster`和`SparkWorker`进程运行。
- 打开WebUI查看Spark的状态，通常在`http://<master-ip>:8080`。

7. **安装Scala（可选）**: Spark使用Scala编写，如果你的系统中没有Scala，可以访问Scala官网（https://www.scala-lang.org/download/）下载并安装。