centos9 spark
时间: 2023-09-28 22:04:08 浏览: 66
spark hadoop centos7
CentOS 9 目前还没有正式发布,因此无法在 CentOS 9 上安装 Spark,不过你可以在 CentOS 7 上进行安装。以下是安装步骤:
1. 安装 Java
首先需要安装 Java,可以使用以下命令安装 OpenJDK:
```
sudo yum install java-1.8.0-openjdk-devel
```
2. 下载 Spark
可以前往 Spark 官网 https://spark.apache.org/downloads.html 下载最新版本的 Spark。选择预编译好的二进制版本,下载后解压到指定目录。例如:
```
cd /opt
sudo wget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz
sudo tar -xvzf spark-3.1.2-bin-hadoop3.2.tgz
```
3. 配置环境变量
为了方便使用,可以将 Spark 的 bin 目录添加到系统环境变量中。可以在 /etc/profile 文件中添加以下内容:
```
export SPARK_HOME=/opt/spark-3.1.2-bin-hadoop3.2
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
```
然后执行以下命令使配置生效:
```
source /etc/profile
```
4. 启动 Spark
可以使用以下命令启动 Spark:
```
cd $SPARK_HOME
sbin/start-all.sh
```
以上步骤基本完成了在 CentOS 7 上安装和启动 Spark 的过程。
阅读全文