在centos7操作系统安装spark并能执行Scala语句

在 CentOS 7 操作系统上安装 Apache Spark 并运行 Scala 语句，你需要按照以下步骤操作：

1. **更新包列表**:

sudo yum update -y

2. **安装 Java JDK**: Spark 需要 Java 运行环境，因为它是用 Java 编写的。你可以从 Oracle 官网下载适合 CentOS 的 Java 包，然后安装：

   sudo wget https://<java_download_link> -O jdk-8.repo
   sudo tee /etc/yum.repos.d/jdk.repo << EOF
   [JDK]
   name=JDK
   baseurl=https://<java_mirror>/pub/java/jdk/<version>/linux-x64/
   gpgcheck=0
   enabled=1
  EOF
   sudo yum install java-1.8.0-openjdk-devel -y

3. **添加 Spark repository**:

   sudo wget -qO - https://www.apache.org/dist/spark/keys/spark-release.pub | sudo apt-key add -
   echo "deb http://<spark_mirrors>/spark/<spark_version>/redhat/$basearch/ openjdk-8" > /etc/yum.repos.d/spark.repo

将 `<spark_mirrors>` 和 `<spark_version>` 替换为实际的Spark仓库地址和版本。

4. **安装 Spark**:

   sudo yum install spark-spark2* -y

5. **启动 Spark Master (集群模式)**:

   sudo systemctl start spark-master
   sudo systemctl enable spark-master

6. **启动 Spark Worker (如果需要) 或者创建 Standalone cluster**:

   sudo spark-daemon start worker

7. **验证安装**:
打开一个新的终端，输入 `spark-shell` 启动 Scala Shell，并检查是否可以正常使用 Spark API：

   spark-shell
   scala> import org.apache.spark.sql.SparkSession
   scala> val spark = SparkSession.builder.appName("Spark Example").getOrCreate()