用spark scala

Spark Scala是一个结合了Apache Spark的大规模数据处理框架和Scala编程语言的强大工具。Spark支持多种计算模式，包括批处理、流处理和交互式查询。以下是使用Spark Scala的基本步骤：

1. **设置环境**:
- 安装Scala：访问scala-lang.org获取最新版本并安装。
- 安装Spark：从官方网站下载Spark源码包，配置环境变量或通过Docker等工具。

2. **创建SparkSession**:

   import org.apache.spark.sql.SparkSession
   val spark = SparkSession.builder()
     .appName("My Spark App")
     .master("local[2]") // 使用本地2核CPU
     .getOrCreate()

3. **加载数据**:

   val df = spark.read.format("csv") // 或其他格式如json、parquet
     .option("header", "true") // 有标题行
     .load("data/input.csv")

4. **数据操作**:

   df.show() // 查看数据
   df.groupBy("column").count() // 分组计数
   df.withColumnRenamed("oldName", "newName") // 重命名列

5. **保存结果**:

   df.write.format("csv") // 可能需要指定路径
     .save("data/output.csv")

6. **关闭Session**:

   spark.stop()