Spark SQL代码

以下是一些 Spark SQL 的样例代码：

1. 创建 DataFrame

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
    .appName("Create DataFrame")
    .master("local[*]")
    .getOrCreate()

val data = Seq(("Alice", 25), ("Bob", 30), ("Charlie", 40))
val df = spark.createDataFrame(data).toDF("name", "age")
df.show()

2. 从数据源加载数据

val df = spark.read.format("csv")
    .option("header", "true")
    .option("inferSchema", "true")
    .load("path/to/file.csv")
df.show()

3. 基本的查询操作

df.select("name", "age").show()
df.filter($"age" > 30).show()
df.groupBy("age").count().show()

4. 使用 SQL 查询语句

df.createOrReplaceTempView("people")
val result = spark.sql("SELECT name, age FROM people WHERE age > 30")
result.show()

5. 操作 DataFrame 中的数据

import org.apache.spark.sql.functions._

df.withColumn("age_plus_10", col("age") + 10).show()
df.groupBy("age").agg(avg("age"), max("age")).show()

以上只是一些 Spark SQL 的基础操作，更多的操作可以参考 Spark SQL 的官方文档。