spark sql 实例

Spark SQL 是 Apache Spark 的一个模块，用于处理结构化数据。它提供了 SQL 和 DataFrame API 的支持，并且可以无缝地整合在 Spark 程序中。使用 Spark SQL，可以执行 SQL 查询，也可以通过 DataFrame API 在 Scala、Java、Python 或 R 语言中进行数据操作。

下面是一个简单的Spark SQL实例，展示了如何使用Spark SQL读取JSON格式的数据文件，并进行简单的查询操作：

import org.apache.spark.sql.SparkSession

// 创建SparkSession对象，这是Spark SQL的入口点
val spark = SparkSession.builder()
    .appName("Spark SQL Basic Example")
    .master("local[*]") // 本地运行，[*]表示使用所有可用的核心
    .getOrCreate()

// 加载一个JSON文件作为数据源，这里的路径需要根据实际文件位置来指定
val peopleDF = spark.read.json("路径/to/people.json")

// 使用DataFrame API进行查询
peopleDF.select("name", "age").show()

// 注册为一个临时表，使用SQL语法进行查询
peopleDF.createOrReplaceTempView("people")
valSQL = "SELECT name FROM people WHERE age BETWEEN 13 AND 19"
spark.sql(SQL).show()

// 停止SparkSession
spark.stop()

在这个实例中，我们首先创建了一个SparkSession对象，它是一个面向用户的入口点来操作Spark SQL。然后，我们读取了一个名为`people.json`的文件，这个文件应该包含JSON格式的数据，并且假设它有`name`和`age`字段。接着，我们使用了DataFrame API 来展示`name`和`age`字段，并将数据注册为一个临时表，这样我们就可以使用SQL语句进行查询。最后，执行了一个SQL查询，并显示了结果。