spark(24) -- spark sql -- spark sql查询代码实现(scala版)
时间: 2023-04-26 07:05:26 浏览: 174
spark(24)是什么意思?如果是指Spark版本2.4,那么以下是Spark SQL查询代码实现(Scala版)的示例:
```scala
import org.apache.spark.sql.SparkSession
object SparkSQLExample {
def main(args: Array[String]): Unit = {
val spark = SparkSession.builder()
.appName("SparkSQLExample")
.master("local[*]")
.getOrCreate()
// 读取数据
val df = spark.read
.option("header", "true")
.option("inferSchema", "true")
.csv("path/to/csv/file")
// 创建临时表
df.createOrReplaceTempView("sales")
// 执行SQL查询
val result = spark.sql("SELECT product, SUM(amount) as total_sales FROM sales GROUP BY product")
// 显示结果
result.show()
// 停止SparkSession
spark.stop()
}
}
```
以上代码读取一个CSV文件,将其转换为DataFrame,并创建一个名为“sales”的临时表。然后,它执行一个SQL查询,计算每个产品的总销售额,并将结果显示在控制台上。最后,它停止SparkSession。
阅读全文