scala-spark sql 查询、输出demo

### 回答1：
以下是一个简单的Scala-Spark SQL查询和输出的示例：

import org.apache.spark.sql.SparkSession

object SparkSQLDemo {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .appName("SparkSQLDemo")
      .master("local[*]")
      .getOrCreate()

    // 读取CSV文件并创建DataFrame
    val df = spark.read
      .option("header", "true")
      .option("inferSchema", "true")
      .csv("path/to/csv/file")

    // 创建临时表
    df.createOrReplaceTempView("people")

    // 执行SQL查询
    val result = spark.sql("SELECT * FROM people WHERE age > 30")

    // 输出结果
    result.show()

    spark.stop()
  }
}

这个示例演示了如何使用SparkSession对象读取CSV文件并创建DataFrame，然后将DataFrame注册为一个临时表，最后执行SQL查询并输出结果。在这个示例中，我们查询了所有年龄大于30岁的人的信息。

### 回答2：
Spark SQL是Spark中一个用于分布式数据处理的模块，它提供了一个用于结构化数据处理的SQL查询引擎。Scala是一种在JVM上运行的编程语言，它被广泛用于Spark中的开发。本文将介绍Scala-Spark SQL的查询和输出demo。

首先，我们需要导入Spark SQL的包：

import org.apache.spark.sql.SparkSession

然后，我们需要创建一个SparkSession对象：

val spark = SparkSession.builder.appName("ScalaSparkSQLDemo").getOrCreate()

接下来，我们可以通过以下代码从csv文件中读取数据并创建一个DataFrame对象：

val df = spark.read.option("header", "true").option("delimiter", ",").csv("path/to/file.csv")

上述代码中，“header”选项表示csv文件的第一行被视为列名，而“delimiter”选项表示csv文件中使用的字段分隔符。在这里，我们将csv文件的路径指定为“file.csv”。

接下来，我们可以执行SQL查询：

df.createOrReplaceTempView("people")
val result = spark.sql("SELECT * FROM people WHERE age > 21")

上述代码中，“createOrReplaceTempView”方法将DataFrame注册为可临时使用的表，表名为“people”。然后我们执行SQL查询语句：“SELECT * FROM people WHERE age > 21”，筛选出age大于21的所有行。

最后，我们可以将结果输出到控制台：

result.show()

上述代码中，“show”方法将结果以表格形式输出到控制台。

整个Scala-Spark SQL查询输出demo的代码如下：

import org.apache.spark.sql.SparkSession

object ScalaSparkSQLDemo {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder.appName("ScalaSparkSQLDemo").getOrCreate()
    val df = spark.read.option("header", "true").option("delimiter", ",").csv("path/to/file.csv")
    df.createOrReplaceTempView("people")
    val result = spark.sql("SELECT * FROM people WHERE age > 21")
    result.show()
    spark.stop()
  }
}

注意，我们还需在代码结尾使用“spark.stop()”方法，以关闭SparkSession对象，释放资源。

以上是Scala-Spark SQL查询输出demo的详细说明，开发者们可以根据需求进行修改和应用。

### 回答3：
Scala-Spark是大数据处理和分析领域的重要框架之一，其提供了强大的数据分析和处理工具，其中包括Spark SQL。Spark SQL是将结构化数据和非结构化数据整合到一起进行分析和处理的一个模块，基于Spark Core数据处理引擎，并支持使用Scala、Java和Python等语言进行编程。

下面我们来看一个Scala-Spark SQL的查询和输出Demo：

首先需要导入相应的包，因为使用的是Spark 2.4版本，所以需要导入spark-sql的jar包：

import org.apache.spark.sql.SparkSession

然后创建一个SparkSession对象：

val spark = SparkSession.builder().appName("Spark SQL Demo").master("local[*]").getOrCreate()

接下来读入数据，构建DataFrame，比如我们在本地有一个people.csv文件，有两列数据：name和age，我们可以使用如下代码读取该文件构建DataFrame：

val file = "people.csv"
var peopleDF = spark.read.format("csv").option("header","true").load(file)

然后我们对DataFrame数据进行一些操作，例如筛选出年龄大于30的人：

var resultDF = peopleDF.filter("age > 30")

接下来我们可以将结果输出到控制台，使用show()方法：

resultDF.show()

最后记得关闭SparkSession对象：

spark.stop()

以上就是Scala-Spark SQL查询与输出的基本Demo，这些代码可以帮助你了解在Scala中如何使用Spark SQL来进行数据查询和输出。当然，Spark SQL还有很多强大的功能和语法，需要大家自己去探索和学习。