【spark sql】4、spark sql的安装及简单使用

Spark SQL是一个基于Spark的模块，它提供了一种用于结构化数据处理的高级数据处理接口。Spark SQL支持多种数据源，包括Hive表、Parquet文件、JSON文件等。Spark SQL的安装和使用非常简单，只需要在Spark的安装目录下启动Spark Shell或者Spark Submit即可。

在Spark Shell中，可以通过以下命令启动Spark SQL：

$ spark-shell --packages org.apache.spark:spark-sql_2.11:2.4.0

这个命令会启动一个Spark Shell，并且自动加载Spark SQL的依赖包。在Spark Shell中，可以使用Spark SQL的API来进行数据处理。例如，可以使用以下命令读取一个Parquet文件：

scala> val df = spark.read.parquet("path/to/parquet/file")

这个命令会读取一个Parquet文件，并将其转换为一个DataFrame对象。DataFrame是Spark SQL中的一个核心概念，它类似于关系型数据库中的表格，可以进行各种数据处理操作。

除了在Spark Shell中使用Spark SQL，还可以在Spark应用程序中使用。在Spark应用程序中，可以通过以下代码创建一个SparkSession对象：

val spark = SparkSession.builder()
  .appName("MyApp")
  .master("local[*]")
  .getOrCreate()

这个代码会创建一个名为"MyApp"的Spark应用程序，并且使用本地模式运行。然后，可以使用SparkSession对象来读取数据、进行数据处理等操作。

总之，Spark SQL是一个非常强大的数据处理工具，它可以帮助我们轻松地处理各种结构化数据。通过上述简单的安装和使用步骤，我们可以快速上手Spark SQL，并开始进行数据处理工作。