spark sql 语法

Spark SQL是Apache Spark的一个模块，它提供了对结构化数据进行高级处理的能力，允许用户通过SQL查询API操作分布式数据集。Spark SQL支持标准的SQL语法，并将其与Scala、Python、Java等语言无缝集成。以下是Spark SQL的一些基本语法元素：

1. **创建DataFrame**: 使用`CREATE TABLE`语句可以创建表，例如：

   CREATE TABLE users (id INT, name STRING, age INT);

2. **加载数据**: 可以从各种源（如HDFS、CSV、JDBC、JSON等）加载数据到DataFrame：

   val df = spark.read.format("csv").option("header", "true").load("path/to/csv")

3. **SQL查询**: 使用`SELECT`, `FROM`, `WHERE`, `GROUP BY`, `JOIN`等关键字编写SQL查询，例如：

   SELECT * FROM users WHERE age > 18
   SELECT users.name, COUNT(*) as count FROM users GROUP BY name

4. **DataFrame操作**: 支持窗口函数、聚合操作以及DataFrame之间的连接（join）、笛卡尔积等：

   df.groupBy("name").count()
   df.join(other_df, Seq("id"))

5. **DataFrame转RDD**: DataFrame可以直接转换为原始的RDD，以便进行更底层的操作：

   val rdd = df.rdd