spark.sql建表

Spark SQL是Apache Spark中的一个模块，用于处理结构化数据，包括创建、操作和管理关系型数据库表。在Spark SQL中，`CREATE TABLE`语句用于定义一个新的表，通常基于DataFrame或DataSet，这使得数据可以从各种数据源加载，并支持SQL查询。

创建表的基本语法如下：

CREATE [临时|持久] TABLE [IF NOT EXISTS] tableName
USING storageFormat
OPTIONS (key1=value1, key2=value2, ...)
AS [SELECT * | <列名列表>]
FROM [源表名 | 数据框名 | 输入文件路径];

部分关键参数解释：

- `tableName`: 表的名字，用于后续的数据操作。
- `USING storageFormat`: 指定数据存储格式，如parquet、csv、jdbc等。
- `OPTIONS`：根据所选存储格式提供相关的配置选项。
- `AS SELECT ...`: 可选的，如果从其他数据源创建表，可以选择需要导入的列。
- `FROM`: 定义表的源，可以是已有的表、DataFrame、文件路径或者SQL查询结果。

例如，创建一个基于CSV文件的表：

CREATE TABLE sales
USING csv
OPTIONS (path 'sales_data.csv', header 'true')
AS SELECT * FROM VALUES ('product', 10), ('category', 20);