spark sql创建hive分区表insert

您好，要在Spark SQL中创建Hive分区表并插入数据，可以按照以下步骤进行操作：

1. 首先，导入必要的库和类：

import org.apache.spark.sql.{SparkSession, SaveMode}

2. 创建一个SparkSession实例：

val spark = SparkSession.builder()
  .appName("Create Hive Partitioned Table")
  .enableHiveSupport()
  .getOrCreate()

3. 设置Hive分区表的属性和分区列：

spark.sql("SET hive.exec.dynamic.partition.mode=nonstrict")
spark.sql("SET hive.exec.dynamic.partition=true")

val partitionColumns = "year, month"

4. 创建一个DataFrame作为表的数据源，并将其注册为一个临时表：

val data = Seq(
  (1, "John", 2022, 1),
  (2, "Jane", 2022, 2),
  (3, "Bob", 2022, 3)
)

val df = spark.createDataFrame(data).toDF("id", "name", "year", "month")

df.createOrReplaceTempView("temp_table")

5. 使用Spark SQL语法创建Hive分区表：

spark.sql(s"CREATE TABLE IF NOT EXISTS hive_partitioned_table (id INT, name STRING) PARTITIONED BY ($partitionColumns) STORED AS PARQUET")

6. 向Hive分区表插入数据：

spark.sql(s"INSERT INTO TABLE hive_partitioned_table PARTITION($partitionColumns) SELECT id, name, year, month FROM temp_table")

7. 最后，停止SparkSession：

spark.stop()

以上就是在Spark SQL中创建Hive分区表并插入数据的步骤。您可以根据自己的需求修改表名、数据源和分区列等信息。