spark df按分区写入hive

Spark DataFrame可以按分区将数据写入Hive表，这样可以提高写入性能和查询效率。下面是按分区写入Hive的步骤：

1. 首先，你需要创建一个SparkSession对象，用于与Spark和Hive进行交互：

val spark = SparkSession.builder()
  .appName("Write to Hive")
  .enableHiveSupport()
  .getOrCreate()

2. 接下来，你需要加载要写入Hive的数据，可以通过读取文件或其他数据源创建DataFrame：

val data = spark.read.format("csv").load("path/to/data.csv")

3. 然后，你可以使用`partitionBy`方法指定按照哪些列进行分区：

val partitionedData = data.write.partitionBy("column1", "column2").format("hive").saveAsTable("my_table")

这里的"column1"和"column2"是你要按照哪些列进行分区的列名。

4. 最后，你可以使用`saveAsTable`方法将DataFrame写入Hive表。如果表不存在，它会自动创建一个新表；如果表已存在，则会将数据追加到现有表中。