spark写入hive分区表数据
时间: 2023-05-10 12:56:03 浏览: 486
简单的spark 读写hive以及mysql
可以使用以下代码将 Spark 数据写入 Hive 分区表:
```scala
import org.apache.spark.sql.SparkSession
val spark = SparkSession.builder()
.appName("Write to Hive Partitioned Table")
.enableHiveSupport()
.getOrCreate()
val data = Seq(("Alice", 25), ("Bob", 30), ("Charlie", 35))
val df = spark.createDataFrame(data).toDF("name", "age")
df.write.partitionBy("age").saveAsTable("mydb.mytable")
```
这将把 DataFrame `df` 写入名为 `mytable` 的 Hive 分区表中,其中分区键为 `age`。
阅读全文