spark 写入hive表的例子
时间: 2023-08-02 09:14:33 浏览: 74
用于hive的实例
3星 · 编辑精心推荐
下面是一个基本的 Spark 写入 Hive 表的例子:
```scala
import org.apache.spark.sql.{SparkSession, SaveMode}
object SparkHiveExample {
def main(args: Array[String]) {
val spark = SparkSession.builder()
.appName("Spark Hive Example")
.enableHiveSupport()
.getOrCreate()
// 创建一个 DataFrame
val df = spark.range(10).toDF()
// 将 DataFrame 写入 Hive 表
df.write
.mode(SaveMode.Overwrite)
.insertInto("my_hive_table")
spark.stop()
}
}
```
在这个例子中,我们首先创建了一个 SparkSession,并启用了 Hive 的支持。然后,我们创建了一个 DataFrame,将其写入了名为 `my_hive_table` 的 Hive 表中。在写入表之前,我们使用 `SaveMode.Overwrite` 模式指定了要覆盖表中的任何数据。
运行此代码后,你应该可以在 Hive 中看到名为 `my_hive_table` 的新表。
阅读全文