spark将数据存入hive

Spark支持将数据存入Hive。Hive是基于Hadoop的数据仓库工具，可以通过SQL语言进行数据查询和分析。以下是将Spark中的DataFrame或RDD存入Hive的步骤：

1. 创建一个HiveContext对象

val hiveContext = new org.apache.spark.sql.hive.HiveContext(sparkContext)

2. 将数据转换为DataFrame

val data = Seq((1, "John"), (2, "Jane"), (3, "Mary")).toDF("id", "name")

3. 将数据存入Hive表

hiveContext.sql("CREATE TABLE IF NOT EXISTS my_table (id INT, name STRING)")
data.write.mode("append").insertInto("my_table")

此处使用了`insertInto`方法，将数据插入到已经存在的`my_table`表中。如果需要覆盖原有数据，可以使用`overwrite`模式。

注意事项：

1. 需要在Spark的classpath中添加Hive JAR包
2. 需要在Spark配置文件中设置Hive Metastore的地址
3. Hive表的schema需要和DataFrame或RDD的schema匹配