spark 读取MySQL数据插入到hive中

要将MySQL中的数据插入到Hive中，可以按照以下步骤：

1. 使用`spark.read.jdbc`函数从MySQL中读取数据并创建DataFrame对象。

# 导入pyspark库
from pyspark.sql import SparkSession

# 创建SparkSession对象
spark = SparkSession.builder.appName("MySQL2Hive").enableHiveSupport().getOrCreate()

# 从MySQL中读取数据
df = spark.read.jdbc(url="jdbc:mysql://localhost:3306/test", table="table1", \
                     properties={"user": "root", "password": "123456"})

2. 使用`df.write.saveAsTable()`函数将DataFrame对象保存到Hive表中。

# 将DataFrame保存到Hive表中
df.write.mode("overwrite").saveAsTable("hive_table")

这里使用了`mode("overwrite")`参数，表示如果Hive表已经存在，则覆盖原有表格中的数据。如果要追加数据，可以使用`mode("append")`参数。

需要注意的是，Hive与MySQL之间的数据类型可能存在差异，需要进行类型转换。另外，需要在Spark中配置Hive的元数据存储位置，以便让Spark能够访问Hive表。可以在`conf/spark-defaults.conf`文件中添加以下配置：

spark.sql.warehouse.dir=hdfs://localhost:9000/user/hive/warehouse

其中`/user/hive/warehouse`为Hive元数据存储的路径。