pyspark hiveserver2 写数据

在 PySpark 中，可以使用 JDBC 连接到 HiveServer2，并通过 PySpark 的 DataFrame API 将数据写入 Hive 表中。以下是一个示例代码：

from pyspark.sql import SparkSession

# 创建 SparkSession
spark = SparkSession.builder.appName("Write to Hive").getOrCreate()

# 定义 Hive 表名和数据库名
table_name = "my_table"
database_name = "my_db"

# 定义需要写入的数据
data = [("John", 25), ("Jane", 30), ("Bob", 40)]

# 创建 DataFrame
df = spark.createDataFrame(data, ["name", "age"])

# 写入 Hive 表
df.write.format("jdbc") \
    .option("url", "jdbc:hive2://localhost:10000/" + database_name) \
    .option("dbtable", table_name) \
    .mode("overwrite") \
    .save()

在这个示例中，我们首先创建了一个 SparkSession，然后定义了要写入的 Hive 表名和数据库名。接着，我们创建了一个 DataFrame，并使用 DataFrame 的 `write` 方法将数据写入 Hive 表中。在 `write` 方法中，我们指定了 JDBC 的格式和 Hive 的 URL，以及要写入的表名和写入模式（overwrite 表示覆盖原有数据）。最后，我们调用 `save` 方法将数据写入 Hive 表中。