hive读取写入 spark

在 Spark 中读取和写入 Hive 表非常简单。以下是一些基本的步骤：

1. 首先，必须确保 Spark 与 Hive 服务器的版本兼容。可以在 Spark 官方文档中查找支持的版本信息。

2. 在 spark-shell 或者 pyspark 中，使用以下代码创建 SparkSession：

   from pyspark.sql import SparkSession

   spark = SparkSession.builder \
       .appName("HiveExample") \
       .config("spark.sql.warehouse.dir", "/user/hive/warehouse") \
       .enableHiveSupport() \
       .getOrCreate()

注意：`spark.sql.warehouse.dir` 参数设置为 Hive 元数据的存储位置。

3. 现在，可以通过以下命令读取 Hive 表：

   df = spark.sql("SELECT * FROM my_hive_table")

这将返回一个 DataFrame，其中包含从 Hive 表中检索的所有行和列。

4. 要将 Spark DataFrame 中的数据写入 Hive 表，可以使用以下代码：

   df.write.mode("overwrite").saveAsTable("my_hive_table")

在这里，`mode("overwrite")` 参数将 DataFrame 写入到 Hive 表中，并覆盖现有表中的任何数据。使用 `mode("append")` 参数可以将数据附加到现有表中。

希望这些步骤可以帮助你在 Spark 中读取和写入 Hive 表。