spark 读取 hive 数据及相关问题解决

Spark 可以通过 HiveContext 或 SparkSession 来读取 Hive 数据。使用 HiveContext 时，需要先创建 SparkConf 和 SparkContext，然后再创建 HiveContext。使用 SparkSession 时，可以直接创建 SparkSession，并使用其内置的 Hive 支持。

读取 Hive 数据时，需要注意以下问题：

1. 需要在 Spark 配置中指定 Hive 的元数据存储位置，即 hive.metastore.uris。
2. 需要将 Hive 相关的 jar 包添加到 Spark 的 classpath 中。
3. 如果 Hive 表中包含自定义的序列化格式，需要将对应的序列化类添加到 Spark 的 classpath 中。
4. 如果 Hive 表中包含自定义的 UDF，需要将对应的 UDF 类添加到 Spark 的 classpath 中。

解决以上问题后，就可以使用 Spark 的 API 来读取 Hive 表中的数据了。例如，可以使用以下代码读取 Hive 表中的数据：

val spark = SparkSession.builder()
  .appName("Read from Hive")
  .config("hive.metastore.uris", "thrift://localhost:9083")
  .enableHiveSupport()
  .getOrCreate()

val df = spark.sql("SELECT * FROM my_table")
df.show()

其中，`hive.metastore.uris` 指定了 Hive 的元数据存储位置，`enableHiveSupport()` 启用了 Hive 支持，`spark.sql()` 方法执行了 SQL 查询，并返回一个 DataFrame。最后，使用 `df.show()` 方法展示查询结果。