spark on hive运行参数
时间: 2023-08-09 22:07:01 浏览: 191
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
Spark on Hive运行参数包括:
1. spark.sql.hive.metastore.version:指定Hive Metastore的版本。默认为2.3.0。
2. spark.sql.hive.metastore.jars:指定Hive Metastore所需的JAR包路径。
3. spark.sql.hive.metastore.sharedPrefixes:指定与Hive Metastore共享的类路径前缀。
4. spark.sql.hive.metastore.sharedPrefixes.whitelist:指定在共享类路径前缀中允许的类名白名单。
5. spark.sql.hive.metastore.barrierPrefixes:指定禁止与Hive Metastore共享的类前缀。
6. spark.sql.hive.metastore.partitionPruning:启用或禁用Hive分区剪枝。
7. spark.sql.hive.convertMetastoreParquet:启用或禁用Hive元数据中的Parquet文件转换。
8. spark.sql.hive.convertMetastoreOrc:启用或禁用Hive元数据中的ORC文件转换。
以上是一些常见的Spark on Hive运行参数,可以根据实际需求进行配置。
阅读全文