hive executors未使用上

关于hive executors未使用上的问题，可能有多种原因导致，以下是一些可能的解决方案：

1. 确认资源是否足够：如果资源不足，hive就无法启动足够的executors。可以通过查看Hadoop集群的资源使用情况，来确认是否有足够的资源。

2. 调整hive参数：通过调整hive参数来增加可用的executors数量。例如，可以通过设置hive.exec.parallel=true参数来开启并行执行，从而增加可用的executors数量。

3. 检查数据倾斜：如果数据倾斜，可能导致某些任务无法充分利用所有的executors。可以通过使用一些数据倾斜解决方案，如数据倾斜优化器或者手动重分区，来解决数据倾斜的问题。

4. 检查任务大小：如果任务太小，可能无法充分利用所有的executors。可以通过合并任务或者增加任务大小来充分利用所有的executors。

希望这些解决方案可以帮助你解决hive executors未使用上的问题。

相关问题

hive on spark port

Hive on Spark是将Hive SQL查询引擎与Spark计算框架集成起来的一种方式。它通过将Hive中的查询转换为Spark作业来提高查询性能和扩展性。

要在Hive中使用Spark作为计算引擎，需要完成以下步骤：

1. 配置Hive和Spark：需要在Hive配置文件中设置Hive执行引擎为Spark，并配置Spark的相关参数。

2. 启动Spark：需要在Hive启动之前启动Spark，可以使用以下命令启动：

   $ spark-submit --class org.apache.spark.deploy.ClientApp \
       --master yarn \
       --deploy-mode client \
       --driver-memory 4g \
       --executor-memory 2g \
       --num-executors 20 \
       --executor-cores 2 \
       --queue default \
       --name "Spark shell" \
       /path/to/spark/examples/jars/spark-examples_2.11-2.3.1.jar

3. 启动Hive：启动Hive时，需要将Hive执行引擎设置为Spark。可以使用以下命令启动：

   $ hive --hiveconf hive.execution.engine=spark

4. 创建Hive表：在Hive中创建表时，需要将表的存储格式设置为Spark。可以使用以下命令创建表：

   CREATE TABLE mytable (key INT, value STRING) 
   STORED AS PARQUET 
   LOCATION '/user/hive/warehouse/mytable' 
   TBLPROPERTIES ('spark.sql.sources.provider'='parquet');

5. 运行查询：在Hive中运行查询时，查询将被转换为Spark作业。可以使用以下命令运行查询：

   SELECT * FROM mytable WHERE key = 1;

以上是在Hive中使用Spark作为计算引擎的简要介绍，希望能对你有所帮助。

linux下 spark2.2.0 连接 hive2.3.9显示hive所有数据仓库名称

要在Linux上使用Spark 2.2.0连接Hive 2.3.9并显示所有数据仓库名称，您可以使用以下步骤：

1. 使用以下命令启动Spark Shell：

   $ spark-shell --master yarn --deploy-mode client --driver-memory 2g --executor-memory 2g --executor-cores 2 --num-executors 2 --packages org.apache.spark:spark-sql_2.11:2.2.0

这将启动一个连接到您的YARN集群的Spark Shell，并配置2GB的驱动程序和执行程序内存，2个执行程序内核，2个执行程序和2.2.0版本的Spark SQL包。

2. 在Spark Shell中，使用以下命令来创建一个HiveContext：

   scala> val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc)

这将创建一个HiveContext对象，该对象使用Spark Context（`sc`）连接到Hive。

3. 使用以下命令来显示所有数据仓库名称：

   scala> hiveContext.sql("show databases").show()

这将执行一个SQL查询，显示所有数据仓库名称。

请注意，在执行上述命令之前，请确保您的Spark和Hive集成已正确配置，并且您的用户具有足够的权限来连接到Hive并执行SQL查询。