hive 2.3.9 对应的zookeeper版本
时间: 2024-01-16 22:00:23 浏览: 29
Hive 2.3.9 官方文档中没有明确指定需要使用哪个版本的 ZooKeeper。不过根据官方文档中的说明,建议在使用 Hive 时使用 Apache Hadoop 的稳定版本,而 Apache Hadoop 3.x 版本建议使用 ZooKeeper 3.4.x 或更高版本。因此,建议使用 ZooKeeper 3.4.x 或者更高版本。
相关问题
hive hadoop对应版本
以下是Hadoop、Hive、Spark的对应版本:
Hadoop:
- Hadoop 1.x:0.20.x
- Hadoop 2.x:2.2.x、2.4.x、2.6.x、2.7.x、2.8.x、2.9.x、2.10.x
Hive:
- Hive 0.13.x:Hadoop 1.x、Hadoop 2.x
- Hive 1.x:Hadoop 2.x
- Hive 2.x:Hadoop 2.x、Hadoop 3.x
Spark:
- Spark 1.x:Hadoop 1.x、Hadoop 2.x
- Spark 2.x:Hadoop 2.x、Hadoop 3.x
- Spark 3.x:Hadoop 2.x、Hadoop 3.x
注意:以上版本仅供参考,具体版本需根据实际情况选择。
linux下 spark2.2.0 连接 hive2.3.9显示hive所有数据仓库名称
要在Linux上使用Spark 2.2.0连接Hive 2.3.9并显示所有数据仓库名称,您可以使用以下步骤:
1. 使用以下命令启动Spark Shell:
```
$ spark-shell --master yarn --deploy-mode client --driver-memory 2g --executor-memory 2g --executor-cores 2 --num-executors 2 --packages org.apache.spark:spark-sql_2.11:2.2.0
```
这将启动一个连接到您的YARN集群的Spark Shell,并配置2GB的驱动程序和执行程序内存,2个执行程序内核,2个执行程序和2.2.0版本的Spark SQL包。
2. 在Spark Shell中,使用以下命令来创建一个HiveContext:
```
scala> val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc)
```
这将创建一个HiveContext对象,该对象使用Spark Context(`sc`)连接到Hive。
3. 使用以下命令来显示所有数据仓库名称:
```
scala> hiveContext.sql("show databases").show()
```
这将执行一个SQL查询,显示所有数据仓库名称。
请注意,在执行上述命令之前,请确保您的Spark和Hive集成已正确配置,并且您的用户具有足够的权限来连接到Hive并执行SQL查询。