linux下 spark2.2.0 连接 hive2.3.9显示hive所有数据仓库名称
时间: 2024-03-02 21:51:14 浏览: 74
spark2.0编译版-适用于hive2.3的hive on spark
要在Linux上使用Spark 2.2.0连接Hive 2.3.9并显示所有数据仓库名称,您可以使用以下步骤:
1. 使用以下命令启动Spark Shell:
```
$ spark-shell --master yarn --deploy-mode client --driver-memory 2g --executor-memory 2g --executor-cores 2 --num-executors 2 --packages org.apache.spark:spark-sql_2.11:2.2.0
```
这将启动一个连接到您的YARN集群的Spark Shell,并配置2GB的驱动程序和执行程序内存,2个执行程序内核,2个执行程序和2.2.0版本的Spark SQL包。
2. 在Spark Shell中,使用以下命令来创建一个HiveContext:
```
scala> val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc)
```
这将创建一个HiveContext对象,该对象使用Spark Context(`sc`)连接到Hive。
3. 使用以下命令来显示所有数据仓库名称:
```
scala> hiveContext.sql("show databases").show()
```
这将执行一个SQL查询,显示所有数据仓库名称。
请注意,在执行上述命令之前,请确保您的Spark和Hive集成已正确配置,并且您的用户具有足够的权限来连接到Hive并执行SQL查询。
阅读全文