读取hive的引擎
时间: 2023-08-02 11:25:19 浏览: 154
Datax使用RDBMSReader将hive的数据进行读取使用的jar包,hive版本3.1.0
Hive 支持多种执行引擎,包括 MapReduce、Tez、Spark 等。在 Hive 中,执行引擎可以在 Hive CLI 或 HiveQL 中进行设置。
下面介绍如何在 Hive 中设置执行引擎:
1. MapReduce 引擎
默认情况下,Hive 使用的是 MapReduce 引擎。如果需要显式设置 MapReduce 引擎,可以使用以下语句:
```
SET hive.execution.engine=mr;
```
2. Tez 引擎
如果使用 Tez 引擎,需要先安装 Tez,然后在 Hive 中进行配置。以下是在 Hive 中设置 Tez 引擎的语句:
```
SET hive.execution.engine=tez;
SET tez.use.cluster.hadoop-libs=true;
```
其中,第二行语句是告诉 Tez 引擎使用 Hadoop 集群中的库文件。
3. Spark 引擎
如果使用 Spark 引擎,需要先安装 Spark,然后在 Hive 中进行配置。以下是在 Hive 中设置 Spark 引擎的语句:
```
SET hive.execution.engine=spark;
```
需要注意的是,Spark 引擎需要使用 Spark Thrift Server(STS)来运行,因此需要先启动 STS,然后才能使用 Spark 引擎。
总的来说,Hive 的执行引擎可以通过在 Hive CLI 或 HiveQL 中设置来进行选择和切换。不同的引擎适用于不同的场景,可以根据具体的需求进行选择。
阅读全文