这是hive on spark 的配置方式吧
时间: 2023-08-15 22:27:50 浏览: 124
抱歉,我的回答有误。之前回答的是Hive on Spark的配置方式。下面是CDH6配置Spark on Hive的步骤:
1. 确认Hive的配置文件hive-site.xml中配置了以下属性:
```
<property>
<name>hive.execution.engine</name>
<value>spark</value>
</property>
<property>
<name>hive.spark.client.connect.timeout</name>
<value>1000s</value>
</property>
<property>
<name>hive.spark.client.server.connect.timeout</name>
<value>1000s</value>
</property>
<property>
<name>hive.server2.enable.doAs</name>
<value>false</value>
</property>
<property>
<name>spark.master</name>
<value>yarn</value>
</property>
<property>
<name>spark.submit.deployMode</name>
<value>client</value>
</property>
<property>
<name>spark.executor.instances</name>
<value>2</value>
</property>
<property>
<name>spark.executor.memory</name>
<value>2g</value>
</property>
<property>
<name>spark.executor.cores</name>
<value>1</value>
</property>
```
2. 在Hive的CLASSPATH中添加Spark JAR文件。可以在hive-env.sh文件中添加以下行:
```
export HIVE_AUX_JARS_PATH=/path/to/spark/jars/*
```
3. 启动Hive并在命令行中运行以下命令:
```
set hive.execution.engine=spark;
```
4. 现在可以在Hive中使用Spark作为执行引擎来运行查询。例如:
```
SELECT COUNT(*) FROM my_table;
```
这将使用Spark作为执行引擎来计算表中的行数。
注意,这里的Spark版本需要与CDH6版本兼容。另外,如果使用Kerberos进行身份验证,则需要进行额外的配置。
阅读全文