部署hive on tez
时间: 2023-08-19 15:09:57 浏览: 218
Linux环境下Hive的安装部署
部署Hive on Tez需要按照以下步骤进行:
1. 安装Tez:在Hadoop集群中安装Tez,可以通过以下命令进行安装:
```
sudo apt-get install tez
```
2. 配置Hive:在Hive的配置文件hive-site.xml中设置以下属性:
```xml
<property>
<name>hive.execution.engine</name>
<value>tez</value>
</property>
<property>
<name>hive.tez.container.size</name>
<value>10240</value>
</property>
<property>
<name>hive.tez.java.opts</name>
<value>-Xmx8192m</value>
</property>
```
3. 配置Tez:在Tez的配置文件tez-site.xml中设置以下属性:
```xml
<property>
<name>tez.queue.name</name>
<value>default</value>
</property>
<property>
<name>tez.am.resource.memory.mb</name>
<value>2048</value>
</property>
<property>
<name>tez.task.resource.memory.mb</name>
<value>2048</value>
</property>
<property>
<name>tez.runtime.io.sort.mb</name>
<value>2048</value>
</property>
<property>
<name>tez.runtime.unordered.output.buffer.size-mb</name>
<value>1024</value>
</property>
```
4. 启动Hive:启动Hive,并使用以下命令将其连接到Tez:
```
hive --hiveconf hive.execution.engine=tez
```
5. 测试Hive on Tez:在Hive中运行一些查询,以确保Hive on Tez正常工作。
以上是部署Hive on Tez的基本步骤,但实际部署可能因环境不同而有所不同。需要根据实际情况进行调整。
阅读全文