怎么配置hive运行的内存 和 hadoop给hive得内存
时间: 2023-08-02 18:14:23 浏览: 54
配置 Hive 的内存需要设置以下两个参数:
1. hive.tez.container.size:这个参数设置了每个 Tez 容器的最大内存。可以通过以下方式设置:
```
SET hive.tez.container.size=<container_size>g;
```
其中,<container_size> 为容器大小,以 GB 为单位。
2. hive.tez.java.opts:这个参数设置了 Tez 容器中 JVM 的启动参数。可以通过以下方式设置:
```
SET hive.tez.java.opts=-Xmx<heap_size>g;
```
其中,<heap_size> 为堆内存大小,以 GB 为单位。
对于 Hadoop 给 Hive 的内存,可以通过以下方式设置:
1. yarn.scheduler.minimum-allocation-mb:这个参数设置了 YARN 调度程序所分配的最小内存。可以在 yarn-site.xml 文件中设置。
2. yarn.scheduler.maximum-allocation-mb:这个参数设置了 YARN 调度程序所分配的最大内存。可以在 yarn-site.xml 文件中设置。
3. mapreduce.map.memory.mb:这个参数设置了 Map 任务所使用的内存。可以在 mapred-site.xml 文件中设置。
4. mapreduce.reduce.memory.mb:这个参数设置了 Reduce 任务所使用的内存。可以在 mapred-site.xml 文件中设置。
需要注意的是,如果 Hive 被配置为使用 Tez 引擎,则需要将上述参数都设置为相同的值,以确保 Tez 容器和 YARN 调度程序之间没有内存瓶颈。