hive关闭动态资源分配

要关闭Hive的动态资源分配，可以在Hive中设置以下属性：

set hive.execution.engine=mr;
set hive.mapred.mode=nonstrict;
set hive.auto.convert.join=false;
set hive.auto.convert.join.noconditionaltask=false;

这将会将Hive的执行引擎设置为MapReduce，将mapred模式设置为非严格模式，以及禁用自动转换连接和条件任务。这将禁用动态资源分配。

相关问题

org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

### 关于 `org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask` 的使用说明

#### 一、功能概述
`MapredLocalTask` 是 Apache Hive 中用于处理特定查询逻辑的一部分。当执行某些类型的连接操作时，特别是 Map Join 操作，Hive 可能会启动一个本地任务来预先准备数据结构以便后续更高效的分布式计算。

#### 二、配置项解释
为了调整该组件的行为以及解决可能出现的问题，可以设置一些重要的参数：

- **hive.mapjoin.localtask.max.memory.usage**

控制分配给 Local Task 的最大可用内存比例，默认值为0.9。如果遇到因内存不足而引发的错误（如返回码3），可以通过增加此数值至接近1的最大限度（例如设为0.999）来缓解问题[^3]。

set hive.mapjoin.localtask.max.memory.usage = 0.999;

- **hive.auto.convert.join**

自动转换普通的JOIN语法成为MAP JOIN的方式。对于小表与大表之间的关联场景下能够显著提升性能；然而也可能带来稳定性方面的影响。因此，在面对由这类优化引起的问题时，可以选择禁用它以恢复正常流程[^5]。

set hive.auto.convert.join=false;

- **其他辅助选项**

针对不同情况还可以考虑如下几个额外设定：

- 忽略提示性的 MAP JOIN 建议

    set hive.ignore.mapjoin.hint=false;

- 禁用向量化执行模式

向量化执行虽然提高了效率但也增加了复杂度，有时会造成兼容性上的麻烦。

    set hive.vectorized.execution.enabled = false;

---

### 常见问题及其解决方案

#### 错误代码解析
- 当收到 "Execution Error, return code 3" 提示时，通常意味着在运行过程中遇到了严重的内部故障或者是资源耗尽等问题。具体来说可能是由于内存不够造成的哈希表构建失败所引起的[^2]。

#### 实际案例分享
有用户报告过类似的I/O重定向线程中的异常状况，尽管未能确切查明其根源所在，但通过关闭自动转成MAP JOIN的功能成功绕过了障碍。

---