hive调用MapReduce之后遇到kill command之后卡住或者一直开在MapReduce之前
时间: 2023-11-09 20:06:42 浏览: 254
HDFS+MapReduce+Hive+HBase十分钟快速入门.zip_hbase_hdfs_hive_mapReduce
当 Hive 调用 MapReduce 任务时,如果该任务被 kill,可能会导致任务卡住或者一直处于 MapReduce 之前的状态。这种情况下,可以尝试以下几个方法:
1. 检查任务状态:使用 `yarn application -list` 命令查看任务状态,如果任务状态为 KILLED,则可以尝试重启任务。
2. 重启任务:使用 `hive -e "set mapreduce.job.reuse.jvm.num.tasks=-1; <你的 Hive SQL>"` 命令重启 Hive 任务,其中 `mapreduce.job.reuse.jvm.num.tasks` 参数可以让 MapReduce 重用 JVM 进程,提高任务执行效率。
3. 清理任务:使用 `yarn application -kill <application_id>` 命令强制杀死任务,然后再重新启动任务。
4. 调整 MapReduce 配置:如果任务经常被 kill,可以尝试调整 MapReduce 的配置,如增加 mapreduce.task.timeout 和 mapreduce.map.memory.mb 参数,让任务更稳定地运行。
注意:在进行上述操作之前,建议备份数据和元数据,以防止数据丢失。
阅读全文