Execution Error, return code -1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
时间: 2023-08-28 18:08:30 浏览: 124
Hive错误之 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误分析_xiaohu21的博客-CSDN博客.mht
5星 · 资源好评率100%
引用\[1\]中的错误信息表明在处理语句时出现了错误,具体是由于GC(垃圾回收)超过了限制。这可能是由于内存不足或者程序中存在内存泄漏导致的。要解决这个问题,可以尝试增加内存限制或者优化程序以减少内存使用。
引用\[2\]中提到了一些可能的解决方法。首先,可以尝试使用大的队列来处理作业,通过设置`mapreduce.job.queuename=hive`来指定队列。其次,可以尝试增加reduce任务的数量,通过设置`mapred.reduce.tasks=300`来增加reduce任务的并行度。最后,可以尝试启用优化选项`hive.optimize.skewjoin`来处理数据倾斜的情况。
综上所述,要解决"Execution Error, return code -1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask"的问题,可以尝试增加内存限制、优化程序以减少内存使用,并且使用大的队列、增加reduce任务数量以及启用数据倾斜优化选项。
#### 引用[.reference_title]
- *1* *2* [[hive]return code -101 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. GC overhead limit exceeded](https://blog.csdn.net/qq_35896718/article/details/127783938)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]
阅读全文