Execution Error, return code -1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
时间: 2023-08-28 20:08:30 浏览: 137
引用[1]中的错误信息表明在处理语句时出现了错误,具体是由于GC(垃圾回收)超过了限制。这可能是由于内存不足或者程序中存在内存泄漏导致的。要解决这个问题,可以尝试增加内存限制或者优化程序以减少内存使用。
引用[2]中提到了一些可能的解决方法。首先,可以尝试使用大的队列来处理作业,通过设置mapreduce.job.queuename=hive
来指定队列。其次,可以尝试增加reduce任务的数量,通过设置mapred.reduce.tasks=300
来增加reduce任务的并行度。最后,可以尝试启用优化选项hive.optimize.skewjoin
来处理数据倾斜的情况。
综上所述,要解决"Execution Error, return code -1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask"的问题,可以尝试增加内存限制、优化程序以减少内存使用,并且使用大的队列、增加reduce任务数量以及启用数据倾斜优化选项。
引用[.reference_title]
- 1 2 [hive]return code -101 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. GC overhead limit exceeded[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2
allinsert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
相关推荐


















