没有合适的资源?快使用搜索试试~ 我知道了~
首页【hive on spark Error】return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask.
ERROR : FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. 前言报错信息异常分析配置改动后记 前言 在成功消除Cloudare管理界面上那些可恶的警告之后,我又对yarn的一些参数进行调优,最后重启了集群。当我提个任务(spark on yarn)并且看到并发及资源的分配情况正如自己先前所料的时候,我长舒了一口气,端起杯子拿上手机起身打算去接杯水消遣一下。 然而我一杯温水接完凑在嘴边,眼睛扫了一下手机刚打算痛饮一番的时候,同事在群里惊呼报错的消息就
资源详情
资源评论
资源推荐
【【hive on spark Error】】return code 30041 from
org.apache.hadoop.hive.ql.exec.spark.SparkTask.
ERROR : FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. 前言
报错信息异常分析配置改动后记
前言前言
在成功消除Cloudare管理界面上那些可恶的警告之后,我又对yarn的一些参数进行调优,最后重启了集群。当我提个任务
(spark on yarn)并且看到并发及资源的分配情况正如自己先前所料的时候,我长舒了一口气,端起杯子拿上手机起身打算
去接杯水消遣一下。
然而我一杯温水接完凑在嘴边,眼睛扫了一下手机刚打算痛饮一番的时候,同事在群里惊呼报错的消息就传来了:
当场惊的我一口靓汤来不及咽下,端着杯子一路洒水慌忙跑去问同事发生了什么事。
据了解,是调度上的一些原本正常的hive sql调度跑批任务(报错的均是将计算引擎设置为spark,即
hive.execution.engine=spark)统统报错了。深吸一口气我故作镇定,默默返回到工位上,沉思究竟是出了什么幺蛾子。
我前思后想,总觉得是之前改动的一些配置造成了冲突,才致使任务提交异常。为了验证想法,我又要来了部分调度代码在
hue上开始测试,而测试结果果如我想象那般,点击运行便报错。
报错信息报错信息
ERROR : FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark
session 8349c773-83f3-4c6c-a6d4-9f778326d559: java.lang.RuntimeException: spark-submit process failed with exit code 1 and error ?
INFO : Completed executing command(queryId=hive_20191107111429_3da1dbee-c22d-4a9a-ae26-3536a7011ce6); Time taken: 2.542 seconds
异常分析异常分析
异常提示语句显示在与spark创建会话的过程失败,我猜想定时hive与yarn上的某项参数被我调整后变得不兼容了,这里贴一
下相关的配置:
# yarn配置里,表示能够申请的容器最大容量为20G
yarn.scheduler.maximum-allocation-mb = 20G
# hive配置里,Spark 执行程序最大 Java 堆栈大小
spark.executor.memory = 17G
# Spark 执行程序内存开销,这是每个执行程序进程可从 YARN 请求的额外堆外内存量。它与 spark.executor.memory 一起构
成 YARN 可用来为执行程序进程创建 JVM 的总内存。
spark.yarn.executor.memoryOverhead =3090MB
其中这个“yarn.scheduler.maximum-allocation-m“”参数我是做了修改的,因为之前的设置明显不合理(之前的设置为225G,
估计是与“yarn.nodemanager.resource.memory-mb”容器大小配置放一起搞混了),所以我将其下调为20G,这其实对于千兆
网卡的机器来说还是大了。
本次报错就是因为对“yarn.scheduler.maximum-allocation-m“”参数的调整上,观察可
知“spark.executor.memory”和“spark.yarn.executor.memoryOverhead”这两项设置基本上确定了hive on spark模式下的任务可
向yarn获取的JVM空间上限大小,在我将“yarn.scheduler.maximum-allocation-m“”参数参赛调整为20G后,就出了冲突。
那么这时候就有两种解决方案,一种是加大“yarn.scheduler.maximum-allocation-m“”参数,另一种是调
整“spark.executor.memory”,我选择了后者,将“spark.executor.memory”设置为13G,成功解决了问题。
配置改动配置改动
yarn.scheduler.maximum-allocation-mb = 20G
spark.executor.memory = 17G
spark.yarn.executor.memoryOverhead =3090MB
改为
yarn.scheduler.maximum-allocation-mb = 20G
spark.executor.memory = 13G
spark.yarn.executor.memoryOverhead =3090MB
weixin_38676058
- 粉丝: 4
- 资源: 983
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- ExcelVBA中的Range和Cells用法说明.pdf
- 基于单片机的电梯控制模型设计.doc
- 主成分分析和因子分析.pptx
- 共享笔记服务系统论文.doc
- 基于数据治理体系的数据中台实践分享.pptx
- 变压器的铭牌和额定值.pptx
- 计算机网络课程设计报告--用winsock设计Ping应用程序.doc
- 高电压技术课件:第03章 液体和固体介质的电气特性.pdf
- Oracle商务智能精华介绍.pptx
- 基于单片机的输液滴速控制系统设计文档.doc
- dw考试题 5套.pdf
- 学生档案管理系统详细设计说明书.doc
- 操作系统PPT课件.pptx
- 智慧路边停车管理系统方案.pptx
- 【企业内控系列】企业内部控制之人力资源管理控制(17页).doc
- 温度传感器分类与特点.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论1