hive sql使用了group by 执行任务没正常结束,一直输出spark.ContextCleaner: Cleaned accumulator
时间: 2023-06-24 07:06:08 浏览: 199
这种情况可能是由于数据量太大,导致Spark任务执行时间过长而超时。可以尝试以下几种方法:
1. 增加Spark任务的超时时间,可以在Hive中设置参数hive.execution.engine.spark.session.timeout来增加超时时间。
2. 对于数据量较大的情况,可以考虑对数据进行拆分,分批处理。
3. 对于group by操作,可以考虑使用分桶表或者分区表来优化查询效率。
4. 增加Spark的资源配置,例如增加executor的数量、内存等。
5. 检查日志信息,看是否有其他异常信息或者错误提示,以便定位问题。
阅读全文