pyspark 上本地模式可以跑,提交到yarn上卡死不动是什么原因
时间: 2024-04-23 19:24:08 浏览: 119
启动Hadoop的HDFS提交一个Spark作业到YARN上运行
在本地模式下,pyspark使用的是local模式,它会将所有的任务都在本地运行,而在集群模式下,pyspark使用的是yarn模式,它会将任务提交到yarn集群上运行。如果你的应用程序在yarn模式下卡死不动,可能是以下原因造成的:
1.资源不足:如果你没有为你的应用程序分配足够的资源,比如内存和CPU,那么应用程序会卡死不动。你可以通过增加资源的分配来解决这个问题。
2.代码问题:如果你的代码有问题,比如死循环或者死锁,那么应用程序也会卡死不动。你需要仔细检查你的代码,并修复其中的问题。
3.网络问题:如果你的网络环境不稳定,比如网络延迟或者网络丢包,那么应用程序也会卡死不动。你需要检查你的网络环境,并修复其中的问题。
4.配置问题:如果你的配置有问题,比如yarn的配置不正确,那么应用程序也会卡死不动。你需要检查你的配置,并修复其中的问题。
总之,卡死不动的原因有很多种,你需要仔细排查,找到问题的根源,才能解决这个问题。
阅读全文