spark-submit
时间: 2023-11-15 08:02:41 浏览: 123
Spark-submit
spark-submit是Spark应用程序的主要入口点,它用于将应用程序提交到集群上运行。通过spark-submit命令,可以指定应用程序的主类、依赖项、资源文件等信息,并可以设置一些Spark的配置属性,如Executor的数量、内存大小、CPU核数等。在提交应用程序时,可以选择不同的部署模式,如client模式和cluster模式。在client模式下,驱动程序运行在提交应用程序的客户端上,而在cluster模式下,驱动程序运行在集群中的某个节点上。除了命令行参数外,还可以通过properties文件来设置Spark的配置属性。
阅读全文