spark的cluster模式和client模式

Spark的cluster模式和client模式是两种不同的部署模式。在cluster模式下，Spark应用程序的驱动程序运行在集群的一个节点上，而在client模式下，驱动程序运行在提交应用程序的客户端机器上。

在cluster模式下，Master节点和Worker节点通常不在同一局域网，因此无法将应用程序的Jar包分发到各个Worker节点。因此，在使用cluster模式时，需要提前将Jar包放到各个Worker节点对应的目录下。\[3\]

SparkSubmit的源码中对cluster模式进行了限制，不支持在cluster模式下运行Spark Thrift Server、Spark Shell和特定语言的应用程序（如Python和R）。\[2\]

而在client模式下，应用程序的Jar包会被传输到集群中的每个Worker节点，因此可以在任何节点上运行应用程序。\[2\]

总结来说，cluster模式适用于大规模的分布式集群环境，而client模式适用于小规模的集群或者单机环境。
#### 引用[.reference_title]
- *1* *2* *3* [spark client mode和cluster mode的区别](https://blog.csdn.net/riluomati/article/details/108465064)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]