spark中standalone
时间: 2023-12-24 19:03:18 浏览: 83
Spark环境搭建——standalone集群模式
5星 · 资源好评率100%
在Spark中,Standalone是一种部署模式,它由Spark自身提供计算资源,无需依赖其他框架。这种模式有很强的独立性,降低了与其他第三方资源框架的耦合性。然而,需要注意的是,Spark主要是计算框架,而不是资源调度框架,因此它本身提供的资源调度功能并不是其强项。因此,将Spark与其他专业的资源调度框架集成会更可靠一些。
在Standalone模式下,Spark采用经典的master-slave模式,将任务分发给不同的节点进行处理。此外,Spark还支持高可用模式(HA)。在使用Spark时,在创建SparkContext时,新创建的SparkContext实例会连接到Cluster Manager,Cluster Manager会根据用户提交时设置的CPU和内存等信息为这次提交分配计算资源,并启动相应的Executor。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* [【spark】spark的三种常用运行环境:Local,Standalone,Yarn](https://blog.csdn.net/weixin_44441131/article/details/125821960)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"]
- *3* [Spark基础入门-第三章:Spark环境搭建-StandAlone](https://blog.csdn.net/itcast_cn/article/details/126700421)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]
阅读全文