Spark+Zookeeper

在Spark中，ZooKeeper主要用于实现Spark Master的高可用性。具体来说，Spark使用两个基于ZooKeeper的组件来实现这一功能，分别是ZooKeeperPersistenceEngine和ZooKeeperLeaderElectionAgent。
ZooKeeperPersistenceEngine是一个基于ZooKeeper的持久化引擎，主要用于将运行中的各个环节以及对于集群状态恢复有助益的信息持久化保存下来。这样，在Spark Master宕机或者出现网络问题时，可以从ZooKeeper中恢复集群状态。这对于减少崩溃带来的影响非常重要。
而ZooKeeperLeaderElectionAgent是Spark中实现选举Master节点的组件，它利用ZooKeeper来协调多个Master节点之间的竞选过程。通过使用ZooKeeper来实现主节点选举，可以确保Spark Master的高可用性，当一个Master节点宕机后，另一个节点可以接管其职责并继续提供服务。
总结来说，Spark在ZooKeeper的使用相对较少，但这些使用都相对简单。其中，ZooKeeper被用于持久化Spark Master的状态信息，并在Master节点宕机后恢复集群状态；另外，ZooKeeper还用于实现Spark Master的高可用性，通过选举机制确保主节点的连续性。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* *3* [ZooKeeper在Spark的使用](https://blog.csdn.net/weixin_43214644/article/details/125793951)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"]
[ .reference_list ]