spark为什么弃用akka

时间: 2023-08-05 14:50:01 浏览: 198

基于Akka模拟实现Spark Standalone.pdf

### 基于Akka模拟实现Spark Standalone #### 一、Akka介绍与核心概念 Akka 是一款采用Scala语言编写的库，主要用于简化在JVM平台上构建高并发、可伸缩且具备容错能力的应用程序的过程。它支持Java与Scala两种语言，并通过Actor模型实现了这一点。 **Akka的核心概念包括：** 1. **ActorSystem**：是管理Actor的一个容器，相当于Actor的运行环境。在一个节点上只需要创建一个ActorSystem实例即可。 2. **Actor**：Actor是Akka中的基本构建单元，每个Actor都是一个独立的工作单元，可以与其他Actor通信。Actor内部维护一个MailBox，用于存储其他Actor发来的消息。 3. **ActorRef**：代表了Actor的引用，用于发送消息给指定的Actor。ActorRef提供了发送消息的方法，例如`tell`和`ask`等。 #### 二、Akka的工作原理在Akka中，Actor之间的通信是通过消息传递完成的。这种模型能够帮助开发者更容易地构建出正确的并发和分布式系统。 - **消息传递**：Actor通过发送消息进行通信，消息被放置到目标Actor的MailBox中等待处理。 - **异步处理**：每个Actor都独立处理自己的消息队列，因此消息处理是异步进行的。 - **Actor生命周期管理**：ActorSystem负责管理Actor的生命周期，包括创建、销毁以及监控Actor的状态变化。 #### 三、使用Akka模拟实现Spark Standalone **Spark Standalone**集群是一种资源管理和调度系统，通常采用主从架构。在本模拟实现中，主要关注以下几个方面： 1. **Master节点**：负责管理Worker节点，分配任务给Worker执行。 2. **Worker节点**：提供计算资源，执行来自Master的任务。 3. **节点注册**：Worker节点启动后需要向Master注册，Master记录Worker的信息。 4. **心跳机制**：为了确保Worker节点的活性，Master和Worker之间需定期发送心跳消息。 5. **资源分配**：Master根据任务需求和Worker可用资源进行任务调度。 6. **故障恢复**：模拟实现中还需要考虑如何在Worker失败时重新分配任务。 #### 四、模拟实现的关键组件 1. **SparkMaster**：作为主节点，负责管理整个集群的资源和任务调度。 2. **SparkWorker**：作为从节点，执行具体任务。 3. **辅助类**：如Message和Constant类，用于定义消息格式和常量。 ##### 1. **SparkMaster代码实现** ```scala package com.nx.spark.rpc.sparkstandalone import akka.actor.{Actor, ActorSystem, Props} import com.typesafe.config.ConfigFactory class SparkMaster extends Actor { // 定义接收消息的处理逻辑 override def receive: Receive = { case RegisterWorker(worker) => // Worker节点注册 println(s"Worker ${worker.id} registered.") case Task(task) => // 分配任务给Worker val worker = getAvailableWorker() worker match { case Some(w) => w ! task case None => println("No available Worker to assign the task.") } } def getAvailableWorker(): Option[ActorRef] = { // 从已注册的Worker中选择一个空闲的 // 这里仅作示例，实际应有更复杂的逻辑 None } } object SparkMaster { def main(args: Array[String]): Unit = { val system = ActorSystem("SparkStandalone", ConfigFactory.load()) val sparkMaster = system.actorOf(Props[SparkMaster], "sparkMaster") // 初始化或启动其他组件 } } ``` ##### 2. **SparkWorker代码实现** ```scala class SparkWorker extends Actor { override def receive: Receive = { case Task(task) => // 执行任务 println(s"Executing task: $task") // 假设任务完成后反馈给Master sender() ! "Task completed." } } object SparkWorker { def main(args: Array[String]): Unit = { val system = ActorSystem("SparkStandalone", ConfigFactory.load()) val sparkWorker = system.actorOf(Props[SparkWorker], "sparkWorker") // 向Master注册 val masterRef = system.actorSelection("akka.tcp://SparkStandalone@localhost:2552/user/sparkMaster") masterRef ! RegisterWorker(sparkWorker) } } ``` ##### 3. **辅助类Message实现** ```scala sealed trait Message case class RegisterWorker(worker: ActorRef) extends Message case class Task(task: String) extends Message ``` ##### 4. **辅助类Constant实现** ```scala object Constants { val MASTER_PORT = 2552 val WORKER_PORT = 2553 } ``` #### 五、项目配置文件pom.xml ```xml <project> <dependencies> <dependency> <groupId>com.typesafe.akka</groupId> <artifactId>akka-actor-typed_2.13</artifactId> <version>2.6.17</version> </dependency> </dependencies> </project> ``` #### 六、运行测试完成以上步骤后，可以通过简单的命令行方式启动ActorSystem，从而模拟Spark Standalone集群的行为。具体来说，可以先启动Master节点，然后再启动多个Worker节点。这些Worker节点将自动向Master注册，并准备接受任务。通过这种方式，我们不仅了解了Akka的基本使用，还学习了如何利用Akka来模拟实现类似Spark Standalone这样的分布式系统。这有助于加深对分布式系统设计模式的理解，并为进一步的研究和实践奠定基础。

Spark并没有完全弃用Akka，而是在其内部使用了自己开发的基于Netty的RPC框架。这是因为Spark的应用场景和Akka的应用场景有所不同。Spark主要用于大规模数据处理，需要高性能和低延迟的网络传输，而Akka更适用于构建分布式应用程序，需要高可用和高并发的消息传递。因此，Spark选择使用自己开发的RPC框架来满足其特定的需求。同时，Spark的开发团队也在不断探索和尝试新的技术，以提高Spark的性能和扩展性。

阅读全文

spark为什么弃用akka

相关推荐

akka.http.spark.medical:Akka Http Spark医疗应用

akka-learning:用Akka要点书学习Akka

Akka.Persistence.ServiceFabric:[已弃用] 对 Akka.Persistence 的 ServiceFabric 支持

数据处理平台架构中的SMACK组合：Spark、Mesos、Akka、Cassandra以及Kafka

Big Data SMACK: A Guide to Apache Spark, Mesos, Akka, Cassandra, and Kafka

Akka

akka-analytics, 具有Akka持久性和 Apache Spark的大规模事件.zip

akka-actors-examples:用Akka谈Actor基础的小样例程序

spark-cassandra-tweetanalytics:这是＃spray-akka-tweetstreaming的延续项目。 使用Akka + Spray保存在Cassandra DB中的推文将使用Spark的Cassandra RDD进行分析

akka-wamp：WAMP-用Akka编写的Web应用程序消息协议实现

基于Akka和Spark的心率检测机制源码及文档

spark3还使用akka吗

spark和akka关系

spark使用akka干嘛

用akka.net 实现UnboundedPriorityMailbox

用akka.net,写自定义邮箱

go 生成基于 graphql 服务器库.zip

基于JAVA+SpringBoot+Vue+MySQL的社区物资交易互助平台 源码+数据库+论文(高分毕业设计).zip

最新推荐

go 生成基于 graphql 服务器库.zip

Angular程序高效加载与展示海量Excel数据技巧

管理建模和仿真的文件

【SecureCRT高亮技巧】：20年经验技术大佬的个性化设置指南

如何设计一个基于FPGA的多功能数字钟，实现24小时计时、手动校时和定时闹钟功能？

Argos客户端开发流程及Vue配置指南

"互动学习：行动中的多样性与论文攻读经历"

【SecureCRT高亮规则深度解析】：让日志输出一目了然的秘诀

在用友U8 UFO报表系统中，如何通过格式管理功能实现报表的格式与样式自定义？

基于源码的PHP Webshell审查工具介绍

spark-cassandra-tweetanalytics:这是＃spray-akka-tweetstreaming的延续项目。使用Akka + Spray保存在Cassandra DB中的推文将使用Spark的Cassandra RDD进行分析

基于JAVA+SpringBoot+Vue+MySQL的社区物资交易互助平台源码+数据库+论文(高分毕业设计).zip