Flink，Storm，SparkStreaming三种流框架的对比分析_storm和flink

需积分: 47 180 浏览量更新于2023-03-16 评论 4 收藏 2.36MB DOCX 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

Flink，Storm，Spark Streaming 三种流框架的对比

分析

：

：

： 

1.Flink 架构及特性分析

 是个相当早的项目，开始于  年，但只在最近才得到注意。 是原生的流处理

系统，提供  的  !。 也提供  ! 来像 " 一样进行批处理，但两者处理的基

础是完全不同的。 把批处理当作流处理中的一种特殊情况。在  中，所有的数据都

看作流，是一种很好的抽象，因为这更接近于现实世界。

1.1 基本架构

下面我们介绍下  的基本架构， 系统的架构与 " 类似，是一个基于 #$"

风格的架构。

当 集群启动后，首先会启动一个 %&#和一个或多个的 '#。由 

提交任务给 %&#，%&# 再调度任务到各个 '#去执行，然后

'#将心跳和统计信息汇报给 %&#。'#之间以流的形式进行数据

的传输。上述三者均为独立的 %(#进程。

为提交 %&的客户端，可以是运行在任何机器上（与 %&#环境连通即可）。

提交 %&后，可以结束进程（" 的任务），也可以不结束并等待结果返回。

%&#主要负责调度 %&并协调 '做 ))，职责上很像 "的 &。

从 处接收到 %&和 %*包等资源后，会生成优化后的执行计划，并以 '的单元调

度到各个 '#去执行。

'#在启动的时候就设置好了槽位数（"），每个 能启动一个 '，'为

线程。从 %&#处接收需要部署的 '，部署启动后，与自己的上游建立 +连接，

接收数据并处理。

可以看到 的任务调度是多线程模型，并且不同 %&' 混合在一个 '#进程

中。主要组件为 %&#，'#，,下面简要描述这三个组件的作用。

JobManager

%&# 是  系统的协调者，它负责接收 %&，调度组成 %& 的多个 ' 的执行。

同时， %&# 还负责收集 %& 的状态信息，并管理  集群中从节点

'#。%&# 所负责的各项管理功能，它接收到并处理的事件主要包括：

*'#

在  集群启动的时候， '# 会向 %&# 注册，如果注册成功，则

%&# 会向 '# 回复消息 )-.*/。

"&%&

 程序内部通过  向 %&# 提交 %& ，其中在消息 "&%& 中以

%&0 形式描述了 %& 的基本信息。

)%&

请求取消一个 %& 的执行，)%& 消息中包含了 %& 的 !，如果成功则返回消息

)/"))，失败则返回消息 )/。

1.'2)/"

'# 会向 %&# 请求更新 2)/0 中的 2)/(2 的状态信息，

更新成功则返回 。

*32!"

运行在 '# 上面的 ' ，请求获取下一个要处理的输入 " ，成功则返回

2!"。

%&".

2)/0 向 %&# 发送该消息，用来表示 %& 的状态发生的变化，例如：

*1!0、4!0、!!"5 等。

TaskManager

'# 也是一个 )，它是实际负责执行计算的 6，在其上执行 %& 的一

组 '。每个 '# 负责管理其所在节点上的资源信息，如内存、磁盘、网络，在

启动的时候将资源的状态向 %&# 汇报。'# 端可以分成两个阶段：

注册阶段

'# 会向 %&# 注册，发送 *'# 消息，等待 %&# 返回

)-.*/，然后 '# 就可以进行初始化过程。

可操作阶段

该阶段 '# 可以接收并处理与 ' 有关的消息，如

"&' 、 )' 、 ' 。如果 '# 无法连接到 %&# ，这是

'# 就失去了与 %&# 的联系，会自动进入“注册阶段”，只有完成注册才能

继续处理 ' 相关的消息。

Client

当用户提交一个  程序时，会首先创建一个 ，该  首先会对用户提交的 

程序进行预处理，并提交到  集群中处理，所以  需要从用户提交的  程序配置

中获取 %&# 的地址，并建立到 %&# 的连接，将   %& 提交给

%&#。 会将用户提交的  程序组装一个 %&0，并且是以 %&0 的形

式提交的。一个 %&0 是一个 7-，它由多个 %&(2 组成的 0。其中，

一个 %&0 包含了一个  程序的如下信息：%&! 、%& 名称、配置信息、一组

%&(2 等。

剩余32页未读，继续阅读

zexn113

粉丝: 0
资源: 7

会员权益专享

Flink，Storm，Spark Streaming三种流框架的对比分析

评论0

会员权益专享

最新资源

Flink，Storm，Spark Streaming三种流框架的对比分析

评论0

storm与spark简介

spark Streaming和storm的对比

各种流计算的技术路线对比spark/storm/flink

flink，spark streaming，storm对比分析

flink spark streaming storm

spark streaming、flink和storm三种流处理技术的分析和对比。

【计算引擎】sparkstreaming、structuredstreaming、flink、storm 对比

流计算的数据处理引擎包括哪些？ AHadoop、Hive、Pig BFlink、Spark Streaming、Storm C以上都不是 DMySQL、Oracle、SQL Server

Storm: 1.列举几个常见的流计算框架。 2.试述流数据的特点。 3.试列举几种Stream Groupings 的方式。

目前市面上流行的分布式计算框架

电商交易数据实时计算平台在哪个软件上实现

E-MapReduce提供的实时计算服务包括

大数据实时处理技术参考文献

流计算的数据处理语言是什么

阐述批量计算和实时计算的区别

大数据从入门到实战 - 第1章 开发环境搭建

kafka支持实时的流式处理吗

kappa架构与lamada架构，kafka的理解

抽取实时数据的工具有 哪些

java大数据学习路线

会员权益专享

最新资源

大数据从入门到实战 - 第1章开发环境搭建

抽取实时数据的工具有哪些