Flink的组成框架图

### Flink 架构组成框架图

#### 1. 主要组成部分概述
Flink 的架构设计旨在支持高效的大规模数据处理。该架构主要由以下几个核心组件构成：

- **JobManager**: 负责协调和管理作业的执行过程，包括调度任务、协调checkpoint等[^4]。

- **TaskManager (Worker)**: 执行实际的任务单元(subtasks)，每个 TaskManager 可能会运行多个 task 实例。

- **Client**: 用户提交 job 到集群的方式之一；负责准备 JobGraph 并将其发送给 JobManager 进行后续处理.

- **Source 和 Sink**: 数据流入流出系统的接口。Source 作为输入源读取外部系统如 Kafka 中的数据，而 Sink 将处理后的结果写入目标存储系统中[^3].

#### 2. 多并行度 DataFlow 视角下的 Subtask 分布
在一个典型的 Flink 应用程序中，不同类型的算子(Operators)可以有不同的并行度设置。例如 Source、Map 或 KeyBy 等操作可能配置较高的并行度以加速数据摄入速度或中间转换效率，而某些特定阶段如最终聚合则可能会降低至单一实例完成输出.

对于上述提到的应用场景，假设存在两个并行度为2的操作以及一个并行度为1的sink，则整个应用程序的最大并行度即为2.

+-------------------+
|     Client        |
+--------+----------+
         | Submit Job Graph
         v
+--------v----------+
|    JobManager     |
+--------+----------+
         | Schedule Tasks
         v
+--------v--------------------+       +-------------+
| Multiple TaskManagers(Wokers)|<----->| External Systems|
| Each runs multiple subtasks  |       | e.g., Kafka, HDFS|
+------------------------------+       +-------------+

此简化版图表展示了 Flink 如何通过各个节点间的协作来构建完整的流式处理管道，并且体现了从客户端提交job直至在worker上具体执行的过程.