flink 有多少种并行度
时间: 2023-08-16 16:04:12 浏览: 161
Flink之slot、并行度、graph优化
在Flink中,可以设置以下三种类型的并行度:
1. 算子并行度(Operator Parallelism):指的是单个算子实例的并行度,即并行执行算子的任务的数量。算子并行度的值可以在代码中通过`setParallelism(n)`方法进行设置,也可以在配置文件中通过`parallelism.default`属性进行设置。
2. 任务并行度(Task Parallelism):指的是整个Flink任务(Job)的并行度,即Flink将任务分割成多个子任务,并行执行这些子任务的数量。任务并行度的值可以在代码中通过`setParallelism(n)`方法进行设置,也可以在提交任务时通过`-p`参数进行设置。
3. 数据并行度(Data Parallelism):指的是在算子之间传输数据的并行度,即并行发送和接收数据的数量。数据并行度的值可以通过Flink的网络通信机制来自动调整,以满足任务的需求。
需要注意的是,算子并行度和任务并行度是不同的概念,一个任务可以包含多个算子,每个算子可以有不同的并行度。同时,数据并行度也是根据任务的具体情况自动调整的,开发者无需手动设置。
阅读全文