DAGScheduler使用什么将DAG划分成stage
时间: 2024-02-05 15:04:37 浏览: 71
Stage划分算法原理剖析.pdf
DAGScheduler使用RDD依赖关系将DAG划分成stage。一个stage是由一组相同的shuffle依赖关系组成的,即同一个stage中的所有shuffle依赖关系的源RDD都是同一个父RDD。在划分stage的过程中,DAGScheduler会按照topological order(拓扑排序)对DAG进行排序,然后按照shuffle依赖关系分割成多个stage。这样可以提高作业的并行度和执行效率。每个stage都是由一组任务(task)组成,这些任务可以并行地执行。
阅读全文