spark的stage
时间: 2023-10-17 08:34:01 浏览: 38
Spark的Stage是根据是否产生了shuffle(即宽依赖)来划分的。当遇到一个shuffle操作时,就会将任务划分为前后两个Stage。
需要注意的是,Stage的划分是从后往前进行的,但是执行时是从前往后执行的。这就是为什么后面先切割的Stage编号为3的原因。
在Spark的StageInfo的伴生对象中,提供了一个构建StageInfo的方法,可以通过该方法创建StageInfo对象。该方法的代码如下:
```scala
def fromStage(
stage: Stage,
attemptId: Int,
numTasks: Option[Int = None,
taskMetrics: TaskMetrics = null,
taskLocalityPreferences: Seq<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* [Spark:Stage介绍](https://blog.csdn.net/lt326030434/article/details/120073802)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
- *3* [Spark调度系统——Stage详解](https://blog.csdn.net/LINBE_blazers/article/details/90678937)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]