Stage的task数量由什么决定 A、 Partition B、 Job C、 Stage D、 TaskScheduler
时间: 2024-01-31 10:03:55 浏览: 139
Stage的task数量由B、Job决定。在Spark中,每个Stage都会对应一个Job,而每个Job又会被分成多个tasks来并行执行。因此,Stage的task数量取决于它所对应的Job分成了多少个tasks来执行。 TaskScheduler负责任务的调度工作,它不直接影响Stage的task数量,但它会决定任务的执行顺序和分配给哪些Executor来执行。
阅读全文