Spark中的task是运行在executor中的一个线程,同一个executor内部的TASK可以共享
时间: 2023-12-06 16:41:44 浏览: 160
spark任务task分析
同一个executor内部的多个task可以共享executor的资源,例如内存和CPU核心。但是每个task实际上是运行在一个独立的Java虚拟机进程中,因此它们之间是相互独立的。这意味着它们不能直接共享数据,而必须通过共享存储器(如HDFS或Spark的分布式内存系统)来交换数据。另外,每个task也有自己的任务上下文,因此它们之间也是相互独立的。
阅读全文