sparkstreaming task是在executor上均匀分布的吗
时间: 2023-02-24 20:06:28 浏览: 172
spark Streaming和structed streaming分析
不一定。在 Spark Streaming 中,任务的分配取决于多种因素,例如资源的可用性和任务的大小等。默认情况下,Spark Streaming 会尽量保证任务的均匀分配,但是如果某些 Executor 上的资源不够,或者某些任务比其他任务大得多,那么 Spark Streaming 可能会不均匀地分配任务。因此,如果需要确保任务的均匀分配,需要对 Spark Streaming 进行特定的设置。
阅读全文