Spark Streaming将流式计算分解成多个Spark Job,对于每一段数据的处理都会经过Spark DAG图分解
时间: 2024-05-17 22:11:59 浏览: 82
Spark-Streaming流式数据处理
5星 · 资源好评率100%
是的,Spark Streaming将流式计算分解成多个小的批处理作业(batch job),对于每一个小批次的数据,Spark Streaming会将其转化为一个Spark RDD,并且将每个批次的RDD组成一个DAG图,每个DAG图对应一个Spark Job。这种方式可以让Spark Streaming具有弹性、容错性和高可用性,因为如果某个Spark Job失败了,Spark Streaming会自动重新计算该Job,而不需要重新计算整个流式计算的过程。
阅读全文