spark structued streaming
时间: 2023-12-12 10:36:06 浏览: 68
spark streaming
Spark Structured Streaming是一种基于Spark SQL引擎的可扩展且容错的流处理引擎,它允许开发人员使用Spark SQL的强大功能来处理实时数据流。相比于Spark Streaming,Spark Structured Streaming更加简单易用,因为它使用了与批处理相同的API,同时还支持流式查询。Spark Structured Streaming可以接受各种数据源,包括Kafka、Flume、***和Dataset API,这些API提供了一种高级别的抽象,使得开发人员可以使用SQL查询来处理流数据。Spark Structured Streaming还支持常见的流处理操作,例如窗口操作、聚合操作、连接操作等。
<<引用: streamingDf.join(staticDf,"type")//innerequi-joinwithastaticDF>>
上述代码是Spark Structured Streaming中的一个内连接操作,其中streamingDf是一个流式DataFrame,staticDf是一个静态DataFrame,"type"是连接的键。这个操作将流式DataFrame和静态DataFrame连接在一起,返回一个新的DataFrame,其中包含两个DataFrame中连接键相等的行。
阅读全文