30分钟概览spark streaming 实时计算

Spark Streaming 是 Apache Spark 的一个组件，它提供了实时数据处理和流式计算的能力。Spark Streaming 可以从多种数据源（如 Kafka、Flume、Twitter、HDFS 等）中读取数据，并将其转换为离散的批次进行处理。Spark Streaming 支持高可靠性、高吞吐量和低延迟的实时数据处理，可以用于实时数据分析、实时监控、实时推荐等场景。Spark Streaming 的核心概念是 DStream（离散流），它是一系列连续的 RDD（弹性分布式数据集）组成的序列，每个 RDD 包含一段时间内的数据。Spark Streaming 提供了丰富的 API，可以进行数据转换、过滤、聚合、窗口操作等，还可以与 Spark 的其他组件（如 Spark SQL、MLlib、GraphX 等）进行集成，实现更复杂的实时计算任务。