spark streaming 源码

Spark Streaming是Spark的一个扩展库，提供了实时流处理的能力。它的源码可以在Apache Spark的官方仓库中找到：https://github.com/apache/spark。

在源码中，Spark Streaming的主要实现位于`streaming`子目录中。其中，最重要的文件是`StreamingContext.scala`，它定义了Spark Streaming的核心类`StreamingContext`，用于创建和配置Spark Streaming应用程序。其他重要的文件包括：

- `DStream.scala`：定义了DStream（离散流）的抽象类，它是Spark Streaming中最基本的抽象概念，表示一个连续的、无界的数据流。
- `InputDStream.scala`：定义了InputDStream（输入离散流）的抽象类，它是所有输入流的基类。
- `ReceiverInputDStream.scala`：定义了ReceiverInputDStream（接收器输入离散流）的类，它表示通过接收器从数据源中获取数据的输入流。
- `DirectKafkaInputDStream.scala`：定义了DirectKafkaInputDStream（直接Kafka输入离散流）的类，它表示直接从Kafka中获取数据的输入流。
- `TransformedDStream.scala`：定义了TransformedDStream（转换离散流）的抽象类，它表示对一个DStream进行转换操作后得到的新的DStream。

除了上述文件之外，还有许多与Spark Streaming相关的文件，如`streaming.kafka`、`streaming.flume`、`streaming.twitter`等，它们分别实现了与Kafka、Flume、Twitter等数据源的集成。此外，还有一些与内部实现相关的文件，如`streaming.scheduler`、`streaming.util`等。

总体来说，Spark Streaming的源码结构清晰，代码质量高，是一个很好的学习实时流处理的资源。