Spark/Flink

Spark和Flink都是分布式流处理框架，用于实时数据处理和分析。

**Apache Spark**
Spark是一个开源的大数据处理引擎，支持批处理、交互式查询以及流处理。它以内存计算为核心，可以高效地对大规模数据进行迭代操作。Spark SQL提供了SQL接口来处理结构化数据，而MLlib库则提供了丰富的机器学习算法。例如，你可以这样使用Spark Streaming来处理实时数据流：

from pyspark.streaming import StreamingContext
ssc = StreamingContext(sc, 10)  # 设置窗口大小为10秒
lines = ssc.socketTextStream('localhost', 9999)
words = lines.flatMap(lambda line: line.split(' '))
word_counts = words.countByWindow(10, 5)  # 每10秒滑动窗口大小为5秒
word_counts.pprint()
ssc.start()  # 开始执行流处理任务
ssc.awaitTermination()  # 等待任务结束

**Apache Flink**
Flink更注重低延迟和高吞吐量，支持事件时间处理和状态管理。它的DataStream API允许你在流上执行复杂的算子链。Flink也支持批处理和交互式环境。以下是如何使用Flink Stream API处理实时数据的一个简单示例：

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
DataStream<String> text = env.socketTextStream("localhost", 9999);
DataStream<String> wordCounts = text.flatMap(new Tokenizer())
    .keyBy(word -> word)
    .timeWindow(Time.seconds(10))
    .sum(1);  // 对每个单词计数
wordCounts.print();  // 打印结果
env.execute("WordCount");