实时统计单词频率（25分） 在 IntelliJ IDEA 中编写 Spark 代码，设置窗口长度为 30 秒，窗口滑动时间间隔为 10 秒，计算 10 秒内每个单词出现的次数，然后根据出现的次数对单词进行排序的运行结果

实时统计单词频率通常涉及到文本流处理，比如使用Apache Spark库，它在大数据处理中有强大的能力。在IntelliJ IDEA中，你可以按照以下步骤操作：

1. **环境准备**:
- 首先，在IntelliJ IDEA中创建一个新的Spark项目，并配置好Spark的依赖。

2. **数据预处理**:
使用`Spark Streaming` API，这是一组针对实时数据流的操作API。你需要将输入的数据（例如从Kafka、Socket流等）转换成一个可以迭代的DStream（Discretized Stream）。

import org.apache.spark.streaming.api.java.JavaDStream;
import org.apache.spark.streaming.api.java.JavaPairDStream;

3. **单词分割**:
对每条实时数据进行单词切割，这里假设你有`Tokenizer`工具或者正则表达式来进行分割。

4. **计数和窗口操作**:
使用`flatMap()`函数将字符串切分成单词列表，然后通过`countByValue()`或`reduceByKeyAndWindow()`计算每个单词在窗口内的出现次数。窗口操作会应用到10秒的时间段上，每隔10秒滑动一次。

JavaPairDStream<String, Integer> wordCounts = textDStream.flatMap((Text line) -> Arrays.asList(line.toString().split("\\s+"))
    .mapToPair((word) -> new Tuple2<>(word, 1))
    .reduceByKey((a, b) -> a + b);

5. **排序**:
将单词计数对按值降序排列，得到一个`(单词, 出现次数)`的有序序列。

JavaPairDStream<String, Integer> sortedCounts = wordCounts.sortBy(lambda: (-value, key));

6. **打印结果**:
最后，你可以选择将结果持久化存储，或者直接在控制台上打印出来，展示每个单词及其在最近10秒内出现的次数。

7. **运行任务**:
设置好Spark Streaming的启动参数，如检查点路径，启动任务并持续监控。

sc.start();
sc.awaitTermination();