使用SparkRDD实现单词计数WordCount，输出结果

Spark RDD（Resilient Distributed Dataset，弹性分布式数据集）是一种容错的数据结构，用于处理大规模数据集。在Spark中，实现单词计数（Word Count）是一个经典的示例，通常包括以下步骤：

1. **数据预处理**：首先，将输入文本分割成单词，这可以使用`flatMap`函数进行，它会将每个元素转换成一个包含所有单词的迭代器。

word_rdd = text_rdd.flatMap(lambda line: line.split())

2. **去重和分词**：使用`distinct`去除重复单词，并统计每个单词出现的次数。这里我们可以使用`reduceByKey`函数，它会对每个键值对进行累加操作。

word_counts = word_rdd.distinct().map(lambda word: (word, 1)).reduceByKey(lambda a, b: a + b)

3. **结果转换为Pair Tuple**：`reduceByKey`返回的结果是一组键值对，其中键是单词，值是出现次数。为了输出，我们需要将它们转换回`(word, count)`的形式。

word_count_pairs = word_counts.map(lambda kv: kv[0] + " " + str(kv[1]))

4. **收集结果**：最后，使用`collect()`函数获取整个集群上所有任务的结果并返回到驱动程序，得到最终的单词计数列表。

sorted_word_counts = word_count_pairs.sortBy(lambda x: (-x[1], x[0])).collect()

在这个过程中，`sortBy`按值降序排序，`-x[1]`表示降序。