spark实现单词统计

Apache Spark是一个用于大规模数据处理的开源框架，尤其适用于实时流处理和批处理任务。对于单词统计这样的任务，Spark可以借助其分布式计算能力和内存计算模型来高效完成。

在Spark中，可以使用`pyspark`或`spark-submit`命令行工具创建一个Spark应用，然后利用`SparkContext`和`RDD`(弹性分布式数据集)来进行操作。以下是基本步骤：

1. **数据加载**：首先从文件系统、Hadoop Distributed File System (HDFS)或其他数据源读取文本数据，如`textFile()`函数。

from pyspark import SparkConf, SparkContext

conf = SparkConf().setAppName("WordCount")
sc = SparkContext(conf=conf)

lines = sc.textFile("input.txt") # 假设输入文件名是input.txt

2. **数据预处理**：将文本分割成单词列表，并转换为小写，以便忽略大小写差异。

words = lines.flatMap(lambda line: line.lower().split())

3. **去重并计数**：通过`reduceByKey()`函数对每个单词及其出现次数进行累加。

word_counts = words.map(lambda word: (word, 1)).reduceByKey(lambda a, b: a + b)

4. **结果保存或展示**：最后，可以选择将结果持久化到文件或直接打印出来。

word_counts.saveAsTextFile("output.txt")  # 保存到指定文件
for word, count in word_counts.collect(): print(f"{word}: {count}")