利用 Spark 编写一个词频统计程序。数据文件如下

利用 Apache Spark 进行词频统计是一个常见的任务，特别是在处理大规模文本数据时。Spark 提供了分布式计算框架，可以高效地并行处理大量数据。下面是一个简单的 Python 示例，使用 PySpark 来完成这个任务：

from pyspark import SparkConf, SparkContext

# 创建Spark配置和上下文
conf = SparkConf().setAppName("WordCount").setMaster("local[4]")  # 使用本地模式，如果有集群，替换为"spark://master_ip:port"
sc = SparkContext(conf=conf)

# 定义数据源路径（假设是HDFS，实际应用中可能需要替换）
data_file = "hdfs:///path/to/your/data.txt"

# 读取文本文件并将内容转换为单词列表
lines = sc.textFile(data_file)
words = lines.flatMap(lambda line: line.split())  # 分割每一行成为单词

# 对单词进行去重并计数
word_counts = words.distinct().map(lambda word: (word, 1)).reduceByKey(lambda a, b: a + b)  # 使用reduceByKey累加每个单词的频率

# 打印前10个最常见的单词及其频率
top_10_words = word_counts.takeOrdered(10, key=lambda x: -x[1])
for word, count in top_10_words:
    print(f"{word}: {count}")

# 关闭Spark上下文
sc.stop()

在这个例子中，我们首先创建了一个SparkContext，然后读取数据文件，并通过`flatMap`函数将每行文本分割成单词。接着，我们去重并使用`reduceByKey`计算每个单词的出现次数。最后，我们打印出最常见的前10个单词。