简述Spark对一个存在Hadoop的HDFS上的文件做RDD词频统计代码步骤

在Apache Spark中，对HDFS上已存在的文件进行词频统计通常包含以下几个步骤：

1. **初始化SparkContext**:
首先需要创建一个`SparkConf`对象配置Spark环境，并通过它创建`SparkContext`实例。

from pyspark import SparkConf, SparkContext

conf = SparkConf().setAppName("WordCount")
sc = SparkContext(conf=conf)

2. **读取数据**:
使用`SparkContext`提供的`textFile`函数从HDFS读取文本文件。假设文件名为`hdfs://path/to/file.txt`。

input_file = sc.textFile("hdfs://path/to/file.txt")

3. **数据转换（flatMap）**:
将原始文本分割成单词列表，使用`flatMap`操作符。

words = input_file.flatMap(lambda line: line.split())

4. **去重（distinct）**:
删除单词列表中的重复项。

distinct_words = words.distinct()

5. **计算词频（reduceByKey）**:
对每个唯一的单词应用`reduceByKey`，累加其出现次数。

word_counts = distinct_words.map(lambda word: (word, 1)).reduceByKey(lambda a, b: a + b)

6. **保存结果**:
最后，将结果保存到另一个HDFS路径或者直接输出到控制台，这里以`saveAsTextFile`为例。

word_counts.saveAsTextFile("hdfs://path/to/output/directory")

7. **关闭SparkContext**:
完成处理后记得关闭`SparkContext`以释放资源。

sc.stop()