本关任务：使用 Spark Core 知识编写一个词频统计程序

好的，我可以帮您介绍一下如何使用 Spark Core 编写一个词频统计程序。

首先，Spark Core 是 Apache Spark 中最基础的模块，它提供了分布式任务调度、内存管理、错误恢复等基础功能，可以用来构建大规模数据处理应用程序。下面我们就使用 Spark Core 来实现一个简单的词频统计程序。

假设我们有一个包含多个文本文件的目录，我们希望对这些文件中出现的单词进行统计，并按照单词出现的频率进行排序。我们可以使用以下代码来实现：

from pyspark import SparkConf, SparkContext

# 创建 SparkConf 对象，设置应用程序名称
conf = SparkConf().setAppName("WordCount")

# 创建 SparkContext 对象
sc = SparkContext(conf=conf)

# 读取目录中的所有文本文件
files = sc.textFile("path/to/directory/*.txt")

# 对每一行文本进行单词切分
words = files.flatMap(lambda line: line.split(" "))

# 计算每个单词出现的次数
wordCounts = words.map(lambda word: (word, 1)).reduceByKey(lambda x, y: x + y)

# 按照单词出现的频率进行排序
sortedWordCounts = wordCounts.sortBy(lambda pair: pair[1], ascending=False)

# 打印结果
for pair in sortedWordCounts.collect():
    print(pair[0], pair[1])

以上代码中，我们首先创建了一个 SparkConf 对象，用于设置应用程序名称。然后创建了一个 SparkContext 对象，用于连接到 Spark 集群。接着使用 `textFile` 方法读取目录中的所有文本文件，并使用 `flatMap` 方法对每一行文本进行单词切分。然后使用 `map` 方法将每个单词映射为一个 `(word, 1)` 的二元组，并使用 `reduceByKey` 方法对相同单词的计数进行求和。最后使用 `sortBy` 方法对单词出现的频率进行排序，并打印结果。

需要注意的是，以上代码中的 `path/to/directory` 应该替换为实际的目录路径。另外，如果要在本地运行 Spark，需要先下载并解压缩 Spark，然后设置 `SPARK_HOME` 环境变量为 Spark 的根目录。