idea scala 实验五、使用SparkRDD实现单词计数WordCount，输出结果。统计的数据文件data.txt中加入的姓名曾政、学号412。

在Idea Scala中进行Spark RDD的WordCount实验，首先你需要做的是设置好Spark环境并导入必要的库。以下是基本步骤：

1. **创建SparkContext**：在Scala中，你需要通过`SparkConf`配置一个`SparkContext`实例，这将连接到Spark集群。

import org.apache.spark.{SparkConf, SparkContext}
val conf = new SparkConf().setAppName("WordCount")
val sc = new SparkContext(conf)

2. **读取数据**：使用`sc.textFile()`函数从"data.txt"文件中加载文本数据。由于数据包含姓名和学号，我们需要先处理这个格式。

val inputData = sc.textFile("data.txt").map(_.split(" ")) // 将每行分割成单词列表

3. **去除停用词和特殊字符**：如果你的数据中包含了停用词或者不需要的特殊字符，可以添加过滤步骤。

val filteredData = inputData.filter { word => word.nonEmpty && !word.matches("[^a-zA-Z]") }

4. **转换为小写并分词**：将所有单词转换为小写。

val words = filteredData.flatMap(_.toLowerCase.split("\\W+")) // 使用正则表达式匹配非字母字符

5. **创建WordPairRDD**：然后，我们将单词映射到`(word, 1)`对，这是计算频率的基础。

val wordCounts = words.map(word => (word, 1))

6. **组合并去重**：最后，使用`reduceByKey`函数将每个单词的频率相加，并去除重复的单词。

val result = wordCounts.reduceByKey(_ + _)

7. **保存结果**：你可以选择保存结果到一个新的文本文件或者显示出来。

result.saveAsTextFile("output_word_count.txt") // 或者直接打印查看

运行以上代码后，你会得到一个名为"output_word_count.txt"的文件，其中会包含每个单词及其出现的次数，包括"曾政"和"412"（假设它被视为单个词）。