scala 实验五、使用SparkRDD实现单词计数WordCount，输出结果。统计的数据文件data.txt中加入你的姓名、学号。

Scala实验五中，我们通常会使用Apache Spark的RDD（弹性分布式数据集）来实现单词计数。这个过程涉及读取文本文件，分割成单词，去除停用词和标点，然后计算每个单词的频率。

以下是简单的步骤：

1. 首先，需要导入SparkContext和相关的库：

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.rdd.RDD

2. 创建Spark配置并初始化SparkContext：

val conf = new SparkConf().setAppName("WordCount")
val sc = new SparkContext(conf)

3. 从"data.txt"文件中读取数据：

val textFile = sc.textFile("data.txt")

4. 将文本分割成单词，并转为小写：

val words = textFile.flatMap(line => line.split("\\W+").map(_.toLowerCase))

这里`\\W+`是一个正则表达式，用于匹配所有非字母数字字符。

5. 去除停用词（如你的姓名和学号），这一步可以根据实际需求定制一个停用词列表：

val stopWords = Seq("your_name", "your_student_id") // 替换为你自己的名字和学号
val filteredWords = words.filterNot(stopWords.contains)

6. 计算每个单词的频率：

val wordCounts = filteredWords.map(word => (word, 1)).reduceByKey(_ + _)

`reduceByKey`函数将单词及其对应的频率合并在一起。

7. 最后，打印出结果：

wordCounts.foreach(println)

运行上述代码后，你应该能看到按照词频排序的结果，包括除去你的姓名和学号后的其他单词。