scala统计words.txt中的单词计数

在Scala中，你可以使用`scala.io.Source`来读取文件内容，然后通过`split`函数将文本分割成单词列表，再配合`foldLeft`或者`groupBy`等高阶函数来计算每个单词的频率。以下是一个简单的示例：

import scala.io.Source

object WordCount {
  def main(args: Array[String]): Unit = {
    val filename = "words.txt"
    
    // 读取文件内容
    val lines = Source.fromFile(filename).getLines().toList
    
    // 使用flatMap转换每一行的单词，并去重
    val words = lines.flatMap(line => line.split("\\W+").distinct)
    
    // 使用foldLeft计算单词计数
    val wordCounts = words.foldLeft(Map.empty[String, Int]) { (countMap, word) =>
      countMap + (word -> (countMap.getOrElse(word, 0) + 1))
    }
    
    // 输出结果
    wordCounts.foreach { case (word, count) => println(s"$word: $count") }

相关问题

scala 实验五、使用SparkRDD实现单词计数WordCount，输出结果。统计的数据文件data.txt中加入你的姓名、学号。

Scala实验五中，我们通常会使用Apache Spark的RDD（弹性分布式数据集）来实现单词计数。这个过程涉及读取文本文件，分割成单词，去除停用词和标点，然后计算每个单词的频率。

以下是简单的步骤：

1. 首先，需要导入SparkContext和相关的库：

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.rdd.RDD

2. 创建Spark配置并初始化SparkContext：

val conf = new SparkConf().setAppName("WordCount")
val sc = new SparkContext(conf)

3. 从"data.txt"文件中读取数据：

val textFile = sc.textFile("data.txt")

4. 将文本分割成单词，并转为小写：

val words = textFile.flatMap(line => line.split("\\W+").map(_.toLowerCase))

这里`\\W+`是一个正则表达式，用于匹配所有非字母数字字符。

5. 去除停用词（如你的姓名和学号），这一步可以根据实际需求定制一个停用词列表：

val stopWords = Seq("your_name", "your_student_id") // 替换为你自己的名字和学号
val filteredWords = words.filterNot(stopWords.contains)

6. 计算每个单词的频率：

val wordCounts = filteredWords.map(word => (word, 1)).reduceByKey(_ + _)

`reduceByKey`函数将单词及其对应的频率合并在一起。

7. 最后，打印出结果：

wordCounts.foreach(println)

运行上述代码后，你应该能看到按照词频排序的结果，包括除去你的姓名和学号后的其他单词。

idea scala 实验五、使用SparkRDD实现单词计数WordCount，输出结果。统计的数据文件data.txt中加入的姓名曾政、学号412。

在Idea Scala中进行Spark RDD的WordCount实验，首先你需要做的是设置好Spark环境并导入必要的库。以下是基本步骤：

1. **创建SparkContext**：在Scala中，你需要通过`SparkConf`配置一个`SparkContext`实例，这将连接到Spark集群。

import org.apache.spark.{SparkConf, SparkContext}
val conf = new SparkConf().setAppName("WordCount")
val sc = new SparkContext(conf)

2. **读取数据**：使用`sc.textFile()`函数从"data.txt"文件中加载文本数据。由于数据包含姓名和学号，我们需要先处理这个格式。

val inputData = sc.textFile("data.txt").map(_.split(" ")) // 将每行分割成单词列表

3. **去除停用词和特殊字符**：如果你的数据中包含了停用词或者不需要的特殊字符，可以添加过滤步骤。

val filteredData = inputData.filter { word => word.nonEmpty && !word.matches("[^a-zA-Z]") }

4. **转换为小写并分词**：将所有单词转换为小写。

val words = filteredData.flatMap(_.toLowerCase.split("\\W+")) // 使用正则表达式匹配非字母字符

5. **创建WordPairRDD**：然后，我们将单词映射到`(word, 1)`对，这是计算频率的基础。

val wordCounts = words.map(word => (word, 1))

6. **组合并去重**：最后，使用`reduceByKey`函数将每个单词的频率相加，并去除重复的单词。

val result = wordCounts.reduceByKey(_ + _)

7. **保存结果**：你可以选择保存结果到一个新的文本文件或者显示出来。

result.saveAsTextFile("output_word_count.txt") // 或者直接打印查看

运行以上代码后，你会得到一个名为"output_word_count.txt"的文件，其中会包含每个单词及其出现的次数，包括"曾政"和"412"（假设它被视为单个词）。