用spark RDD 编程实现,实现单词统计
时间: 2023-11-14 07:22:25 浏览: 74
【Spark资源】Spark单词统计实验.pdf
好的,这是一个技术问题,我可以回答。以下是使用Spark RDD编程实现单词统计的示例代码:
```scala
// 创建SparkContext
val conf = new SparkConf().setAppName("WordCount")
val sc = new SparkContext(conf)
// 读取文件并按行分割
val lines = sc.textFile("input.txt")
// 切分每一行为单词
val words = lines.flatMap(_.split(" "))
// 将每个单词计数为1,并按单词分组
val pairs = words.map(word => (word, 1)).reduceByKey(_ + _)
// 将结果保存到文件
pairs.saveAsTextFile("output.txt")
// 关闭SparkContext
sc.stop()
```
以上代码假设你的输入文件名为`input.txt`,输出文件名为`output.txt`。你可以根据自己的需求修改输入输出路径和分隔符等参数。
阅读全文