使用IntelliJ IDEA社区版IDE创建Spark项目Word(IDEA构建)
时间: 2024-05-13 12:01:43 浏览: 103
1. 打开IntelliJ IDEA社区版,点击“Create New Project”按钮。
2. 在弹出的窗口中,选择“Spark”,然后点击“Next”按钮。
3. 在下一个窗口中,输入项目名称和项目路径,然后点击“Next”按钮。
4. 在下一个窗口中,选择“Scala”作为项目语言,然后点击“Finish”按钮。
5. 等待IDEA创建项目完成后,在IDEA的Project窗口中,找到“src/main/scala”目录,右键点击该目录,选择“New”->“Scala Class”。
6. 在弹出的窗口中,输入类名“WordCount”,然后点击“OK”按钮。
7. 在WordCount类中,输入以下代码:
```
import org.apache.spark.{SparkConf, SparkContext}
object WordCount {
def main(args: Array[String]) {
val conf = new SparkConf().setAppName("Word Count").setMaster("local")
val sc = new SparkContext(conf)
val data = sc.textFile("file:///path/to/your/text/file")
val words = data.flatMap(line => line.split(" "))
val wordCounts = words.map(word => (word, 1)).reduceByKey(_ + _)
wordCounts.foreach(println)
sc.stop()
}
}
```
8. 将上述代码中的“/path/to/your/text/file”替换为你自己的文本文件路径。
9. 点击菜单栏中的“Run”->“Run 'WordCount'”,即可运行该Spark应用程序。
10. 运行完成后,在IDEA的控制台中,可以看到输出的单词计数结果。
阅读全文