创建maven项目的配置
时间: 2023-07-22 14:57:55 浏览: 122
如何配置maven
创建基于Scala语言的Spark Maven项目:
1. 打开IntelliJ IDEA,点击“Create New Project”。
2. 选择“Maven”作为项目类型,点击“Next”。
3. 输入项目名称和项目路径,点击“Next”。
4. 选择Scala版本和Spark版本,点击“Next”。
5. 选择项目的groupId和artifactId,点击“Next”。
6. 点击“Finish”完成项目创建。
WordCount程序:
1. 在src/main/scala目录下创建一个WordCount.scala文件。
2. 在文件中输入以下代码:
```
import org.apache.spark.{SparkConf, SparkContext}
object WordCount {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName("WordCount").setMaster("local")
val sc = new SparkContext(conf)
val input = sc.textFile("input.txt")
val words = input.flatMap(line => line.split(" "))
val counts = words.map(word => (word, 1)).reduceByKey(_ + _)
counts.foreach(println)
}
}
```
3. 在项目根目录下创建一个input.txt文件,并输入一些文本内容。
4. 运行WordCount程序,可以在控制台看到单词统计结果。
阅读全文