请根据以下要求编写和运行一个简单的spark程序
时间: 2024-05-05 13:16:01 浏览: 77
要求:
1. 使用Scala语言编写
2. 从本地文件系统读取数据
3. 对数据进行简单的处理,如过滤、计数等
4. 将结果输出到控制台
代码如下:
```scala
import org.apache.spark.sql.SparkSession
object SimpleSparkApp {
def main(args: Array[String]): Unit = {
val spark = SparkSession.builder()
.appName("SimpleSparkApp")
.master("local[*]")
.getOrCreate()
val sc = spark.sparkContext
val input = sc.textFile("input.txt")
val filtered = input.filter(line => line.contains("spark"))
val count = filtered.count()
println(s"Number of lines containing 'spark': $count")
spark.stop()
}
}
```
运行:
1. 创建一个名为input.txt的文件,并将其放置在文件系统中的任何位置。
2. 打开终端并进入程序所在的目录。
3. 运行以下命令:`spark-submit --class SimpleSparkApp --master local[*] SimpleSparkApp.jar`
4. 检查输出,应该显示有多少行包含“spark”。
阅读全文