、请编写Spark程序代码并提交虚拟机运行,要求读取spark路径下 /data/mllib/sample kmeansdatatxt 文件,只保留double类型数据,并按照从小到大的顺序排列打印。
时间: 2024-01-13 07:02:16 浏览: 95
本人的spark项目代码以及数据,请下载查看
3星 · 编辑精心推荐
好的,以下是您所需的Spark程序代码:
```scala
import org.apache.spark.{SparkConf, SparkContext}
object KMeansDataFilter {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName("KMeansDataFilter")
val sc = new SparkContext(conf)
val data = sc.textFile("/data/mllib/sample_kmeans_data.txt")
.flatMap(_.split("\\s+"))
.flatMap(x => scala.util.Try(x.toDouble).toOption)
data.filter(_.isInstanceOf[Double])
.map(_.asInstanceOf[Double])
.sortBy(x => x)
.foreach(println)
sc.stop()
}
}
```
您可以将代码保存为KMeansDataFilter.scala文件并使用sbt或maven编译打包成jar文件。然后,在Spark集群上运行以下命令:
```
spark-submit --class KMeansDataFilter \
--master yarn \
--deploy-mode client \
/path/to/your/KMeansDataFilter.jar
```
请注意,您需要将`/path/to/your/KMeansDataFilter.jar`替换为您的jar文件路径。另外,您需要将`--master`参数替换为您的Spark集群管理器的地址。
阅读全文