有一个文本文件保存了两列数据，第一列是分钟,格式为“200201010000”到“200212312359”，第二列是数据，需要去除异常值“999999.0”，如何使用rdd和spark-shell计算每天的平均值

首先，我们需要读取文本文件并转换为RDD，然后过滤掉第二列中的异常值。接下来，我们将RDD转换为键值对格式，其中键为日期，值为该日期的数据。最后，我们使用reduceByKey操作计算每天的总和和计数，并计算每天的平均值。

以下是代码示例：

// 读取文本文件并转换为RDD
val data = sc.textFile("path/to/file.txt")

// 过滤掉异常值
val filteredData = data.filter(line => !line.contains("999999.0"))

// 将RDD转换为键值对格式
val keyValueData = filteredData.map(line => {
  val fields = line.split(" ")
  val date = fields(0).substring(0, 8)
  val value = fields(1).toDouble
  (date, value)
})

// 计算每天的总和和计数
val sumCountPerDay = keyValueData.aggregateByKey((0.0, 0))(
  (acc, value) => (acc._1 + value, acc._2 + 1),
  (acc1, acc2) => (acc1._1 + acc2._1, acc1._2 + acc2._2)
)

// 计算每天的平均值
val avgPerDay = sumCountPerDay.mapValues(sumCount => sumCount._1 / sumCount._2)

// 输出结果
avgPerDay.collect().foreach(println)

在上面的代码中，我们使用`aggregateByKey`操作来计算每天的总和和计数。`aggregateByKey`需要三个参数：初始值、分区内聚合函数和分区间聚合函数。在我们的例子中，初始值为`(0.0, 0)`，表示每天的初始总和为0.0，计数为0。分区内聚合函数`(acc, value) => (acc._1 + value, acc._2 + 1)`将每个键值对的值累加到总和中，并将计数加1。分区间聚合函数`(acc1, acc2) => (acc1._1 + acc2._1, acc1._2 + acc2._2)`将各个分区的结果合并起来。

最后，我们使用`mapValues`操作计算每天的平均值，并使用`collect`将结果收集到驱动程序中并输出。