读取json文件student.json，然后在spark-shell中编写弱类型的UDAF计算学生年龄的平均值。数据格式为{"id":3,"name":"Rongcheng","gender":"M","age":26}

读取json文件可以使用Spark中提供的json方法，示例代码如下：

val df = spark.read.json("student.json")
df.show()

然后，我们可以编写弱类型的UDAF函数来计算学生年龄的平均值，示例代码如下：

import org.apache.spark.sql.expressions.MutableAggregationBuffer
import org.apache.spark.sql.expressions.UserDefinedAggregateFunction
import org.apache.spark.sql.types._
import org.apache.spark.sql.Row

class AvgAge extends UserDefinedAggregateFunction {
  // 定义输入参数的数据类型
  def inputSchema: StructType = StructType(StructField("age", IntegerType) :: Nil)

  // 定义缓冲区数据类型
  def bufferSchema: StructType = StructType(StructField("total", LongType) :: StructField("count", LongType) :: Nil)

  // 定义输出数据类型
  def dataType: DataType = DoubleType

  // 定义是否是幂等的函数
  def deterministic: Boolean = true

  // 初始化缓冲区，将初始值赋给缓冲区
  def initialize(buffer: MutableAggregationBuffer): Unit = {
    buffer(0) = 0L
    buffer(1) = 0L
  }

  // 更新缓冲区，将新的值加入到缓冲区中
  def update(buffer: MutableAggregationBuffer, input: Row): Unit = {
    if (!input.isNullAt(0)) {
      buffer(0) = buffer.getLong(0) + input.getInt(0)
      buffer(1) = buffer.getLong(1) + 1L
    }
  }

  // 合并缓冲区，将两个缓冲区合并成一个缓冲区
  def merge(buffer1: MutableAggregationBuffer, buffer2: Row): Unit = {
    buffer1(0) = buffer1.getLong(0) + buffer2.getLong(0)
    buffer1(1) = buffer1.getLong(1) + buffer2.getLong(1)
  }

  // 计算最终结果，返回平均值
  def evaluate(buffer: Row): Any = {
    if (buffer.getLong(1) == 0L) {
      null
    } else {
      buffer.getLong(0).toDouble / buffer.getLong(1)
    }
  }
}

// 注册UDAF函数
val avgAge = new AvgAge()
spark.udf.register("avgAge", avgAge)

// 使用UDAF函数计算年龄平均值
df.selectExpr("avgAge(age)").show()