11.使用Spark SQL统计出每一个省份广告被点击次数的 TOP3，并简要说明原理。 数据在access.log文件中，数据结构：时间戳，省份，城市，用户，广告 字段使用空格分割。 样本如下： 1516609143867 6 7 64 16 1516609143869 9 4 75 18 1516609143869 1 7 87 12

实现这个需求的关键在于如何使用Spark SQL进行统计操作。以下是实现的基本步骤：

1. 将数据读入Spark RDD中。
2. 将RDD转换为DataFrame，按照时间戳、省份、广告字段生成对应的Schema。
3. 使用Spark SQL的API进行分组操作，统计每个省份广告被点击的次数。
4. 对每个省份的统计结果进行排序，取出前三名。
5. 输出结果。

具体实现如下：

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions._

object AdClickTop3 {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .appName("AdClickTop3")
      .master("local[*]")
      .getOrCreate()

    // 1. 读取数据
    val data = spark.sparkContext.textFile("access.log")

    // 2. 将RDD转换为DataFrame
    val df = data.map(line => {
      val fields = line.split(" ")
      (fields(0).toLong, fields(1).toInt, fields(4).toInt)
    }).toDF("timestamp", "province", "ad")

    // 3. 使用Spark SQL进行分组统计
    val result = df.groupBy("province", "ad")
      .agg(count("*").as("count"))
      .orderBy(col("province"), col("count").desc)

    // 4. 对每个省份的统计结果取前三名
    val top3 = result.rdd.groupBy(row => row.getAs[Int]("province")).flatMap {
      case (province, rows) =>
        rows.take(3).map(row => (province, row.getAs[Int]("ad"), row.getAs[Long]("count")))
    }

    // 5. 输出结果
    top3.foreach(println)

    spark.stop()
  }
}

在这个实现中，我们首先读取access.log文件中的数据，并将其转换为DataFrame。然后使用Spark SQL的API对每个省份和广告进行分组统计，并按照省份和点击次数进行排序。接着，我们使用rdd的groupBy方法对每个省份的统计结果进行分组，然后对每个省份的结果取前三名，并输出结果。