11. 使用Spark SQL统计出每一个省份广告被点击次数的 TOP3，并简要说明原理。 数据在access.log文件中，数据结构：时间戳，省份，城市，用户，广告 字段使用空格分割。 样本如下： 1516609143867 6 7 64 16 1516609143869 9 4 75 18 1516609143869 1 7 87 12

首先，我们需要读取access.log文件并将其转换为数据框，然后使用Spark SQL进行查询和聚合操作。以下是实现步骤：

1. 读取access.log文件并将其转换为数据框：

val spark = SparkSession.builder().appName("AdClickAnalysis").master("local[*]").getOrCreate()

val data = spark.sparkContext.textFile("access.log")
val logs = data.map(line => {
  val fields = line.split(" ")
  (fields(1), fields(4))
}).toDF("province", "ad")

2. 对数据进行分组和聚合操作，统计每个省份广告被点击的次数：

import org.apache.spark.sql.functions._

val provinceAdClicks = logs.groupBy("province", "ad").agg(count("*").as("clicks"))

3. 使用窗口函数对每个省份的广告点击次数进行排名，取出TOP3：

import org.apache.spark.sql.expressions.Window

val windowSpec = Window.partitionBy("province").orderBy(desc("clicks"))
val top3ProvinceAdClicks = provinceAdClicks.withColumn("rank", row_number.over(windowSpec)).where($"rank" <= 3)

4. 最后，将结果保存到文件中：

top3ProvinceAdClicks.write.mode("overwrite").csv("top3_province_ad_clicks")

以上代码将在本地运行，将结果保存在top3_province_ad_clicks文件夹中。原理是使用Spark SQL进行分组、聚合和窗口函数操作，以实现省份广告点击次数的统计和排名。