spark笔试题——对最近7天的日志进行统计

这道题可以使用Spark进行处理，具体实现如下：

1. 读取7天内的日志数据，并将其转换为RDD。

val data = spark.read.textFile("log_dir")
val logs = data.filter(line => line.contains("your_filter_condition"))
val logsRDD = logs.rdd

2. 将RDD中的每一行日志数据转换为键值对，键为日期，值为该日期的日志数量。

val logsByKeyRDD = logsRDD.map(log => {
  val date = log.split(" ")(0)
  (date, 1)
})
val logsCountRDD = logsByKeyRDD.reduceByKey(_ + _)

3. 将结果保存到HDFS或其他分布式存储系统中。

logsCountRDD.saveAsTextFile("output_dir")

这样就可以实现对最近7天的日志进行统计。当然，在实际应用中，可能需要对日志数据进行更复杂的处理和分析，可以根据具体需求进行调整。