通过spark编程计算各地城市的平均气温

在Spark编程中，计算各地城市的平均气温通常涉及到数据处理流程，包括读取数据、清洗、分组和聚合操作。以下是使用Python的PySpark库进行此任务的一个基本步骤：

1. **导入依赖**：
首先，你需要导入`pyspark.sql`模块，这包含了Spark SQL的相关功能。

from pyspark.sql import SparkSession

2. **创建SparkSession**：
创建一个SparkSession，这是与Spark交互的主要入口点。

spark = SparkSession.builder.appName("CityTemperatureAnalysis").getOrCreate()

3. **加载数据**：
假设你有一个CSV文件，包含城市名（city）、日期（date）以及气温（temperature）等字段，可以使用`SparkSession.read.csv`函数读取。

data = spark.read.format("csv") \
    .option("header", "true") \
    .load("path/to/weather_data.csv")

4. **数据清洗和转换**：
检查数据是否存在缺失值，并按照需要进行处理。将日期转换为Spark支持的时间戳类型，以便进行聚合操作。

data = data.withColumn("date", spark.functions.to_date("date")) \
    .na.drop(subset=["temperature"])

5. **按城市分组并计算平均气温**：
使用`groupby`和`agg`函数对每个城市的气温进行分组求和，然后除以每一天的数量得到平均值。

average_temperatures = data.groupBy("city") \
    .agg(spark.sql.functions.mean("temperature").alias("avg_temperature"))

6. **显示结果**：
最后，查看结果集。

average_temperatures.show()