用spark求取城市平均温度

Apache Spark 是一个用于大规模数据处理的开源框架，它支持实时流处理和批处理，常用于大数据分析。在 Spark 中，计算城市平均温度通常涉及数据清洗、数据加载、数据聚合等步骤。这里是一个简化的例子，假设你已经有了一个包含城市名和每天温度的数据集：

1. **数据加载**:
使用 Spark SQL 或 DataFrame API 加载包含城市温度数据的文件，如 CSV 或 Parquet 文件。

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("TemperatureAnalysis").getOrCreate()
data_df = spark.read.format("csv") \
           .option("header", "true") \
           .option("inferSchema", "true") \
           .load("path/to/temperature_data.csv")

2. **数据清洗**:
检查数据是否存在缺失值，并进行必要的处理。可能需要将日期字段转换为 Spark 可以处理的格式。

data_df = data_df.dropna()  # 删除缺失值行
data_df = data_df.withColumn("date", to_date("date_column"))  # 根据需要转换日期列

3. **按城市分组并计算平均温度**:
使用 `groupBy` 和 `avg` 函数按照城市名对温度进行分组，然后计算平均值。

average_temps = data_df.groupBy("city") \
                        .agg(avg("temperature").alias("average_temperature"))

4. **结果展示**:
最后，你可以查看结果数据，或者进一步进行可视化。

average_temps.show()