通过Spark编程计算各城市的平均气温

在Apache Spark编程中，计算各城市的平均气温通常涉及数据处理和统计分析。首先，你需要有一个包含城市名和气温的数据集，可能是CSV、JSON或其他支持的格式。以下是一个简单的步骤示例：

1. **加载数据**:
使用`SparkSession`加载数据，如从HDFS、本地文件系统或外部数据库读取:

   from pyspark.sql import SparkSession

   spark = SparkSession.builder.appName('AverageTemperature').getOrCreate()
   df = spark.read.format('csv').option('header', 'true') \
       .load('path/to/weather_data.csv')

2. **数据清洗**:
检查并处理缺失值、异常值以及确保城市名列是字符串类型:

   df = df.dropna(subset=['city', 'temperature'])  # 删除有缺失值的城市和气温记录
   df = df.withColumn('city', df['city'].cast('string'))  # 确保城市名是字符串

3. **按城市分组**:
使用`groupBy`函数对数据按照城市进行分组，并对每个城市的气温求和和计数:

   grouped_df = df.groupBy('city').agg({'temperature': 'mean', 'count(*)': 'count'})

4. **计算平均气温**:
由于之前已经进行了求平均操作，现在可以直接得到每个城市的平均气温:

   average_temps = grouped_df.selectExpr('avg(temperature) as avg_temperature')

5. **展示结果**:
最后可以显示或保存结果到另一个数据源或打印出来：

   result = average_temps.show()