通过spark编程计算各城市的平均温度

在Spark编程中，计算各城市的平均温度通常会涉及到数据处理流程，包括读取数据、过滤城市信息、按城市分组并计算平均值。以下是使用Python的PySpark库的一个简化示例：

from pyspark.sql import SparkSession

# 创建SparkSession
spark = SparkSession.builder.appName("CityTemperatureAverage").getOrCreate()

# 假设我们有一个CSV文件，包含"city", "temperature"字段
data_df = spark.read.format("csv") \
    .option("header", "true") \
    .load("path_to_your_data.csv")

# 检查数据格式并清理（如果需要）
data_df.createOrReplaceTempView("temp_data")
average_temp_df = spark.sql("""
SELECT city, AVG(temperature) as average_temperature
FROM temp_data
GROUP BY city
""")

# 打印结果
average_temp_df.show()

在这个例子中，首先读取数据到DataFrame，然后使用`GROUP BY`操作按城市对温度进行分组，并使用`AVG`函数计算每个城市的平均温度。最后的结果是一个新的DataFrame，包含了每个城市的名称及其对应的平均温度。