基于spark的波士顿房价预测数据可视化阶段相关代码

很抱歉，我之前的回答中漏掉了代码部分。以下是基于Spark的波士顿房价预测数据可视化阶段的相关代码，供您参考：

# 导入必要的库
from pyspark.sql.functions import col
from pyspark.ml.feature import VectorAssembler
from pyspark.ml.regression import LinearRegression
import matplotlib.pyplot as plt

# 读取数据集
df = spark.read.format("csv").option("header", True).option("inferSchema", True).load("boston_housing.csv")

# 数据预处理
df = df.select([col(c).cast("double").alias(c) for c in df.columns])
assembler = VectorAssembler(inputCols=df.columns[:-1], outputCol="features")
df = assembler.transform(df)

# 训练模型
lr = LinearRegression(featuresCol="features", labelCol="medv", maxIter=10, regParam=0.3, elasticNetParam=0.8)
model = lr.fit(df)

# 预测
predictions = model.transform(df)

# 可视化
plt.scatter(predictions.select("medv").rdd.flatMap(lambda x: x).collect(), predictions.select("prediction").rdd.flatMap(lambda x: x).collect())
plt.xlabel("True Values")
plt.ylabel("Predictions")
plt.show()

这段代码将波士顿房价数据集加载到Spark中，进行了数据预处理、建模和预测，并使用Matplotlib库将结果可视化呈现。具体而言，代码首先读取CSV格式的数据集，并对所有列进行类型转换，将其转换为double类型。然后，使用VectorAssembler将所有特征列组合成一个名为“features”的向量列。接着，使用LinearRegression算法训练模型，并使用模型对数据集进行预测。最后，使用Matplotlib库将真实值和预测值作为横纵坐标进行散点图可视化。

需要注意的是，这段代码是一个简单的示例，具体的实现方式可能会根据您的需求和数据集的特点而有所不同。希望这些代码能够对您的工作有所帮助！