如何在PySpark中正确地保存和加载预训练的模型？

在PySpark中，处理机器学习模型通常涉及到将模型保存到分布式文件系统，以便于后续的使用和部署。Hadoop支持的文件系统如HDFS（Hadoop Distributed File System）是一个常见选择。以下是保存和加载预训练模型的基本步骤：

**保存模型**:

1. 首先，你需要有一个已经训练好的`pyspark.ml`模型，例如`LinearRegressionModel`。

from pyspark.ml import PipelineModel

# 假设model是一个训练完成的PipelineModel
model = pipeline_model.fit(training_data)

2. 使用`save()`函数将模型保存到HDFS或其他存储路径。这里使用`MLlib`模块提供的`持久化器`功能：

from pyspark.mllib.util import MLUtils

# 将模型序列化并保存
mlutils.saveModel(model, "hdfs://path/to/model", sparkContext)

或者使用`spark`对象：

model.write().overwrite().save("hdfs://path/to/model")

**加载模型**:

1. 创建一个`SparkSession`实例，如果你还没有的话。

from pyspark.sql import SparkSession

spark = SparkSession.builder.getOrCreate()

2. 使用`MLUtils.loadModel()`从文件系统加载模型，然后创建一个新的`PipelineModel`对象：

loaded_model = MLUtils.loadModel("hdfs://path/to/model", spark.sparkContext)
loaded_pipeline_model = PipelineModel.load("hdfs://path/to/model")

**相关问题--:**
1. PySpark保存模型时为什么要序列化？
2. 能否在本地磁盘上保存和加载预训练模型？
3. 在加载模型时如果路径不存在会怎么样？如何处理这种情况？