pyspark拆分数据集 mllib

在 PySpark 中，使用 `pyspark.ml` 和 `pyspark.mllib` 包来进行机器学习任务。如果你需要拆分数据集，可以使用 `randomSplit()` 函数来实现。

下面是一个示例代码，其中我们使用 `pyspark.mllib` 中的 `LabeledPoint` 类型来表示每个样本，然后将数据集分成训练集和测试集，其中训练集占 70%，测试集占 30%。

from pyspark import SparkContext
from pyspark.mllib.regression import LabeledPoint
from pyspark.mllib.linalg import Vectors

# 初始化 SparkContext
sc = SparkContext()

# 加载数据集
data = sc.textFile("path/to/dataset").map(lambda line: line.split(",")).map(lambda vals: LabeledPoint(vals[-1], Vectors.dense(vals[:-1])))

# 将数据集按照 70%-30% 的比例拆分成训练集和测试集
train_data, test_data = data.randomSplit([0.7, 0.3], seed=123)

# 关闭 SparkContext
sc.stop()

在这个示例中，我们假设数据集的最后一列为标签，剩余的列为特征。首先，我们使用 `textFile()` 函数加载数据集，然后使用 `map()` 函数将每一行的值转换为 `LabeledPoint` 类型。最后，我们使用 `randomSplit()` 函数将数据集按照 70%-30% 的比例拆分成训练集和测试集，其中 `seed` 参数用于设置随机种子，保证每次运行结果的一致性。

需要注意的是，如果你使用 `pyspark.ml` 中的数据类型（如 `pyspark.ml.feature.VectorAssembler`），则需要使用 `randomSplit()` 函数的另一种版本，即 `DataFrame.randomSplit()`，具体使用方法可以参考 PySpark 官方文档。