spark划分训练集，验证集，测试集

在机器学习中，通常会将数据集划分为训练集、验证集和测试集三部分。可以使用 Apache Spark 中的 `randomSplit()` 方法和 `sample()` 方法来实现这一目标。

以下是一个简单的示例代码：

# 导入需要的库
from pyspark.sql.functions import *
from pyspark.sql.types import *

# 创建一个 DataFrame
data = spark.createDataFrame([(1, "John", 0), (2, "Jane", 1), (3, "Alice", 1), (4, "Bob", 0), (5, "Charlie", 1)], ["id", "name", "label"])

# 划分数据集
weights = [0.6, 0.2, 0.2]
train_data, val_data, test_data = data.randomSplit(weights, seed=1234)

# 打印训练集、验证集和测试集的数据量
print("Training data count:", train_data.count())
print("Validation data count:", val_data.count())
print("Test data count:", test_data.count())

# 从训练集中抽取一部分数据作为验证集
sample_fraction = 0.5
sampled_train_data = train_data.sample(False, sample_fraction, seed=1234)
remaining_train_data = train_data.subtract(sampled_train_data)

# 打印抽样后的训练集和剩余的训练集的数据量
print("Sampled training data count:", sampled_train_data.count())
print("Remaining training data count:", remaining_train_data.count())

在这个示例代码中，我们创建了一个包含 5 条数据的 DataFrame。然后使用 `randomSplit()` 方法将数据集按 6:2:2 的比例划分为训练集、验证集和测试集。接着，我们使用 `sample()` 方法从训练集中抽取一部分数据作为验证集。最后，我们打印了训练集、验证集和测试集的数据量，以及抽样后的训练集和剩余的训练集的数据量。

需要注意的是，划分数据集时，需要指定一个随机种子（seed），以保证每次划分的结果都是一致的。同时，抽样时也需要指定一个随机种子。