pyspark的randomSplit

pyspark的randomSplit是一个用于将数据集随机分割成多个子数据集的方法。它接受一个包含权重的列表作为参数，用于指定每个子数据集的相对大小。

以下是randomSplit方法的使用示例：

from pyspark.sql import SparkSession

# 创建SparkSession对象
spark = SparkSession.builder.getOrCreate()

# 加载数据集
data = spark.read.csv('data.csv', header=True, inferSchema=True)

# 随机分割数据集成训练集和测试集
weights = [0.7, 0.3]  # 训练集和测试集的权重
train_data, test_data = data.randomSplit(weights, seed=42)

# 查看分割后的数据集大小
print("训练集大小: ", train_data.count())
print("测试集大小: ", test_data.count())

在上述示例中，我们首先使用SparkSession对象加载数据集。然后，我们使用randomSplit方法将数据集分割成训练集和测试集，其中训练集占70%，测试集占30%。最后，我们打印出每个子数据集的大小。

需要注意的是，randomSplit方法返回一个包含分割后数据集的列表，你可以根据需要进行进一步处理。另外，randomSplit方法还接受一个可选的种子参数（seed），用于确保每次运行时得到相同的分割结果。