第1关:集合并行化创建rdd

集合并行化创建RDD是在Spark中常用的一种方式，可以将一个本地的集合数据转化为分布式的数据集。在Spark中，RDD（Resilient Distributed Dataset）是最基本的数据抽象，它代表一个分布在集群中的不可变的数据集。

要进行集合并行化创建RDD，首先需要创建一个SparkSession对象，然后通过其sparkContext属性获取到SparkContext对象。接着在SparkContext对象上调用parallelize方法，将本地的集合数据转化为RDD。

例如，我们可以先创建一个包含数字的集合List，然后利用parallelize方法将它转化为RDD。代码示例如下：

# 导入必要的包
from pyspark.sql import SparkSession

# 创建SparkSession对象
spark = SparkSession.builder.appName("createRDD").getOrCreate()

# 获取SparkContext对象
sc = spark.sparkContext

# 创建一个本地集合数据
data = [1, 2, 3, 4, 5]

# 将本地集合数据转化为RDD
rdd = sc.parallelize(data)

# 打印RDD中的数据
rdd.collect()

这样就成功地将本地的集合数据创建成了一个分布式的RDD。通过集合并行化创建RDD，我们可以方便地将本地的数据集转化为分布式的数据集，以便在集群中进行并行计算和处理。