parallelize

`parallelize` 是Scala Spark库中的一个函数，用于将本地序列（如`Seq`）分布到集群上，形成一个新的`RDD`(弹性分布式数据集)。这个操作是Spark数据并行计算的基础，它将数据划分为指定数量的`partitions`（默认由`defaultParallelism`决定），每个分区会在不同的工作节点上执行。在Scala中，`parallelize`函数的签名如下[^1]: ```scala def parallelize[T: ClassTag](seq: Seq[T], numSlices: Int = defaultParallelism): RDD[T] ``` 其中： - `seq`: 你要分发的本地Scala集合，例如`List(1,2,3)`。 - `numSlices` (可选): 分区的数量，默认值等于`defaultParallelism`，即集群可用的并行度。示例演示： ```scala // 创建一个包含整数的Scala Seq val seq = List(1, 2, 3) // 使用sc.parallelize创建一个RDD，将序列均匀分布在工作节点上 val rdd = sc.parallelize(seq) // 打印RDD的结构，可以看到已经被划分成了若干个partition rdd.glom().foreach(println) // 这里会显示每个worker上的元素 ```

阅读全文