Spark创建RDD与DataFrame默认分区策略详解

"Spark创建RDD、DataFrame的默认分区数与`sc.defaultParallelism`和`sc.defaultMinPartitions`紧密相关，并可能受到HDFS文件Block数量的影响。在某些情况下，分区数可能会设置为1，这可能导致性能问题。了解这些默认值对于Spark性能优化至关重要。" 在Spark中，数据的并行处理能力依赖于RDD（弹性分布式数据集）或DataFrame的分区数。分区数决定了可以并行执行的任务数。如果分区过少，如为1，则可能导致即使分配了大量的Executor，也只会有一个Executor执行任务，从而降低处理大数据集的速度。 1. `sc.defaultMinPartitions`的设定： `sc.defaultMinPartitions`的计算公式是`min(sc.defaultParallelism, 2)`。这意味着它的值要么是2，要么是`sc.defaultParallelism`的值，如果`sc.defaultParallelism`小于2。这个属性确保了基本的并行性。 2. `sc.defaultParallelism`的配置： - **静态配置**：可以在`spark-defaults.conf`文件中设置`spark.default.parallelism`，例如设置为20，然后在Spark Shell中验证，显示的值应为20。 - **代码内设置**：可以在Spark应用的代码中通过`SparkConf`对象直接设置`spark.default.parallelism`的值。 - **提交时配置**：使用`spark-submit`命令时，可以添加`--conf spark.default.parallelism=20`来设置。 3. 没有设置`spark.defaultParallelism`时的默认值： - 在Spark Shell中，如果没有明确设置，`sc.defaultParallelism`将默认为本地机器的CPU核心数。 4. HDFS文件Block数量的影响： 当从HDFS读取文件创建RDD时，默认分区数通常会基于文件的Block数量。每个Block通常对应一个分区，这样可以充分利用HDFS的并行读取能力。 5. 特殊情况： 有些操作，如`filter`、`map`等，保留原始RDD的分区数。但是，转换如`reduceByKey`或`groupByKey`可能会导致分区减少，甚至在某些情况下默认分区数为1，这是需要特别注意的地方，因为这可能严重影响性能。 6. 性能优化建议： - 分区数应根据数据量和可用计算资源进行适当调整，以充分利用集群资源。 - 使用`repartition`或`coalesce`方法可以显式控制分区数，以避免因默认值导致的性能瓶颈。 - 调整`spark.default.parallelism`可以全局影响Spark作业的并行度，但也要考虑到内存使用和网络开销。 理解Spark的分区策略和默认值对于编写高效的Spark应用至关重要，特别是在处理大规模数据集时。正确地设定分区数可以帮助提高计算效率，避免不必要的数据交换，从而提升整体性能。