spark 开启 mapjoin 参数

Spark 中开启 MapJoin 需要设置一个阈值参数，当参与 Join 的两个表中较小的那个表的大小小于这个阈值时，Spark 会自动采用 MapJoin 的方式来执行 Join 操作。MapJoin 通常会将小表广播到各个节点上，然后在每个节点上对大表的每个分区执行 Join 操作，这样可以避免 Shuffle 的开销，提高 Join 操作的效率。

在 Spark SQL 中，你可以通过 `spark.sql.autoBroadcastJoinThreshold` 参数来设置这个阈值。这个值的单位是字节，默认值是 10MB。如果你想要改变这个阈值，可以在配置 SparkSession 的时候进行设置：

val spark = SparkSession.builder()
    .appName("SparkExample")
    .config("spark.sql.autoBroadcastJoinThreshold", "20971520") // 设置为 20MB
    .getOrCreate()

需要注意的是，虽然 MapJoin 可以提高性能，但是由于需要将小表广播到各个节点上，因此如果小表的实际大小超过了集群的内存容量，就可能引发内存溢出的问题。因此，在实际应用中需要根据集群的实际内存情况来合理设置这个阈值。