spark-sql：spark3.0后broadcast、shuffle_merge、shuffle_hash三种调优参数

在Spark 3.0中，Spark SQL支持三种调优参数：broadcast、shuffle_merge和shuffle_hash。

1. broadcast：广播变量是一种优化技术，可以将小数据集复制到每个节点上，以避免在网络上传输大量数据。在Spark SQL中，可以使用broadcast参数来控制是否使用广播变量。如果设置为true，则Spark SQL将尝试使用广播变量来优化查询。

2. shuffle_merge：Shuffle Merge是一种优化技术，可以将多个Shuffle操作合并为一个操作，以减少Shuffle操作的数量。在Spark SQL中，可以使用shuffle_merge参数来控制是否使用Shuffle Merge。如果设置为true，则Spark SQL将尝试使用Shuffle Merge来优化查询。

3. shuffle_hash：Shuffle Hash是一种优化技术，可以将Shuffle操作的数据分区方式从默认的随机方式改为哈希方式，以提高查询性能。在Spark SQL中，可以使用shuffle_hash参数来控制是否使用Shuffle Hash。如果设置为true，则Spark SQL将尝试使用Shuffle Hash来优化查询。

相关问题

spark sql底层join实现，broadcast hash join，shuffle hash join，sort merge join

### 回答1：
Spark SQL底层join实现有三种方式：broadcast hash join、shuffle hash join和sort merge join。其中broadcast hash join适用于小数据量的join操作，可以将一个小的表复制到所有的Executor上，然后和其他的表进行join操作；shuffle hash join适用于大数据量的join操作，可以通过Hash函数将数据分区，然后通过网络进行数据交换，再将分区的数据进行join操作；sort merge join适用于两个表都有序的情况下进行join操作，可以将两个表按照join字段进行排序，然后按顺序进行join操作。

### 回答2：
Spark SQL是Apache Spark的一个组件，提供了一个基于SQL的编程接口，支持分布式数据处理。其底层实现了三种Join操作，分别是Broadcast Hash Join、Shuffle Hash Join和Sort Merge Join。

1.Broadcast Hash Join是在一个表比较小的情况下使用的Join算法。具体流程是，将小表广播给集群中的每个Executor，然后对大表进行Join操作。该算法需要把小表数据拷贝到内存中，可能会导致OOM异常，因此需要在实际使用中谨慎选择。

2.Shuffle Hash Join适用于两个表都比较大的情况下。具体流程是，在两个表都进行Shuffle操作，将Join Key相同的数据放到同一个分区。然后将每个分区的数据交给一个Executor进行Join操作。该算法的缺点是Shuffle会增加网络开销以及I/O操作的负担，因此需要注意调整参数大小。

3.Sort Merge Join适用于两个表都比较大且Join Key有序的情况下。该算法的流程是，在两个表进行Sort操作，将Join Key相同的数据放到同一个分区。然后将每个分区的数据交给一个Executor进行Join操作。该算法的优点是Join Key有序，不需要进行Shuffle操作，因此可以避免Shuffle操作的网络损耗和I/O操作的负担。

综上所述，Spark SQL底层Join的实现使用了三种Join算法，Broadcast Hash Join适用于小表Join，Shuffle Hash Join适用于两个表都比较大的情况下，Sort Merge Join适用于两个表都比较大且Join Key有序的情况下。我们在使用时需要根据实际情况选择合适的Join算法，避免OOM和网络开销等问题。

### 回答3：
Spark SQL是一种针对结构化和半结构化数据处理的高性能分布式计算框架。在使用Spark SQL进行数据处理时，很多情况下需要对数据进行join操作。Spark SQL的join操作有三种实现方式，分别是Broadcast Hash Join、Shuffle Hash Join和Sort Merge Join。

Broadcast Hash Join是一种在内存中进行的join操作，当一个表的大小可以运用内存进行分布并广播到所有节点时，可以采用Broadcast Hash Join。这种join的实现方式是先在driver端对较小的表进行哈希操作，然后将其哈希表广播到所有worker节点上，同时另外一个较大的表再进行哈希操作，将其切分成多个小表，然后将每个小表发到worker上去跟广播的哈希表进行join，最终将所有小表的join结果汇总即可。Broadcast Hash Join的优点是可以减少数据的运输，缩短查询时间。缺点是只能适用于对于较小表以及对于等值join场景，而且如果数据量过大，广播查询也会耗费大量的网络资源，无法解决内存不足的问题。

Shuffle Hash Join是一种使用网络进行数据传输的join操作方式。当一个表的大小无法运用内存进行分布并广播到所有节点时，可以采用Shuffle Hash Join。它的实现方式是将两张表的数据都进行哈希分区，将相同哈希值的分区数据放到同一个节点上，然后在每个节点进行join操作。不同节点之间进行数据交换，需要通过Shuffle进行数据传送。Shuffle Hash Join适用于较大的表，可以支持任何join，但效率较低，因为需要网络传输。

Sort Merge Join是一种对两个表进行排序后再进行join操作的方式。Sort Merge Join的实现方式是对两张表按照join key 进行排序，然后进行合并操作。当然这个过程支持Inner、Full、Left、Right的多种Join操作。Sort Merge Join的优点是适用于超大表的join操作，缺点是需要对两张表进行排序操作，代价较高，且仅适用于等值join，而且排序操作必须保证内存能够承受。

在Spark SQL的JOIN操作中，Broadcast Hash Join适用于大表关联小表的情况；Shuffle Hash Join是对大表关联大表，或者把数据分散在集群节点上的表进行JOIN操作的时候的方法；Sort Merge Join通常用于数据量较大而无法全部载入内存的情况下进行JOIN操作。不同的JOIN操作应根据数据量以及具体的情况来选择。

spark sql调优的所有参数

Spark SQL的调优参数可以分为以下几类：

1. Spark SQL的通用参数：

- `spark.sql.shuffle.partitions`：控制shuffle操作时的分区数，默认值为200。
- `spark.sql.autoBroadcastJoinThreshold`：控制自动广播的表大小，默认为10MB。
- `spark.sql.broadcastTimeout`：控制广播超时时间，默认值为5分钟。
- `spark.sql.execution.arrow.enabled`：控制是否启用Arrow优化，默认为false。

2. Spark SQL的查询优化参数：

- `spark.sql.cbo.enabled`：控制是否启用基于成本的优化器（CBO），默认为false。
- `spark.sql.statistics.histogram.enabled`：控制是否启用直方图统计信息，默认为false。
- `spark.sql.statistics.ndv.scale.factor`：控制基数估计的规模因子，默认为2.0。
- `spark.sql.inMemoryColumnarStorage.compressed`：控制是否启用列式存储压缩，默认为true。
- `spark.sql.adaptive.enabled`：控制是否启用自适应查询执行，默认为false。

3. Spark SQL的内存管理参数：

- `spark.sql.shuffle.memoryFraction`：控制shuffle操作的内存占比，默认为0.2。
- `spark.sql.execution.arrow.maxRecordsPerBatch`：控制Arrow批处理的最大行数，默认为1024。
- `spark.sql.execution.sort.externalSorter.maxMemoryUsage`：控制外部排序的内存占比，默认为0.4。
- `spark.sql.execution.arrow.fallback.enabled`：控制是否开启Arrow优化失败时的回退机制，默认为true。

4. Spark SQL的调试参数：

- `spark.sql.debug.maxToStringFields`：控制最大的toString字段数目，默认为25。
- `spark.sql.debug.maxPlanStringLength`：控制最大的计划字符串长度，默认为1000。

以上仅列举了一部分常用的Spark SQL调优参数，具体使用时需要根据实际情况进行选择和调整。