spark join 的底层原理

Spark中的join操作有多种实现策略，包括Shuffle Hash Join（洗牌哈希连接）、Broadcast Hash Join（广播哈希连接）、Sort Merge Join（排序合并连接）、Cartesian Join（笛卡尔连接）和Broadcast Nested Loop Join（广播嵌套循环连接）。

Shuffle Hash Join是Spark中的默认join策略，它将两个数据集根据连接键进行分区，并将相同连接键的数据发送到同一个分区。然后，通过哈希函数将两个数据集的相同连接键的数据分布到相同的节点上，并进行连接操作。这种策略适用于大规模数据集的连接操作，但可能会产生大量的网络传输和数据洗牌操作。

Broadcast Hash Join适用于一个小数据集和一个大数据集进行连接操作的场景。它将小数据集广播到所有的工作节点，然后使用哈希连接算法将大数据集与每个节点上的小数据集进行连接。由于小数据集被广播到每个节点，这种策略减少了数据洗牌的开销，提高了性能。

Sort Merge Join是一种通过对两个数据集进行排序后进行合并的连接策略。它适用于两个数据集都已经排序或者无法广播的情况。Sort Merge Join首先对两个数据集根据连接键进行排序，然后按照连接键进行合并操作。这种策略需要额外的排序操作，但可以避免数据洗牌。

Cartesian Join是一种比较低效的连接策略，它将两个数据集的每一条记录都与另一个数据集的所有记录进行连接。这种策略适用于小规模数据集的连接操作，但可能会导致数据爆炸和性能下降。

Broadcast Nested Loop Join是一种在嵌套循环连接的基础上使用广播的优化策略。它将一个小数据集广播到所有的工作节点，并在每个节点上执行嵌套循环连接操作。这种策略适用于一个小数据集和一个大数据集进行连接的场景，可以提高性能。

总的来说，Spark中的join操作根据数据集的大小、排序状态和网络传输等因素选择合适的实现策略来进行连接操作，以提高性能和效率。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* [Spark SQL 之 Join原理](https://blog.csdn.net/weixin_42868529/article/details/104521847)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
- *2* *3* [Spark中Join实现原理](https://blog.csdn.net/jinjiating/article/details/127973403)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]