spark join

Spark提供了多种Join执行策略来实现Join操作。其中包括Shuffle Hash Join、Broadcast Hash Join、Sort Merge Join、Cartesian Join和Broadcast Nested Loop Join。\[1\]\[2\]

在Spark中，执行Join操作时，会根据一定的规则选择合适的Join执行策略。如果没有指定Join提示（join hints），则会按照以下规则进行选择：

1. 如果Join类型可使用Broadcast Hash Join，并且其中一张表的大小小于spark.sql.autoBroadcastJoinThreshold的值（默认为10MB），则会选择Broadcast Hash Join。
2. 如果spark.sql.join.preferSortMergeJoin的值为false，并且其中一张表的大小小到可以构建为Hash Map，则会选择Shuffle Hash Join。
3. 如果Join的列可以进行排序，则会选择Sort Merge Join。
4. 如果是内连接，则会选择Cartesian Join。
5. 如果可能发生OOM（内存溢出）或者没有其他可选择的执行策略，则会选择Broadcast Nested Loop Join。

这些策略的选择是根据表的大小、是否可广播、是否可排序以及是否发生OOM等因素来决定的。\[3\]
#### 引用[.reference_title]
- *1* *2* *3* [Spark中Join实现原理](https://blog.csdn.net/jinjiating/article/details/127973403)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]