spark sql实现动态分区

在Spark SQL中实现动态分区可以通过设置`spark.sql.sources.partitionOverwriteMode`参数为"dynamic"来实现。例如，可以使用以下代码来设置动态分区并写入数据：

spark.conf.set("spark.sql.sources.partitionOverwriteMode", "dynamic")
sqlstr = ''' insert overwrite orders select * from df_order '''
spark.sql(sqlstr)

这样，你可以将数据插入到指定的分区，而不需要手动指定每个分区的值。例如，可以使用以下代码将数据插入到`stat_date='20110728'`这个分区下的`province`子分区：

insert overwrite table partition_test partition(stat_date='20110728', province)
select member_id, name, province
from partition_test_input
where stat_date='20110728';

需要注意的是，如果在同时运行多个任务对同一张表进行写入多个Hive分区时，可以通过设置`spark.sql.hive.convertMetastoreParquet`参数为"false"来避免临时目录冲突。例如，对于parquet格式的表，可以使用以下代码设置参数：

spark.conf.set("spark.sql.hive.convertMetastoreParquet", "false")

如果使用的是orc格式，只需要将关键字改为"orc"即可。
#### 引用[.reference_title]
- *1* [14-Sprak设置自动分区](https://blog.csdn.net/qq_33246702/article/details/124341589)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item]
- *2* *3* [Spark on Hive动态分区表的应用](https://blog.csdn.net/JiShuiSanQianLi/article/details/129879719)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]