ApacheSpark3.0特性介绍.pdf_spark3.0新特性 - CSDN文库

动态分区裁剪

自适应查询执行

需积分: 36 8 浏览量更新于2023-03-16 评论收藏 1.54MB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

Apache Spark3.0 新特性介绍

1、 Dynamic Partition Pruning（动态分区裁剪）

动态分区裁剪启用条件：

1） spark.sql.optimizer.dynamicPartitionPruning.enabled 参数必须设置为 true

2）需要裁减的表必须是分区表，而且分区字段必须在 join 的 on 条件里面

3） Join 类型必须是 INNER, LEFT SEMI （左表是分区表）, LEFT OUTER

（右表是分区表）, RIGHT OUTER （左表是分区表）

4）以上条件并不会一定发生动态分区裁剪，还需要满足以下两个参数综合评

估一个进行动态分区裁减是否有益的值，满足了才会进行动态分区裁减。

spark.sql.optimizer.dynamicPartitionPruning.useStats

spark.sql.optimizer.dynamicPartitionPruning.fallbackFilterRatio

动态分区裁剪原理：

以执行下面 sql 为例：

SELECT t1.id,t2.pKey FROM t1 JOIN t2 ON t1.pKey=t2.pKey AND t2.id<2;

剩余18页未读，继续阅读

评论0

qiangzi_lg

粉丝: 13
资源: 5

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈