hivesql 谓词下推
时间: 2023-03-10 21:54:50 浏览: 105
HiveSQL 谓词下推是在 HiveSQL 查询执行过程中的一种优化技术。它的目的是通过将谓词(如 WHERE 子句中的条件)尽早地下推到数据源(如 HDFS 文件或 HBase 表)进行过滤,减少数据传输量和计算量,提高查询性能。
相关问题
hive sql 谓词下推
谓词下推是指在Hive中,尽量将过滤条件提前执行,使得最后参与join的表的数据量更小,从而减少数据传输IO,节约资源,提升性能。无论在Hive中是否开启了CBO(Cost-Based Optimizer),无论谓词写在ON后面还是WHERE后面,内连接(Inner Join)都会进行谓词下推。
在Hive中,谓词下推也称为Predicate Pushdown。它的实现方式是在map端提前执行过滤条件,减少map端的输出数据量。这样可以减少数据的传输和IO操作,提高查询性能。默认情况下,Hive会开启谓词下推,可以通过配置hive.optimize.ppd参数为true来开启或关闭谓词下推功能。
另外,在Hive中,如果在JOIN中有不能匹配上的表,则会使用null填充该表,这个表被称为Null Supplying Table。它是一种非保留表,用于提供null值。
综上所述,Hive SQL中的谓词下推是指在不影响结果的前提下,尽量将过滤条件提前执行,减少数据传输IO,节约资源,提升性能的优化技术。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* *3* [一文详解Hive的谓词下推](https://blog.csdn.net/java_atguigu/article/details/123064220)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"]
[ .reference_list ]
hivesql语句的执行顺序
Hive SQL语句的执行顺序可以总结为以下几个步骤:
1. 首先,Hive会先执行WHERE子句中的过滤操作。这是因为Hive会对语句进行优化,并且会根据谓词下推规则进行谓词下推。
2. 然后,Hive会执行SELECT子句中的列操作。在这一步中,Hive会根据SELECT子句中的列列表,从表中选择需要的列,并对这些列进行处理,例如应用函数、别名等。
3. 接着,Hive会执行GROUP BY子句中的分组操作。在这一步中,Hive会将查询结果按照GROUP BY子句中指定的列进行分组,并对每个分组进行聚合操作,例如求和、计数等。
4. 最后,Hive会执行HAVING子句中的过滤操作。在这一步中,Hive会根据HAVING子句中的条件对分组后的结果进行过滤,只保留满足条件的分组。
需要注意的是,以上是Hive SQL语句的一般执行顺序,但在实际执行中,Hive也会根据查询的特点进行优化,以提高查询的效率。
综上所述,Hive SQL语句的执行顺序为:WHERE -> SELECT -> GROUP BY -> HAVING。