spark sql执行顺序
时间: 2023-07-12 14:00:57 浏览: 307
SQL执行顺序
5星 · 资源好评率100%
Spark SQL执行顺序如下:
1. 解析(Parsing):将SQL语句解析为抽象语法树(AST)。
2. 重写(Rewriting):对AST进行一些优化,如常量折叠、条件下推等。
3. 分析(Analysis):检查AST是否符合语法规范,并将其转换为逻辑计划(Logical Plan)。
4. 优化(Optimization):对逻辑计划进行一些优化,如列裁剪、谓词下推等。
5. 物化(Physical Planning):将逻辑计划转换为物理计划(Physical Plan),并确定执行计划的方式,如join的方式等。
6. 执行(Execution):执行物理计划,生成结果。
其中,第1、2、3、4步称为查询编译(Query Compilation),第5、6步称为查询执行(Query Execution)。
阅读全文