hivesql执行流程

时间: 2023-10-24 14:30:51 浏览: 118

Hive元数据库操作

Hive 元数据库操作 Hive 元数据库操作是 Hive 运维中常用的操作之一，它提供了对元数据的管理和查询功能。在 Hive 中，元数据是指对数据的描述信息，如表名、表路径、分区信息、列信息等。下面将对 Hive 元数据库操作的常用 SQL 语句进行逐一解释。查看表名及其对应的路径查看表名及其对应的路径可以使用以下 SQL 语句： ```sql drop view v_table_path; create view v_table_path as select c.name, b.db_id, tbl_name, location, b.tbl_id, b.tbl_type, date_format(from_unixtime(b.create_time),'%Y%m%d') create_time from SDS a, TBLS b, DBS c where a.sd_id=b.sd_id and b.db_id=c.db_id; ``` 查看表是否有分区查看表是否有分区可以使用以下 SQL 语句： ```sql select a.tbl_name, case when b.tbl_id is null then 'N' else 'Y' end is_parted from TBLS a left join (select distinct tbl_id from PARTITION_KEYS) b on a.tbl_id=b.tbl_id order by 1; ``` 查看表的分区及其对应的路径查看表的分区及其对应的路径可以使用以下 SQL 语句： ```sql drop view v_table_part_path; create view v_table_part_path as select d.name, a.tbl_name, b.part_name, c.location, a.tbl_type, date_format(from_unixtime(b.create_time),'%Y%m%d') create_time from TBLS a, PARTITIONS b, SDS c, DBS d where a.tbl_id=b.tbl_id and b.sd_id=c.sd_id and a.db_id=d.db_id; ``` 查看非分区表的路径查看非分区表的路径可以使用以下 SQL 语句： ```sql select a.name, a.tbl_name, a.location from v_table_path a left join (select distinct tbl_id from PARTITION_KEYS) b on a.tbl_id=b.tbl_id where b.tbl_id is null; ``` 查看表的列查看表的列可以使用以下 SQL 语句： ```sql select a.tbl_id, a.sd_id, c.cd_id, tbl_name, c.* from TBLS a, SDS b, COLUMNS_V2 c where a.sd_id=b.sd_id and b.cd_id=c.cd_id and tbl_name='t_ed_mtt_func_profile' order by INTEGER_IDX; ``` 查看表的分区字段查看表的分区字段可以使用以下 SQL 语句： ```sql select a.tbl_id, a.sd_id, tbl_name, p.pkey_name, pkey_type, p.INTEGER_IDX from TBLS a, SDS b, PARTITION_KEYS p where a.sd_id=b.sd_id and a.tbl_id=p.tbl_id and tbl_name='t_od_qqbook_kernel_access' order by INTEGER_IDX; ``` 查看表的字符集查看表的字符集可以使用以下 SQL 语句： ```sql select a.tbl_name, c.* from TBLS a, SDS b, SERDE_PARAMS c where a.sd_id=b.sd_id and b.SERDE_ID=c.SERDE_ID and c.PARAM_KEY='charset' and PARAM_VALUE='gbk'; ``` 查看字符分隔符查看字符分隔符可以使用以下 SQL 语句： ```sql select b.part_name, d.PARAM_VALUE from TBLS a, PARTITIONS b, SDS c, SERDE_PARAMS d where a.tbl_id=b.tbl_id and b.sd_id=c.sd_id and c.SERDE_ID=d.SERDE_ID and d.PARAM_KEY='field.delim' and a.tbl_name like 't_sh_qqpim_softusageinfoserver'; ``` Hive 元数据库操作提供了多种方式来查询和管理元数据，开发者可以根据实际需要选择合适的 SQL 语句来实现相应的操作。

Hive SQL 的执行流程可以分为三个主要步骤。首先，Hive 会将用户编写的 SQL 语句进行词法分析和语法分析，生成一个抽象语法树(AST)表示用户查询的结构。这个过程叫做查询解析。在这个过程中，Hive 将 SQL 语句转化为一个 QueryBlock 对象，用来表示查询的结构和语义。接下来，Hive 会对 QueryBlock 进行语义分析，检查查询中的表、列、函数等是否存在以及其它语义上的错误。在这个步骤中，Hive 还会进行表的访问控制和权限检查。一旦通过了语义分析，Hive 就会生成一个逻辑查询计划(Logical Plan)。逻辑查询计划描述了查询的逻辑操作，例如选择、投影和连接等。最后，Hive 会将逻辑查询计划转化为物理查询计划(Physical Plan)，并生成对应的 MapReduce 程序。这个过程叫做查询优化和执行计划生成。在这个步骤中，Hive 会进行各种优化，例如谓词下推、列裁剪和任务并行化等，以提高查询的性能。最终，Hive 会将生成的 MapReduce 程序提交给底层的计算引擎进行执行，计算结果将返回给用户。综上所述，Hive SQL 的执行流程包括查询解析、语义分析和查询优化及执行计划生成三个主要步骤。通过这些步骤，Hive 能够将用户编写的 SQL 转化为 MapReduce 等计算引擎可识别的程序，并实现查询的执行。123 #### 引用[.reference_title] - *1* *2* *3* [Hive SQL的底层编译过程详解](https://blog.csdn.net/helloHbulie/article/details/117283369)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

阅读全文

hivesql执行流程

相关推荐

hive的操作

Hive SQL执行流程

hive sql执行流程

hive sql 执行流程

Hive SQL性能优化

HiveSQL编译原理

Hive SQL 编译过程详解

基于 Antlr4 的 Hive SQL 解析.zip

Hive SQL优化：解读执行计划

Hive查询流程详解：从SQL到MapReduce执行

大数据性能优化与Hive SQL调优实战

Hive SQL性能优化：MapReduce深度剖析

hivesql 提交到客户端后的执行流程

hiveSQL做ETL流程

hive sql从查询到执行的总流程

hive join的执行流程

HiveSQL做ETL开发

shell可以用来封装HiveSql脚本吗

最新推荐

hive-shell批量命令执行脚本的实现方法

如何在python中写hive脚本

Apache Hive 中文手册.docx

Hive on Spark源码分析DOC

Spark-shell批量命令执行脚本的方法

GitHub图片浏览插件：直观展示代码中的图像

管理建模和仿真的文件

【OPPO手机故障诊断专家】：工程指令快速定位与解决

求[100，900]之间相差为12的素数对（注：要求素数对的两个素数均在该范围内）的个数

Android IPTV项目：直播频道的实时流媒体实现