使用sparl sql 统计fdp库下表名开头为db_的表数据量

时间: 2024-03-12 07:46:23 浏览: 19
您可以使用如下的 SQL 语句来统计 FDP 数据库中表名开头为 db_ 的表的数据量: ``` SELECT table_name, table_rows FROM information_schema.tables WHERE table_schema = 'fdp' AND table_name LIKE 'db\_%' ``` 其中,`information_schema.tables` 是 MySQL 中的一个元数据表,可以用来查询数据库中的表信息。`table_name` 和 `table_rows` 分别表示表名和表中的数据量。`table_schema` 表示数据库名,这里指定为 FDP 数据库。`table_name LIKE 'db\_%'` 表示查询表名开头为 db_ 的表,其中 `%` 表示通配符,可以匹配任意字符。
相关问题

使用sparl sql 统计hive中fdp库下表名开头为db_的表数据量

您可以使用如下的 SQL 语句来统计 Hive 中 FDP 数据库中表名开头为 db_ 的表的数据量: ``` SELECT table_name, tbl_rows FROM ( SELECT tbl_name AS table_name, SUM(totalRows) AS tbl_rows FROM ( SELECT tbl_name, input_file_block_length AS totalRows FROM hive_metastore.`TBLS` t JOIN hive_metastore.`DBS` d ON t.`DB_ID` = d.`DB_ID` JOIN hive_metastore.`SDS` s ON t.`SD_ID` = s.`SD_ID` JOIN hive_metastore.`BUCKETING_COLS` b ON t.`TBL_ID` = b.`TBL_ID` WHERE d.`NAME` = 'fdp' AND tbl_name LIKE 'db_%' ) subq1 GROUP BY tbl_name ) subq2 ``` 其中,`hive_metastore` 是 Hive 中用于存储元数据的数据库,包含了 Hive 中所有的表、分区、列等信息。`TBLS` 表、`DBS` 表、`SDS` 表和 `BUCKETING_COLS` 表则分别存储了表的基本信息、数据库的基本信息、表的存储信息和表的分桶信息。通过这些表,我们可以查询到 FDP 数据库中所有表的信息。 具体地,上述 SQL 语句中,我们首先查询到 FDP 数据库中所有表名开头为 db_ 的表的文件大小(即 `input_file_block_length`),然后将它们汇总到每个表上,最后得到每个表的总数据量(即 `tbl_rows`)。

使用sparlsql 统计hive中fdp库下表名开头为db_的表数据量

您可以使用如下的 SQL 语句来统计 Hive 中 FDP 数据库中表名开头为 db_ 的表的数据量: ``` SELECT table_name, tbl_rows FROM ( SELECT tbl_name AS table_name, SUM(totalRows) AS tbl_rows FROM ( SELECT tbl_name, input_file_block_length AS totalRows FROM hive_metastore.`TBLS` t JOIN hive_metastore.`DBS` d ON t.`DB_ID` = d.`DB_ID` JOIN hive_metastore.`SDS` s ON t.`SD_ID` = s.`SD_ID` JOIN hive_metastore.`BUCKETING_COLS` b ON t.`TBL_ID` = b.`TBL_ID` WHERE d.`NAME` = 'fdp' AND tbl_name LIKE 'db_%' ) subq1 GROUP BY tbl_name ) subq2 ``` 其中,`hive_metastore` 是 Hive 中用于存储元数据的数据库,包含了 Hive 中所有的表、分区、列等信息。`TBLS` 表、`DBS` 表、`SDS` 表和 `BUCKETING_COLS` 表则分别存储了表的基本信息、数据库的基本信息、表的存储信息和表的分桶信息。通过这些表,我们可以查询到 FDP 数据库中所有表的信息。 具体地,上述 SQL 语句中,我们首先查询到 FDP 数据库中所有表名开头为 db_ 的表的文件大小(即 `input_file_block_length`),然后将它们汇总到每个表上,最后得到每个表的总数据量(即 `tbl_rows`)。

相关推荐

最新推荐

recommend-type

基于STC32单片机内部RTC的学习计时器+全部资料+详细文档(高分项目).zip

【资源说明】 基于STC32单片机内部RTC的学习计时器+全部资料+详细文档(高分项目).zip基于STC32单片机内部RTC的学习计时器+全部资料+详细文档(高分项目).zip 【备注】 1、该项目是个人高分项目源码,已获导师指导认可通过,答辩评审分达到95分 2、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 3、本项目适合计算机相关专业(人工智能、通信工程、自动化、电子信息、物联网等)的在校学生、老师或者企业员工下载使用,也可作为毕业设计、课程设计、作业、项目初期立项演示等,当然也适合小白学习进阶。 4、如果基础还行,可以在此代码基础上进行修改,以实现其他功能,也可直接用于毕设、课设、作业等。 欢迎下载,沟通交流,互相学习,共同进步!
recommend-type

2023新型智慧城市智慧交通专项设计方案[498页Word].docx

2023新型智慧城市智慧交通专项设计方案[498页Word].docx
recommend-type

QT开发的概要介绍与分析

QT开发资源描述 QT是一款功能强大的跨平台应用程序和用户界面开发框架,广泛应用于各种软件项目的开发中。QT提供了丰富的库和工具,使得开发者能够高效地创建出具有专业外观和优秀用户体验的应用程序。 QT开发资源涵盖了从界面设计到后台逻辑实现的全流程。在界面设计方面,QT提供了强大的Qt Designer工具,支持拖拽式布局和丰富的控件库,使得开发者能够直观地设计复杂的用户界面。同时,QT还支持样式表(QSS)和自定义绘图,让界面更加美观和个性化。 在后台逻辑实现方面,QT提供了完整的C++ API,支持多线程、网络编程、数据库访问等功能。开发者可以利用QT的类库和框架,快速实现各种复杂的功能模块。此外,QT还提供了丰富的文档和社区支持,使得开发者在遇到问题时能够迅速找到解决方案。 QT的跨平台特性是其最大的优势之一。开发者只需编写一次代码,就可以在不同的操作系统和平台上运行应用程序。这使得QT成为开发跨平台桌面应用、移动应用和嵌入式系统的理想选择。 总之,QT开发资源为开发者提供了一套完整、高效、易用的开发工具链。通过利用QT提供的丰富资源和强大功能,开发者可以快速构建出高质量
recommend-type

zigbee-cluster-library-specification

最新的zigbee-cluster-library-specification说明文档。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

实现实时数据湖架构:Kafka与Hive集成

![实现实时数据湖架构:Kafka与Hive集成](https://img-blog.csdnimg.cn/img_convert/10eb2e6972b3b6086286fc64c0b3ee41.jpeg) # 1. 实时数据湖架构概述** 实时数据湖是一种现代数据管理架构,它允许企业以低延迟的方式收集、存储和处理大量数据。与传统数据仓库不同,实时数据湖不依赖于预先定义的模式,而是采用灵活的架构,可以处理各种数据类型和格式。这种架构为企业提供了以下优势: - **实时洞察:**实时数据湖允许企业访问最新的数据,从而做出更明智的决策。 - **数据民主化:**实时数据湖使各种利益相关者都可
recommend-type

list根据id查询pid 然后依次获取到所有的子节点数据

可以使用递归的方式来实现根据id查询pid并获取所有子节点数据。具体实现可以参考以下代码: ``` def get_children_nodes(nodes, parent_id): children = [] for node in nodes: if node['pid'] == parent_id: node['children'] = get_children_nodes(nodes, node['id']) children.append(node) return children # 测试数
recommend-type

JSBSim Reference Manual

JSBSim参考手册,其中包含JSBSim简介,JSBSim配置文件xml的编写语法,编程手册以及一些应用实例等。其中有部分内容还没有写完,估计有生之年很难看到完整版了,但是内容还是很有参考价值的。
recommend-type

"互动学习:行动中的多样性与论文攻读经历"

多样性她- 事实上SCI NCES你的时间表ECOLEDO C Tora SC和NCESPOUR l’Ingén学习互动,互动学习以行动为中心的强化学习学会互动,互动学习,以行动为中心的强化学习计算机科学博士论文于2021年9月28日在Villeneuve d'Asq公开支持马修·瑟林评审团主席法布里斯·勒菲弗尔阿维尼翁大学教授论文指导奥利维尔·皮耶昆谷歌研究教授:智囊团论文联合主任菲利普·普雷教授,大学。里尔/CRISTAL/因里亚报告员奥利维耶·西格德索邦大学报告员卢多维奇·德诺耶教授,Facebook /索邦大学审查员越南圣迈IMT Atlantic高级讲师邀请弗洛里安·斯特鲁布博士,Deepmind对于那些及时看到自己错误的人...3谢谢你首先,我要感谢我的两位博士生导师Olivier和Philippe。奥利维尔,"站在巨人的肩膀上"这句话对你来说完全有意义了。从科学上讲,你知道在这篇论文的(许多)错误中,你是我可以依
recommend-type

实现实时监控告警系统:Kafka与Grafana整合

![实现实时监控告警系统:Kafka与Grafana整合](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9BVldpY3ladXVDbEZpY1pLWmw2bUVaWXFUcEdLT1VDdkxRSmQxZXB5R1lxaWNlUjA2c0hFek5Qc3FyRktudFF1VDMxQVl3QTRXV2lhSWFRMEFRc0I1cW1ZOGcvNjQw?x-oss-process=image/format,png) # 1.1 Kafka集群架构 Kafka集群由多个称为代理的服务器组成,这