数仓分层 ads ods d m s
时间: 2023-07-29 18:04:21 浏览: 322
数仓是一个数据架构和管理系统,用于集中存储和管理企业的各类数据。数仓的设计一般分为多层,其中包括ads、ods、d、m和s层。这些层次的设计有助于数据的整理、加工和利用。
首先是ads层(Analytical Data Store),它是数仓的最顶层,主要用于存储和处理分析型报表和数据分析。ads层的数据经过清洗和整合后,可以供决策者进行数据分析和业务决策。
其次是ods层(Operational Data Store),它是数仓的中间层,主要用于存储原始数据和操作型数据。ods层的数据一般不做或做很少的清洗和整合,保留了数据的原始状态。这样可以为数据分析提供更多的维度和灵活性。
接下来是d层(Data Mart),它是数仓的下层,主要用于主题化的数据存储和决策支持系统。d层的数据按照业务需求进行整理和聚合,形成了各类主题化的数据视图,方便业务人员进行数据查询和分析。
再次是m层(Metadata),它是数仓中的元数据层,主要包括数据定义、数据描述和数据管理等信息。m层可以帮助用户了解和管理数仓中的各类数据信息,提供数据质量评估和数据一致性保障。
最后是s层(Staging),它是数仓中的数据暂存区,主要用于数据的清洗和整理。s层的数据一般是从源系统中提取过来的原始数据,在经过清洗、格式转换和校验后,再加载到数仓的其他层级中。
总而言之,通过将数仓按照不同的层次进行分层管理,可以使数据的获取、分析和利用更加灵活和高效。不同层次的设计有助于满足不同用户的需求,并提供了数据整合、数据分析和决策支持的基础。
相关问题
数仓分层 stage层
数仓的分层中,其中一个重要的层级是stage层。在数仓中,stage层是指数据的初始加载和清洗阶段,也被称为原始数据层。\[1\]在传统金融/保险行业中,stage层通常包括ods层(操作数据存储层)、pdm层(物理数据模型层)和dm层(数据集市层)。\[1\]而在互联网金融/电商行业中,stage层通常包括odl层(在线数据存储层)、bdl层(业务数据湖层)、idl层(实时数据湖层)和adl层(分析数据湖层)。\[1\]
另外,数仓的应用层(ADS)也是一个重要的层级。应用层是各个业务方或部门基于DWD和DWS建立的数据集市,主要包含部门或业务方关心的明细层和汇总层的数据。\[2\]应用层的数据来源于DW层,用于支持各个业务方的数据分析和决策。
总结来说,数仓的分层中,stage层是数据的初始加载和清洗阶段,应用层是各个业务方或部门基于DWD和DWS建立的数据集市。这些层级在不同行业和场景中可能有所差异,但整体的套路和目的是相似的。\[1\]\[2\]\[3\]
#### 引用[.reference_title]
- *1* [数仓分层模型架构分享(2)](https://blog.csdn.net/BeiisBei/article/details/106285485)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item]
- *2* *3* [万字详解数仓分层设计架构 ODS-DWD-DWS-ADS](https://blog.csdn.net/uxiAD7442KMy1X86DtM3/article/details/127711444)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]
离线数仓分层事如何设计的
离线数仓的分层设计通常包括贴源层(ODS)、明细层(DWD)、维度层(DIM)、轻度聚合层(DWS)、主题层(DWT)、数据中间层(DWM)和结果展示层(ADS)\[1\]。
贴源层(ODS)是数仓中最底层的层次,用于接收和存储原始数据。在这一层,数据被抽取、清洗和转换为可用于后续处理的格式。
明细层(DWD)是在贴源层之上的一层,用于存储经过处理和加工的原始数据。在这一层,数据被进行清洗、整合和转换,以满足业务需求。
维度层(DIM)是用于存储维度数据的层次。维度表是基于原始数据层提取公共指标进行维度建模的结果\[2\]。在这一层,维度数据被提取出来,并与事实数据进行关联。
轻度聚合层(DWS)是在明细层之上的一层,用于存储经过聚合的数据。在这一层,数据被进行聚合操作,以提高查询性能和减少数据量。
主题层(DWT)是在轻度聚合层之上的一层,用于存储按照业务主题组织的数据。在这一层,数据被按照业务主题进行组织和汇总,以支持特定的分析和报表需求。
数据中间层(DWM)是用于存储数据处理过程中的中间结果的层次。在这一层,数据被用于支持数据处理的各个阶段,例如数据清洗、转换和集成。
结果展示层(ADS)是数仓中最顶层的层次,用于存储最终的分析结果和报表数据。在这一层,数据被用于生成各种分析报表和可视化展示。
离线数仓的分层设计可以根据具体业务需求和数据处理流程进行灵活调整,但通常遵循以上的基本分层结构\[1\]。
#### 引用[.reference_title]
- *1* *2* [离线数仓分层(基础)](https://blog.csdn.net/wind96/article/details/127641942)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
- *3* [离线数仓 (八) --------- 数仓分层](https://blog.csdn.net/m0_51111980/article/details/127491547)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]
阅读全文