聊一聊数仓分层,3层
时间: 2024-09-12 12:13:52 浏览: 42
数仓分层是一种数据仓库架构设计方法,它将数据组织成不同的层次,每个层次都有特定的功能和目的。通常,数仓分层包括三层结构:操作数据层(ODS)、数据仓库层(DW)和数据应用层(DA)。下面分别简要介绍每层的功能:
1. 操作数据层(ODS, Operational Data Store)
操作数据层是数据仓库架构中的第一层,它主要用于存储从操作型系统(如业务系统)中提取出来的原始数据。ODS层的数据往往是原始数据,保留了数据最初到达时的格式和内容。由于ODS层通常接近数据源,因此它也支持数据的初步清洗和转换,但不做深度的整合和历史化处理。
2. 数据仓库层(DW, Data Warehouse)
数据仓库层是数据仓库的核心部分,它接收来自ODS层的数据,并进行整合和历史化处理。在DW层,数据按照主题组织成大型数据集,以支持决策支持系统(DSS)的复杂查询和分析。数据仓库层通常包含两个子层:
- 数据整合层(整合层):负责从ODS层获取数据,进行清洗、转换、整合,并加载到DW层的数据存储中。
- 数据存储层(数据层):存储整合后的数据,供进一步分析使用。
3. 数据应用层(DA, Data Application)
数据应用层位于数仓的顶层,为最终用户提供数据访问和分析服务。该层通常包括多个数据集市和数据应用,如报表、OLAP立方体、数据挖掘等。在DA层,数据进一步细分并根据特定的业务需求进行优化,以提供高效的数据查询和分析结果。
相关问题
数仓分层 stage层
数仓的分层中,其中一个重要的层级是stage层。在数仓中,stage层是指数据的初始加载和清洗阶段,也被称为原始数据层。\[1\]在传统金融/保险行业中,stage层通常包括ods层(操作数据存储层)、pdm层(物理数据模型层)和dm层(数据集市层)。\[1\]而在互联网金融/电商行业中,stage层通常包括odl层(在线数据存储层)、bdl层(业务数据湖层)、idl层(实时数据湖层)和adl层(分析数据湖层)。\[1\]
另外,数仓的应用层(ADS)也是一个重要的层级。应用层是各个业务方或部门基于DWD和DWS建立的数据集市,主要包含部门或业务方关心的明细层和汇总层的数据。\[2\]应用层的数据来源于DW层,用于支持各个业务方的数据分析和决策。
总结来说,数仓的分层中,stage层是数据的初始加载和清洗阶段,应用层是各个业务方或部门基于DWD和DWS建立的数据集市。这些层级在不同行业和场景中可能有所差异,但整体的套路和目的是相似的。\[1\]\[2\]\[3\]
#### 引用[.reference_title]
- *1* [数仓分层模型架构分享(2)](https://blog.csdn.net/BeiisBei/article/details/106285485)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item]
- *2* *3* [万字详解数仓分层设计架构 ODS-DWD-DWS-ADS](https://blog.csdn.net/uxiAD7442KMy1X86DtM3/article/details/127711444)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]
数仓分层的原因 csdn
数仓分层是为了有效地组织和管理数据,提高数据仓库系统的性能和可维护性。以下是数仓分层的一些原因:
1. 数据整合和清洗:数据仓库通常需要从多个不同的数据源中获取数据,而这些数据源可能具有不同的数据格式和结构。通过将数据仓库分成不同层级,可以更好地对数据进行整合和清洗,以确保数据的一致性和准确性。
2. 数据存储和访问的效率:数据仓库中通常包含大量的数据,因此需要有效的存储和访问方式。通过将数据仓库按照不同层级进行划分,可以根据数据的访问频率和重要性将数据存储在不同的存储介质中,以提高数据的读写效率。
3. 数据安全和权限控制:数据仓库中包含的数据可能是敏感的,需要进行严格的权限控制。通过将数据仓库分层,可以将不同层级的数据进行不同程度的保护和权限设置,从而确保只有合适的人员能够访问和操作数据。
4. 数据分析和报告:数据仓库通常用于支持数据分析和生成报告的目的。通过将数据按照不同层级进行划分,可以更好地满足不同用户的需求,从而提高数据分析和报告的效率和准确性。
5. 系统维护和开发的可管理性:数据仓库是一个复杂的系统,需要进行定期的维护和开发工作。通过将数据仓库按照不同层级进行划分,可以更好地组织和管理系统的不同模块,从而提高系统的可维护性和可管理性。
综上所述,数仓分层是为了更好地组织和管理数据,并提高数据仓库系统的性能、安全性和可维护性。
阅读全文