数仓分层,每一层是什么样子的
时间: 2023-12-24 08:20:25 浏览: 25
数仓分层通常有四层,分别是:
1. 原始数据层(Operational Data Store,ODS):存储原始数据,包括各种数据源系统产生的各种业务数据、主数据和元数据等。
2. 数据仓库层(Data Warehouse,DW):对原始数据层中的数据进行抽取、清洗、转换和集成,使得数据具有较高的质量和一致性。数据仓库层是面向决策支持系统进行查询和分析的主要数据源。
3. 数据集市层(Data Mart,DM):数据集市是数据仓库的一部分,它是一个针对特定业务领域或用户群体的小型数据仓库。数据集市提供了更加定制化和精细化的分析服务,使得业务分析人员可以更加方便地获取所需要的信息。
4. 分析层(Analytic Processing,AP):分析层一般是建立在数据集市之上的,它主要利用数据挖掘、数据分析、数据建模等技术开展深度分析和挖掘。通过分析层的处理,决策者可以更好地了解企业的业务状况,预测未来发展趋势,制定科学的经营决策。
相关问题
数仓分层每一层都包包含了什么
和事业单位中,VMware ESXi可以用于服务器虚拟化环境的搭建等。
实现功能的配置数仓分层一般包含以下几层:
1. 原始数据层(Staging Layer):包含从各个步骤:
1)下载并安装VMware ESXi软件。
2)配置物理机器的硬件参数和网络连接。
3)创建一个虚拟机,配置虚拟机的操作系统、CPU、内存、硬盘等参数。
4数据源提取的原始数据,数据经过简单的清洗和转换后,保存到该层中。
2)安装操作系统和应用程序。
5)配置虚拟机的网络连接,使虚拟机能够与物理. 数据清洗层(Data Integration Layer):对原始数据进行清洗、过滤、转换等操作,使得网络相连。
6)克隆虚拟机,以便可以创建多个相同的虚拟机。
7)配置虚数据可以被后续的数据处理层使用。该层一般包括数据清洗、数据重构、数据合并等拟机的资源共享,使多个虚拟机可以共享同一份数据。
8)配置虚拟机的备处理过程。
3. 数据处理层(Data Warehouse Layer):将经过清洗和转换的数据保存到数据仓份和恢复功能,以便在虚拟机出现故障时可以快速恢复数据。
具体在企事库中,以供数据分析和报表生成使用。该层一般包括数据抽取、数据转换、数据业单位的应用特点:
1)提高资源利用率:企业和事业单位通常有大量的加载等处理过程。
4. 数据应用层(Data Mart Layer):为不同的业务部门提供定闲置资源,通过VMware ESXi可以将这些资源有效地利用起来,从而降低IT成本。
制化的数据应用服务,即将数据仓库中的数据按照不同的业务需求进行划分,2)简化管理:通过VMware ESXi,可以将多个物理机器上的虚拟机集中管理,减少了对硬件的维护和管理工作。
3)提高可用性和可伸缩性:通过VM形成多个数据集市。
5. 数据分析层(Business Intelligence Layer):对数据进行分析和挖掘,ware ESXi,可以快速地创建和销毁虚拟机,从而提高系统的可用性和可伸缩为企业决策提供支持。该层一般包括数据查询、报表生成、数据可视化等处理过程。
数仓分层 stage层
数仓的分层中,其中一个重要的层级是stage层。在数仓中,stage层是指数据的初始加载和清洗阶段,也被称为原始数据层。\[1\]在传统金融/保险行业中,stage层通常包括ods层(操作数据存储层)、pdm层(物理数据模型层)和dm层(数据集市层)。\[1\]而在互联网金融/电商行业中,stage层通常包括odl层(在线数据存储层)、bdl层(业务数据湖层)、idl层(实时数据湖层)和adl层(分析数据湖层)。\[1\]
另外,数仓的应用层(ADS)也是一个重要的层级。应用层是各个业务方或部门基于DWD和DWS建立的数据集市,主要包含部门或业务方关心的明细层和汇总层的数据。\[2\]应用层的数据来源于DW层,用于支持各个业务方的数据分析和决策。
总结来说,数仓的分层中,stage层是数据的初始加载和清洗阶段,应用层是各个业务方或部门基于DWD和DWS建立的数据集市。这些层级在不同行业和场景中可能有所差异,但整体的套路和目的是相似的。\[1\]\[2\]\[3\]
#### 引用[.reference_title]
- *1* [数仓分层模型架构分享(2)](https://blog.csdn.net/BeiisBei/article/details/106285485)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item]
- *2* *3* [万字详解数仓分层设计架构 ODS-DWD-DWS-ADS](https://blog.csdn.net/uxiAD7442KMy1X86DtM3/article/details/127711444)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]