信用卡业务的数仓分层中,各层都做什么
时间: 2024-04-26 10:20:32 浏览: 199
信用卡业务的数仓分层通常包括以下层次:
1. 操作型数据层:这一层包含了各种操作型数据,包括客户信息、信用卡信息、消费记录、还款记录、积分记录等。这些数据的主要目的是支持业务操作,提供实时的数据访问和查询。
2. 数据仓库层:这一层是整个数仓的核心,用于存储历史数据和决策支持数据。数据仓库层包括了维度模型和事实表,用于支持多维分析和查询。在这一层中,数据会进行清洗、转换、聚合和整合,以提供决策支持所需的数据。
3. 数据集市层:这一层主要是为了实现对数据的快速查询和分析,提供更加灵活的数据访问方式。数据集市层通常包括了主题集市和应用集市,用于支持不同部门或业务领域的数据查询和分析。
4. 数据应用层:这一层主要是为了支持各种业务应用的数据需求,包括报表、分析、预测、建模等。在这一层中,数据会被进一步处理和分析,以支持业务决策和优化。
不同的数仓分层可能会有略微不同的名称和组成,但通常都包含以上这些层次,每一层都有特定的职责和功能,以支持整个信用卡业务的数据需求。
相关问题
数仓分层 stage层
数仓的分层中,其中一个重要的层级是stage层。在数仓中,stage层是指数据的初始加载和清洗阶段,也被称为原始数据层。\[1\]在传统金融/保险行业中,stage层通常包括ods层(操作数据存储层)、pdm层(物理数据模型层)和dm层(数据集市层)。\[1\]而在互联网金融/电商行业中,stage层通常包括odl层(在线数据存储层)、bdl层(业务数据湖层)、idl层(实时数据湖层)和adl层(分析数据湖层)。\[1\]
另外,数仓的应用层(ADS)也是一个重要的层级。应用层是各个业务方或部门基于DWD和DWS建立的数据集市,主要包含部门或业务方关心的明细层和汇总层的数据。\[2\]应用层的数据来源于DW层,用于支持各个业务方的数据分析和决策。
总结来说,数仓的分层中,stage层是数据的初始加载和清洗阶段,应用层是各个业务方或部门基于DWD和DWS建立的数据集市。这些层级在不同行业和场景中可能有所差异,但整体的套路和目的是相似的。\[1\]\[2\]\[3\]
#### 引用[.reference_title]
- *1* [数仓分层模型架构分享(2)](https://blog.csdn.net/BeiisBei/article/details/106285485)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item]
- *2* *3* [万字详解数仓分层设计架构 ODS-DWD-DWS-ADS](https://blog.csdn.net/uxiAD7442KMy1X86DtM3/article/details/127711444)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]
字节跳动的底层数仓分层架构
我了解到,字节跳动的底层数仓分层架构主要分为以下几层:
1. 数据源层:负责数据的采集、初步清洗及存储。
2. 数据加工层:对数据进行清洗、切分、加密、压缩以及转化格式等操作,并将加工后的数据存储到数据仓库中。
3. 数据仓库层:负责存储加工后的数据,并根据业务需求设计相应的数据模型,提供给上层应用程序使用。
4. 数据计算层:根据业务需求进行数据计算、分析以及挖掘,并提供相应的结果给上层应用程序使用。
5. 数据应用层:将数据计算层的结果与业务需求结合,提供相应的应用服务和数据产品。
阅读全文