一个中型公司在实际生产中使用flink做电商数仓分为 ods,dwd,dws ,ads 每层的数据大概多少数据量
时间: 2024-04-06 22:29:36 浏览: 112
实现了一整套电商数仓的搭建,包括数据采集平台的搭建,将用户的行为数据分为四层分别分层搭建,并实现业务数据库的分层搭建
5星 · 资源好评率100%
一个中型公司在实际生产中使用Flink做电商数仓,按照传统的数据仓库架构,可以将数据处理分为ODS、DWD、DWS、ADS四个层次。这些层次的数据量会因为公司业务规模和数据存储周期等因素而有所不同。
ODS层:ODS层是原始数据层,主要用于存储源系统中的数据,包括电商平台中用户行为数据、商品数据、订单数据、支付数据、物流数据等等。ODS层的数据量通常比较大,可能会达到数十亿或者数百亿级别。
DWD层:DWD层是数据加工层,主要用于对ODS层的数据进行清洗、转换和统一,以便后续的处理使用。DWD层的数据量相对于ODS层会有所减少,但仍然相对较大,可能会达到数十亿或者数百亿级别。
DWS层:DWS层是数据存储层,主要用于存储经过加工处理的数据,以便后续的分析和计算使用。DWS层的数据量相对于DWD层会有所减少,但仍然相对较大,可能会达到数十亿或者数百亿级别。
ADS层:ADS层是数据应用层,主要用于生成各种报表、图表和统计结果,以便业务人员进行分析和决策。ADS层的数据量比较小,通常是在DWS层的基础上进行聚合和汇总生成的。
总的来说,中型公司在实际生产中使用Flink做电商数仓,每个层次的数据量会相对较大,可能会达到数十亿或者数百亿级别。因此,在设计和实现数据处理流程时需要考虑数据的规模和处理效率,以保证数据处理的准确性和效率。
阅读全文