支付宝数据仓库模型设计:屏蔽复杂业务,高内聚松耦合

0 下载量 168 浏览量 更新于2024-06-22 1 收藏 1.75MB PPTX 举报
"阿里数据仓库模型设计PPT课件.pptx" 阿里巴巴的数据仓库模型设计主要聚焦于构建高效、稳定且适应性强的数据存储和分析体系。这个PPT课件详细阐述了支付宝数据仓库的构建方法、业务特点以及设计原则。 首先,数据建模介绍中提到了2021年的数据仓库构造方法,强调了类金融交易和类电子商务业务的特点。支付宝业务系统具有线上子系统多而杂、类型多样和系统间依赖程度参差不齐的特性,例如涉及对C(消费者)、对B(商家)、对内及对金融机构的各种服务。截至2011年6月,支付宝已拥有259个不同类型的线上子系统。 支付宝数据仓库的架构原则以底层业务的数据驱动和业务需求驱动相结合为基础,旨在便于数据分析,同时减少底层业务变动对模型的影响。其目标是构建一个简单、完整、集成的数据暴露给分析层,以实现业务系统变化影响的最小化,主要通过在基础数据层处理业务系统变化来实现。 传统的仓库架构通常以需求驱动为主,而支付宝采取了一种自下而上与自上而下相结合的方法,以数据水平层次清晰化,实现高内聚松耦合的数据组织。这样可以确保主题内的数据高度聚合,主题间的数据松散耦合,从而提升数据的可分割性和扩展性。 仓库的基础数据层建设至关重要,它能够隔离底层业务数据整合与上层应用开发,为大规模开发奠定基础,使仓库层次更清晰,数据暴露更统一。此外,通过这样的设计,可以有效避免底层业务变动对上层需求造成过大影响,并简化因底层复杂业务逻辑带来的挑战。 在第三方支付企业支付宝的数据仓库体系结构中,采用了企业级概念数据模型(CDM),并参考了OMG的CWM模型、IBM的FSDM、NCRTeradata的FS-LDM以及新巴塞尔资本协议的相关规范,结合支付宝的业务实践,构建了数据仓库的五层架构体系。这五层包括ODS(Operational Data Store,操作数据存储)、DWD(Data Warehouse Detail,数据仓库详细层)、DWS(Data Warehouse Service,数据仓库服务层)、ADS(Application Data Service,应用数据服务层)和APP(Application,应用层)。每一层都有特定的功能,满足不同层次的应用需求。 ODS层主要存放最近的源系统数据,用于快速访问和实时处理;DWD层是对ODS数据的清洗和转换,详细记录业务事件;DWS层对DWD数据进一步汇总,以支持多维分析;ADS层则根据业务应用需求,提供定制化的数据视图;最后,APP层是直接服务于用户的业务应用,将数据转化为可操作的信息。 总结来说,阿里数据仓库模型设计PPT课件深入探讨了如何针对支付宝的业务特性,运用先进的数据建模理论和技术,构建出既能适应复杂业务变化,又能支持高效数据分析的数据仓库架构。这一设计对于理解大数据环境下的数据仓库建设,尤其是金融和电商领域,提供了宝贵的实践经验。