Datablau创始人分享:数据建模与DDM实战教程与成就

需积分: 46 16 下载量 193 浏览量 更新于2024-07-09 收藏 6.44MB PDF 举报
数据建模与数据驱动决策(DDM)是IT领域的重要组成部分,特别是在现代企业信息化过程中起着关键作用。《数据建模和DDM-第一部分》这份培训教程深入探讨了数据模型设计和管理的核心概念。首先,作者王琤,一位拥有丰富经验的专家,曾担任CAERwin全球研发负责人的角色,其在数据建模领域积累了十多年的经验,服务过包括美国银行(BOA)、SunTrust、AT&T和壳牌在内的全球500强企业,并在中国的大型金融机构如建设银行的新一代系统中深度参与了数据模型的设计工作。 王琤在2016年创立了Datablau,专注于数据治理领域,凭借其深厚的专业背景,帮助国内多家大型企业如人寿保险、微众银行、国电水电、四川航空、嘉实基金和税务部门等进行数据治理项目的咨询、管理和实施。作为中国信通院数据资产专家委员会的成员,他还是数据资产白皮书的主要撰稿人,同时还是IEEE和OMG的成员,以及DAMACDMP的一员,显示出他在业界的高度认可。 Datablau公司作为一家由前Erwin全球研发团队创立的创新型高科技企业,总部位于北京,以其资深的团队和国际化视野,专注于数据治理的创新。他们自主研发了一套国内独一无二的数据模型工具,提供了全面的数据管理解决方案,已经赢得了多家大型银行、保险公司、基金和电力公司的青睐,并成功完成了数千万级别的融资。作为Forrester的认可对象,Datablau在数据管理领域实现了数据模型自动化应用,尤其是在数据目录、数据质量、数据标准和元数据管理等方面,有助于降低AI应用的门槛和提升开发效率。 此外,Datablau致力于通过数据模型管控和数据资产管理,帮助企业实现数字化转型,推动企业在过去四年多的时间里在多个行业中落地并支持企业智能化转型。值得注意的是,他们强调了国产化建模工具与模型的重要性,这意味着在面对国内数据应用快速增长的趋势时,Datablau的产品和服务能够满足国内企业在数据驱动决策中的需求,助力企业更好地应对未来的挑战和机遇。 总结来说,这份教程不仅涵盖了数据建模的基础理论和实践技巧,还展示了Datablau在数据治理领域所取得的成就和对未来趋势的洞察。对于那些寻求优化数据管理、推动数字化转型的企业来说,这是一个宝贵的资源,可以帮助他们提升数据驱动决策的能力,实现业务的高效运营和创新发展。
2022-12-24 上传
⼤数据实践之数据建模 随着DT时代互联⽹、智能设备及其他信息技术的发展,数据爆发式增长,如何将这些数据进⾏有序、有结构地分类组织和存储是我们⾯临的⼀个挑战。 为什么需要数据建模 如果把数据看作图书馆⾥的书,我们希望看到它们在书架上分门别类地放置;如果把数据看作城市的建筑,我们希望城市规划布局合理;如果把数据看作电脑⽂ 件和⽂件夹,我们希望按照⾃⼰的习惯有很好的⽂件夹组织⽅式,⽽不是糟糕混乱的桌⾯,经常为找⼀个⽂件⽽不知所措。 数据模型就是数据组织和存储⽅法,它强调从业务、数据存取和使⽤⾓度合理存储数据。Linux的创始⼈Torvalds有⼀段关于"什么才是优秀程序员"的 话:"烂程序员关⼼的是代码,好程序员关⼼的是数据结构和它们之间的关系",其阐述了数据模型的重要性。有了适合业务和基础数据存储环境的模型,那么 ⼤数据就能获得以下好处。 性能:良好的数据模型能帮助我们快速查询所需要的数据,减少数据的I/O吞吐。 成本:良好的数据模型能极⼤地减少不必要的数据冗余,也能实现计算结果复⽤,极⼤地降低⼤数据系统中的存储和计算成本。 效率:良好的数据模型能极⼤地改善⽤户使⽤数据的体验,提⾼使⽤数据的效率。 质量:良好的数据模型能改善数据统计⼝径的不⼀致性,减少数据计算错误的可能性。 因此,⽏庸置疑,⼤数据系统需要数据模型⽅法来帮助更好地组织和存储数据,以便在性能、成本、效率和质量之间取得最佳平衡。 关系数据库系统和数据仓库 E .F .Codd是关系数据库的⿐祖,他⾸次提出了数据库系统的关系模型,开创了数据库关系⽅法和关系数据理论的研究。随着⼀⼤批⼤型关系数据库商业软件 (如Oracle、Informix、DB2等)的兴起,现代企业信息系统⼏乎都使⽤关系数据库来存储、加⼯和处理数据。数据仓库系统也不例外,⼤量的数据仓库系统 依托强⼤的关系数据库能⼒存储和处理数据,其采⽤的数据模型⽅法也是基于关系数据库理论的。虽然近年来⼤数据的存储和计算基础设施在分布式⽅⾯有了飞 速的发展,NoSQL技术也曾流⾏⼀时,但是不管是Hadoop、Spark还是阿⾥巴巴集团的MaxCompute系统,仍然在⼤规模使⽤SQL进⾏数据的加⼯和处理, 仍然在⽤Table存储数据,仍然在使⽤关系理论描述数据之间的关系,只是在⼤数据领域,基于其数据存取的特点在关系数据模型的范式上有了不同的选择⽽ 已。关于范式的详细说明和定义,以及其他⼀些关系数据库的理论是⼤数据领域建模的基础,有兴趣的读者可以参考相关的经典数据库理论书籍,如《数据库系 统概念》。 从OLTP和OLAP系统的区别看模型⽅法论的选择 OLTP系统通常⾯向的主要数据操作是随机读写,主要采⽤满⾜3NF的实体关系模型存储数据,从⽽在事务处理中解决数据的冗余和⼀致性问题;⽽OLAP系统 ⾯向的主要数据操作是批量读写,事务处理中的⼀致性不是OLAP所关注的,其主要关注数据的整合,以及在⼀次性的复杂⼤数据查询和处理中的性能,因此它 需要采⽤⼀些不同的数据建模⽅法。 典型的数据仓库建模⽅法论 ER模型 数据仓库之⽗Bill Inmon提出的建模⽅法是从全企业的⾼度设计⼀个3NF模型,⽤实体关系(Entity Relationship,ER)模型描述企业业务,在范式理论上符 合3NF。数据仓库中的3NF与OLTP系统中的3NF的区别在于,它是站在企业⾓度⾯向主题的抽象,⽽不是针对某个具体业务流程的实体对象关系的抽象。其具 有以下⼏个特点: 需要全⾯了解企业业务和数据。 实施周期⾮常长。 对建模⼈员的能⼒要求⾮常⾼。 采⽤ER模型建设数据仓库模型的出发点是整合数据,将各个系统中的数据以整个企业⾓度按主题进⾏相似性组合和合并,并进⾏⼀致性处理,为数据分析决策 服务,但是并不能直接⽤于分析决策。 其建模步骤分为三个阶段。 ⾼层模型:⼀个⾼度抽象的模型,描述主要的主题以及主题间的关系,⽤于描述企业的业务总体概况。 中层模型:在⾼层模型的基础上,细化主题的数据项。 物理模型(也叫底层模型):在中层模型的基础上,考虑物理存储,同时基于性能和平台特点进⾏物理属性的设计,也可能做⼀些表的合并、分区的设计等。 ER模型在实践中最典型的代表是Teradata公司基于⾦融业务发布的FS-LDM(Financial Services Logical Data Model),它通过对⾦融业务的⾼度抽象和 总结,将⾦融业务划分为10⼤主题,并以设计⾯向⾦融仓库模型的核⼼为基础,企业基于此模型做适当调整和扩展就能快速落地实施。 维度模型 维度模型是数据仓库领域的Ralph Kimball⼤师所倡导的,他的The Data Warehouse Toolkit-The Complete Guide to Dimensional Modeling是数据仓 库⼯