Datablau DataModeler教程:数据建模与DDM实战

需积分: 21 12 下载量 191 浏览量 更新于2024-07-09 收藏 3.64MB PDF 举报
"数据建模和DDM-第二部分.pdf" 本文档主要涵盖了数据建模和DDM(Data Design Management)的多个方面,适用于数据库设计/开发人员、系统管理员/数据治理人员、项目组经理/数据架构师以及运维人员。内容包括了对数据建模基础知识的回顾、DDM建模工具的介绍、模型库管理和权限、模型与标准管理以及模型平台的运维管理。 首先,文档回顾了数据建模的基础知识,涉及概念模型、逻辑模型和物理模型,以及实体关系属性。3NF(第三范式)和维度建模(如星型和雪花模式)被提及,这些都是数据仓库设计中的关键概念。此外,文档还讨论了数据仓库的发展趋势,强调了数据标准和企业级模型的重要性。 在DDM工具的介绍部分,Datablau DataModeler被突出展示,作为国内唯一的数据建模工具,其设计理念聚焦于理解现有数据、支持数据治理、面向数据应用,以及提供数据模型的变更比较、版本管理和权限管理等功能。该工具支持多种主流数据库,并且具有数据标准的落地执行能力,实现了数据模型的可视化和企业级的协作共享。Datablau DataModeler由原ERwin团队开发,旨在提升企业信息化研发效率,推动数据治理工作。 文档还提到了应用程序的现代化发展,特别是嵌入式人工智能分析、数据标准化、微服务化以及对云计算的支持。这些特性表明新一代应用程序需要更加智能、灵活且适应云环境,通过开放API构建企业数据应用中台,实现容器化部署,以提高数据处理和整合能力。 在模型库管理和权限部分,可能涉及的内容包括如何组织和分类模型,如何分配不同角色的访问和操作权限,以及如何确保数据模型的版本控制和变更追踪。系统管理员和数据治理人员将关注如何有效地管理这些流程,以确保数据模型的准确性和一致性。 最后,模型平台的运维管理可能涵盖监控、性能优化、问题排查和维护等方面,运维人员需要了解如何确保模型平台的稳定运行,并能够及时响应和解决可能出现的问题。 这份文档提供了全面的数据建模和DDM的深入学习材料,对于从事数据相关工作的专业人员来说,无论是初学者还是经验丰富的专家,都将从中受益。通过学习和实践,可以提升数据建模的技能,更好地理解和应用数据模型在实际工作中的价值。
2022-12-23 上传
数据分析和数据建模 大数据应用有几个方面, 一个是效率提升, 帮助企业提升数据处理效率, 降低数据存储成本。 另外一个是对业务作出指导,例如精准营销,反欺诈,风险管理以及业务提升。过去企业都 是通过线下渠道接触客户,客户数据不全,只能利用财务数据进行业务运营分析,缺少围绕 客户的个人数据,数据分析应用的领域集中在企业内部经营和财务分析。 大数据应用有几个方面,一个是效率提升,帮助企业提升数据处理效率,降低数 据存储成本。另外一个是对业务作出指导,例如精准营销,反欺诈,风险管理以 及业务提升。过去企业都是通过线下渠道接触客户,客户数据不全,只能利用财 务数据进行业务运营分析,缺少围绕客户的个人数据,数据分析应用的领域集中 在企业内部经营和财务分析。 数字时代到来之后,企业经营的各个阶段都可以被记录下来,产品销售的各个环 节也被记录下来,客户的消费行为和网上行为都被采集下来。企业拥有了多维度 的数据,包括产品销售数据、客户消费数据、客户行为数据、企业运营数据等。 拥有数据之后,数据分析成为可能,企业成立了数据分析团队整理数据和建立模 型,找到商品和客户之间的关联关系,商品之间关联关系,另外也找到了收入和 客户之间的关联关系。 典型的数据分析案例如沃尔玛啤酒和尿布、 蛋挞和手电筒, Target 的判断 16 岁少女怀孕都是这种关联关系的体现。 关联分析是统计学应用最早的领域,早在 1846 年伦敦第二次霍乱期间,约翰医 生利用霍乱地图找到了霍乱的传播途径,平息了伦敦霍乱,打败了霍乱源于空气 污染说的精英,拯救了几万人的生命。伦敦霍乱平息过程中,约翰医生利用了频 数分布分析,建立了霍乱地图,从死亡案例分布的密集程度上归纳出病人分布同 水井的关系, 从而推断出污染的水源是霍乱的主要传播途径, 建议移除水井手柄, 降低了霍乱发生的概率。 另外一个典型案例是第二次世界大战期间,统计分析学家改造轰炸机。英美联盟 从 1943 年开始对德国的工业城市进行轰炸,但在 1943 年年底,轰炸机的损失 率达到了英美联盟不能承受的程度。轰炸军司令部请来了统计学家,希望利用数 据分析来改造轰炸机的结构,降低阵亡率,提高士兵生还率。统计学家利用大尺 寸的飞机模型,详细记录了返航轰炸机的损伤情况。统计学家在飞机模型上将轰 炸机受到攻击的部位用黑笔标注出来,两个月后,这些标注布满了机身,有的地 方标注明显多于其他地方, 例如机身和侧翼。 有的地方的标注明显少于其他地方, 例如驾驶室和发动机。统计学家让军火商来看这个模型,军火商认为应该加固受 到更多攻击的地方,但是统计学家建议对标注少的地方进行加固,标注少的原因 不是这些地方不容易被击中,而是被击中的这些地方的飞机,很多都没有返航。 这些标注少的地方被击中是飞机坠毁的一个主要原因。 军火商按照统计学家的建 议进行了飞机加固,大大提高了轰炸机返航的比率。以二战著名的 B-17 轰炸机 为例,其阵亡率由 26%降到了 7%,帮助美军节约了几亿美金,大大提高了士兵 的生还率。 一 数据分析中的角色和职责 数据分析团队应该在科技部门内部还在业务部门内部一直存在争议。 在业务部门 内部,对数据场景比较了解,容易找到数据变现的场景,数据分析对业务提升帮 助较大,容易出成绩。但是弊端是仅仅对自己部门的业务数据了解,分析只是局 限独立的业务单元之内,在数据获取的效率上,数据维度和数据视角方面缺乏全 局观,数据的商业视野不大,对公司整体业务的推动发展有限。业务部门的数据 分析团队缺少数据技术能力,无法利用最新的大数据计算和分析技术,来实现数 据分析和建模。数据分析和计算依赖于科技部门,效率较低,无法打通各个环节 和实现效率和收益最优。 数据分析和挖掘部门位于科技部门,优点是直接可以了解所有数据,利用最新的 大数据计算分析技术来进行数据分析和建模,数据视野好。面对全局数据建立数 据采集和分析系统,系统复用程度高,降低重复投资,效率高。但是团队人员商 业敏感度低,过度关注技术和架构,重视技术的领先和处理效率,数据商业敏感 度低,不重视数据商业化场景,对业务理解程度不够,支持力度不如前者。科技 部门愿意搭建一个大数据平台,让业务部门自己去寻数据场景,业务部门在数据 商业化过程中也会遇到环节不畅通,效率低下的问题。 数据分析团队应该属于独立的部门,为所有的业务部门提供服务,具有独立的技 术团队,可以搭建独立的大数据计算和分析平台,利用最新的数据处理技术来建 立模型进行分析。另外数据分析团队的人应来源于业务部门,具有高度的数据商 业敏感度,可以将业务部门的需求分解为数据需求,将业务场景同数据场景以及 数据分析相结合起来。 数据分析是一项实践性很强的工作,涉及到很多交叉学科,需要不同的岗位和角 色,来实现不同的性质的工作。基本的岗位和角色