"该文档是关于数据仓库存在问题的分析及ERWin标准操作手册,主要针对亚信科技的数据仓库模型重构提出解决方案。文档作者是李雪杰,来自亚信科技(中国)有限公司,旨在通过标准化、规范化和版本化等手段提升中国移动的BI(商业智能)能力。"
在数据仓库领域,面临的问题多种多样。首先,由于历史原因,经分建设自BASS1.0以来,模型一直是在不断的修补中,缺乏系统性的规划和优化,导致数据仓库的结构复杂且不稳定。其次,"数据烟囱"问题指的是各个部门或系统各自构建独立的数据存储,缺乏统一整合,形成了信息孤岛,阻碍了数据的全面分析。而"数据倒金字塔"问题则指的是数据层结构设计不合理,高层次的数据依赖于低层次大量原始数据,增加了处理复杂性并可能导致效率低下。
此外,数据一致性问题显著,这可能源于数据源不一致、更新机制缺陷或者ETL(提取、转换、加载)过程中的错误。性能问题也是一个关键挑战,随着用户对实时KPI和报表的需求增加,数据仓库无法在期望的时间内提供所需数据。同时,快速增长的需求与模型的灵活性不足之间的矛盾日益突出,使得模型难以适应多变的业务需求。
硬件资源和存储的浪费也是不容忽视的问题,这不仅增加了成本,也加重了PSO(专业服务组织)的工程压力和维护负担。因此,文档提出了重构亚信的数据仓库模型作为问题的一种解决方案。
为了解决这些问题,文档提出了标准化、规范化和版本化的设计思路。标准化包括制定标准的Domain、术语表、命名规则、数据库转换标准以及ERWin模板和操作手册。规范化涉及建模规范的设定,确保模型设计的一致性和质量。版本化则要求建立模型的版本管理机制,利用ERWinModelManager等工具进行有效控制。最后,通过流程化管理,如在PSO和研发部门设立模型管理流程,并明确责任人,可以进一步提升模型管理的效率和效果。
ERWin作为建模工具,被广泛用于数据库设计,支持IDEF1X和IE建模语言。文档列举了ERWin的多个版本,说明其持续更新和优化的过程。ERWin的界面包括导航区、菜单区、工具条区、画图区、操作日志区和操作反馈区,提供了全面的功能,如新建、打开、保存模型,打印,查找/替换,以及浏览数据和生成报告等,便于用户进行模型设计和管理。
这份文档深入探讨了数据仓库面临的挑战,并提出了通过ERWin工具和规范化的建模方法来改进和优化数据仓库模型,以提升中国移动的BI能力和数据管理效率。