电信EDW系统数据仓库详解

本文档是深圳天源迪科信息技术股份有限公司关于电信EDW系统环境的入职培训材料，主要内容包括主机和后台服务配置、常用数据库介绍、EDW表名称及表空间规范、宽表概念、EDW模型分层以及数据库权限管理。 在EDW系统环境中，数据仓库主机（166）负责存储数据仓库、ETL后台服务和ETL程序，而ETL主机（164/121）则主要运行ETL服务和程序，包括datastage、shell脚本和C++进程。报表服务器主机（168）承载了web服务和cognos服务，用于数据展示和分析。测试服务器主机（174）则提供了一个edw的web服务器测试环境，包括etl调度监控程序EMC。 在常用数据库方面，文档提到了多个生产库，如Crm生产库（链接为ods_133_dw/ods_161_dw）、计费生产库（cen_jf_37/cen_jf_39）、计费清单库（odsb_qd）、计费同步库（odsb_dsg）、结算库（tss6）和日账库（hb_79）。此外，还有17个本地分析中心库，链接以edw_本地网拼音表示。这些数据库涵盖了电信业务中的关键数据源，如计费、CRM、预付费、清单、日账和结算等。EDW系统通过直接从生产系统抽取数据，将数据存入接口层，实现数据整合。 在数据管理规范上，文档虽然没有详细阐述，但提到了EDW表名称规范和表空间使用规范，这些通常是确保数据组织有序和高效存储的关键。宽表介绍可能涉及到如何通过合并多个数据源来创建宽泛的汇总表，以支持快速分析。EDW模型分层通常指的是数据仓库的多层架构，例如，包括源系统、ODS（操作数据存储）、DW（数据仓库）、DWM（数据仓库中间层）和DM（数据集市）等层次，这有助于优化数据处理和查询效率。最后，数据库权限管理确保了对敏感数据的安全访问，通过角色和权限分配控制用户对数据的访问权限。 这份电信EDW系统环境介绍涵盖了从硬件基础设施到数据库架构和管理的多个层面，为理解并操作这样的大型数据仓库系统提供了基础性的知识框架。