数据架构演进史：从业务数据库到数据集市

"数据架构的进化史" 数据架构的演进史可以分为五个阶段：业务数据库、中间库、完善数据仓库、数据集市、数据 Vault。每个阶段都有其特点和对应的数据分析工具选型考虑。 **1. 业务数据库阶段** 企业信息化建设的最初阶段，业务库中数据量不大，使用 OLTP 结构可以快速展现数据情况。但是随着时间的推移，查询和写入频率越来越高，数据量越来越大，业务系统数量的越来越多，导致数据孤岛开始形成。这种情况下，企业面临数据展示与数据平台建设的阶段，需要解决业务应用效率问题和数据分析问题。 **1.1 业务数据库阶段的特点** * 数据量不大 * 使用 OLTP 结构 * 查询和写入频率较低 * 数据分析可以使用 office 工具 **1.2 业务数据库阶段的挑战** * 查询和写入频率越来越高 * 数据量越来越大 * 业务系统数量的越来越多，导致数据孤岛开始形成 * 数据分析需要耗费大量计算资源 **2. 中间库阶段** 为了解决业务数据库阶段的挑战，引入中间库来处理。中间库可以解决高频 write 和 read 冲突问题，以及单数据库服务器性能问题。同时，中间库也可以搞定数据备份。 **2.1 中间库阶段的特点** * 解决高频 write 和 read 冲突问题 * 解决单数据库服务器性能问题 *搞定数据备份 **2.2 中间库阶段的挑战** * 处理性能不容乐观 * 数据库表结构实在太过复杂 * 每做一个分析，就要理一次业务逻辑、写一段 sql **3. 完善数据仓库阶段** 为了解决中间库阶段的挑战，引入完善数据仓库（DW）。数据仓库可以解决数据孤岛问题，提供数据整理成果的复用。 **3.1 完善数据仓库阶段的特点** * 解决数据孤岛问题 * 提供数据整理成果的复用 **3.2 完善数据仓库阶段的挑战** * 数据仓库设计需要考虑业务逻辑和数据模型 * 数据仓库需要考虑数据的历史追溯 **4. 数据集市阶段** 为了解决完善数据仓库阶段的挑战，引入数据集市（Data Mart）。数据集市可以提供快速的数据分析和报表生成。 **4.1 数据集市阶段的特点** * 提供快速的数据分析和报表生成 * 解决数据仓库的数据模型和业务逻辑问题 **4.2 数据集市阶段的挑战** * 数据集市需要考虑数据的粒度和聚合问题 * 数据集市需要考虑数据的安全和权限问题 **5. 数据 Vault 阶段** 为了解决数据集市阶段的挑战，引入数据 Vault。数据 Vault 可以提供数据的安全和权限管理。 **5.1 数据 Vault 阶段的特点** * 提供数据的安全和权限管理 * 解决数据集市的粒度和聚合问题 **5.2 数据 Vault 阶段的挑战** * 数据 Vault 需要考虑数据的加密和解密问题 * 数据 Vault 需要考虑数据的 backup 和恢复问题