数据仓库与ETL技术详解

"数据仓库和ETL学习笔记" 数据仓库是一个用于数据分析和报告的系统，它存储了从多个源系统中提取的历史数据。本笔记主要涵盖了数据仓库中的关键组件——维度表和事实表的特征，以及星型模式的键设计原则。此外，还简单介绍了ETL（抽取、转换、加载）过程。 1. 维度表的特征： - 维度表键：它是表的主键，用于唯一标识一行。 - 宽表：维度表通常包含大量属性或列。 - 文本属性：大多数属性为文本格式。 - 非直接相关属性：不同属性之间可能不直接关联。 - 非规范化：为了查询效率，维度表通常不进行高度规范化。 - 上钻/下钻：允许用户从概括数据深入到详细数据。 - 多级层次结构：支持多级的详细层次，便于分析。 - 记录数量较少：相比事实表，维度表记录较少。 2. 事实表的特征： - 连接的事实表主键：与所有维度表关联，由维度表主键组合而成。 - 数据颗粒：定义了数据的详细程度，决定了指标的精度。 - 完全加和指标：数值可以直接相加，如销售额。 - 半加和指标：如百分比，不能直接相加。 - 表结构：相对较长但不宽，属性少于维度表。 - 稀疏数据：并非所有维度组合都有对应事实。 - 退化的维度：数字属性不作为指标，如订单号，有时也有分析价值。 - 不含事实的事实表：表示事件时，可能没有实际数值。 3. 星型模式的键： - 代理键：维度表使用代理键以保持稳定性。 - 外键关系：维度表主键作为事实表的外键。 - 主键选择： a) 复合主键：所有维度键的组合，需要额外保存外键。 b) 连接主键：直接由维度键连接，无需额外外键。 c) 生成主键：与维度键无关，所有外键需额外保存。 4. ETL过程： - 数据抽取：从各种数据库、文件中获取数据。 - 数据转换：包括格式转换、业务规则应用等。 - 跟踪：提供从源到目标的数据路径记录。 - 键重定义和结构性变化：适应目标系统的需求。 - 商业规则应用：在数据加载前进行验证和处理。 ETL是构建数据仓库的关键步骤，它确保了数据从源系统到数据仓库的准确、完整和一致的传输，从而支持高效的分析决策。理解维度表和事实表的特性，以及如何设计星型模式的键，对于优化数据仓库性能至关重要。同时，熟练掌握ETL工具的使用，能有效提升数据处理的效率和质量。