数据仓库与ETL技术详解

"数据仓库和ETL学习笔记" 在数据仓库领域，数据仓库的设计和构建是关键步骤，其中维度表和事实表是核心组件。维度表主要用来描述业务的上下文，而事实表则存储与业务操作相关的度量数据。 1. 维度表的特征： - **维度表键**：作为表的唯一标识，用于关联事实表。 - **维度表宽**：具有大量属性或列，以提供丰富的描述信息。 - **文本属性**：大多数属性以文本形式存在，便于理解和解析。 - **非直接相关属性**：属性之间可能不存在直接关系，增加了信息的多样性。 - **非规范化**：避免过度规范化，以提高查询效率。 - **上钻/下钻**：支持不同层次的数据细化，方便数据分析。 - **多级层次结构**：允许沿着多个层次进行深入探索。 - **较少的记录**：相对于事实表，维度表记录数量较少。 2. 事实表的特征： - **连接的事实表主键**：主键由所有维度表主键组合，确保数据关联。 - **数据颗粒**：度量数据的详细程度，决定了数据粒度。 - **完全加和指标**：可以直接相加的数值，如销售额。 - **半加和指标**：如百分比，不能简单相加。 - **表长但不宽**：包含的属性相对较少，集中于度量数据。 - **稀疏数据**：并非所有维度组合都有对应的事实记录。 - **退化的维度**：某些数字属性既非指标也非事实，但可用于特定分析。 - **不含事实的事实表**：当事实表仅表示事务时，不包含实际度量数据。 3. 星型模式的键： - **代理键**：用于维度表，提供统一的键管理。 - **主键与外键**：维度表主键作为事实表外键，确保关联。 - **主键类型**： - a) 复合主键：增加了事实表大小，但无需额外存储外键。 - b) 连接主键：利用维度表键直接关联，减少空间需求。 - c) 生成主键：与维度键无关，需要额外存储所有外键。 4. ETL（抽取、转换、加载）过程： - **数据抽取**：从各种来源抽取数据，包括不同数据库、文件等。 - **数据转换**：格式转换、商业规则应用、结构调整等。 - **跟踪与验证**：提供数据源到目标的检查轨迹，确保数据完整性。 - **商业规则应用**：在抽取和转换阶段实施业务逻辑。 ETL工具能有效处理以上任务，简化数据仓库构建过程，确保数据质量，并支持复杂的数据处理需求。通过ETL，企业可以整合分散的数据，构建统一的数据视图，进而支持决策分析和业务优化。