优化数据仓库：时间与数据流在ETL中的关键

"《时间是本质：科学撰写被引用论文和资助提案的艺术》一书深入探讨了数据仓库（DW）和提取、转换、加载（ETL）过程中的时间管理和优化。该书分为两个主要主线：规划与设计和数据流。在规划与设计部分，作者强调了需求分析、架构设计以及确保数据仓库任务高效执行的重要性，其中重点关注数据结构的规划和设计标准，包括是否汇总数据、设计集结区域，以及如何在整个ETL系统中建立有效的数据结构。 数据流部分详述了抽取阶段，涉及逻辑数据映射、整合异构数据源的过程，如主机数据、平面文件、XML数据、Web日志和ERP系统数据等。作者讨论了抽取变化数据的策略，并对清洗和规范化进行了细致的阐述，包括数据质量定义、清洗目标设定、清洗规则的实施以及规范化报表的设计。维表的提交也是一个关键环节，书中介绍了维度的基础框架、粒度选择，以及不同类型的维度（如扁平维度、雪花维度、日期时间维、大维度和小维度，以及不同类型缓慢变化维的处理方法）。 书中特别关注时间因素，指出在ETL过程中，吞吐量和时间效率是首要考虑的因素，特别是在数据迁移阶段，如决定采用推（源系统主动推送）还是拉（ETL服务器主动抽取）方式时。由于操作型业务系统的限制，通常在夜间批处理完成后才会准备数据，因此合理安排数据传输时间至关重要，以避免数据不完整或错误。 此外，作者还提到了在推和拉之间权衡的灵活性，以及如何通过嵌入FTP步骤在主系统批处理中实现推送，以减少潜在问题。这本书为读者提供了关于如何科学规划ETL流程，优化数据流，以及在实际操作中处理时间敏感问题的实用指导，适用于BI专业人员和希望提升数据仓库效能的读者。"