淘宝数据仓库：发展历程与技术选择

"该文主要介绍了淘宝数据仓库的构建、发展历程和应用场景，强调了选择Oracle RAC作为核心技术的原因以及其优缺点。" 淘宝数据仓库是一个庞大而复杂的系统，旨在处理和分析海量的在线交易数据，服务于淘宝网的各种业务需求。自2003年成立以来，淘宝网已经从最初的单机环境逐步发展到多节点的分布式数据仓库环境。在2004年至2008年间，淘宝数据仓库经历了从DELL6650单机到12节点RAC集群的演进，并计划进一步扩展到20节点，以满足日益增长的数据处理需求。 在选择数据仓库技术时，淘宝面临着Teradata和Oracle RAC两个选项。最终，淘宝选择了Oracle RAC，主要原因包括：Oracle RAC在技术上的成熟度，能够快速响应日常需求，开放性更好，具有良好的可扩展性和对外接口，且成本相对较低。尽管Oracle RAC对技术要求较高，需要DBA进行深度优化，但其优势在于能够实现线性扩展，且成本优于Teradata。 目前，淘宝数据仓库采用的是一个包含4节点和12节点Oracle RAC集群的架构，其中ODS层用于数据抽取、转换和加载（ETL），并实现实时同步。数据经过处理后，存储在计算层，利用分布式计算平台如Hadoop进行复杂计算，然后提供给各种应用场景，包括Web服务器、内部用户、业务分析、数据仓库、个性化推荐等。 具体应用案例中，例如“淘我喜欢”和“猜你喜欢”功能，这些都依赖于数据仓库的强大分析能力，通过用户的购物行为数据，为用户提供个性化的商品推荐。此外，内部系统也大量使用数据仓库进行决策支持和业务洞察。 淘宝数据仓库12节点的物理拓扑设计保证了高可用性和负载均衡，每台机器的配置（如CX3-80，每台120块硬盘）确保了足够的存储和处理能力。在上线前的测试中，这种架构展现了良好的性能和稳定性。 淘宝数据仓库是一个基于Oracle RAC的高效、可扩展的系统，它不仅处理着海量的交易数据，还通过智能算法为用户提供个性化的服务，体现了数据仓库在电商领域的重要作用和价值。