淘宝数据仓库:Oracle RAC的应用与演进

需积分: 10 32 下载量 65 浏览量 更新于2024-08-01 收藏 1.26MB PDF 举报
“淘宝基于Oracle RAC的数据仓库系统” 淘宝网,作为中国领先的个人交易在线平台,其背后的数据仓库系统是支撑业务运营的重要基础设施。淘宝的数据仓库经历了从单机到多节点RAC环境的演变,以满足日益增长的业务需求和数据处理能力。淘宝在2004年开始构建数据仓库,最初采用单机DELL6650,随着业务发展,逐步升级至IBM-P550的4节点RAC环境,并在后续扩展到12节点,目前计划进一步扩展到20节点。 在选择数据仓库解决方案时,淘宝面临了多个选项,如Teradata和Oracle RAC。最终,淘宝选择了Oracle RAC,主要基于以下考虑:Oracle RAC系统的开放性、淘宝团队对Oracle技术的熟悉程度、在实际测试中的优秀表现以及线性扩展能力和成本效益。Oracle RAC虽然对技术要求较高,需要DBA进行深入优化,但其开放性、扩展性和成本优势使其成为更适合淘宝的选择。 目前,淘宝的数据仓库架构包括一个4节点的RAC环境作为ODS层,进行数据抽取、转换和加载(ETL)以及实时同步,以及一个12节点的RAC环境作为计算层,支持分布式计算和Hadoop集成。数据源、ODS、计算和展示层共同构成了一个高效的数据处理体系,服务于内部用户、业务分析、个性化推荐等多个应用场景。 淘宝数据仓库的应用场景广泛,包括Web服务器交互、内部系统、商业分析以及数据仓库驱动的个性化推荐功能,如“淘我喜欢”和“猜你喜欢”。通过12节点的RAC环境,淘宝能够处理大量数据并提供实时分析,满足用户和业务的实时需求。 上线前的测试显示,5台CX3-80服务器,每台配备120块硬盘,揭示了淘宝数据仓库强大的存储和处理能力。随着淘宝数据仓库规模的不断扩大,其在数据处理、业务洞察和用户体验提升方面的贡献也将持续增强。未来,淘宝将继续优化和扩展其基于Oracle RAC的数据仓库系统,以适应更复杂的业务场景和更高的数据处理挑战。