淘宝大数据平台构建：软件基础设施与开源技术

"淘宝软件基础设施构建实践，章文嵩在2011年第三届中国云计算大会上分享了淘宝如何利用大数据平台应对大规模与快速增长的挑战，构建高效、可靠且可扩展的软件基础设施。" 在《淘宝软件基础设施构建实践》的演讲中，章文嵩详细介绍了淘宝在面对巨大业务增长和不断变化的技术需求时，如何构建和维护其基础设施。作为全球排名前列的电商平台，淘宝拥有约20000台生产服务器，系统需具备应对突发流量增长的能力。在未来的十年规划中，淘宝致力于发展成为提供电子商务基础设施服务的领导者，创建一个强大的电子商务生态系统。这一目标要求技术成为核心竞争力，以支持业务每年超过100%的增长速度，并预期在未来十年内实现百倍的规模扩张。 演讲中提出了软件基础设施面临的多重挑战，包括建设与维护基础平台、满足用户应用的高要求、追求低成本、高性能、可维护性，以及实现低碳、绿色环保、快速访问速度、99.999%的高可用性和高可扩展性。为了应对这些挑战，淘宝采取了一系列创新措施。 在具体案例部分，章文嵩分享了图片存储与CDN系统的设计。图片存储系统通过全局负载均衡、多层缓存（L1和L2）以及应用存储集群来提高效率。存储容量从最初的40TB扩展到80TB，再到约2000TB的使用量，展示了系统的强大扩展性。此外，采用了如NetApp FAS980C和NearStore R200等高级存储设备，结合SnapShot、SnapVault和SnapMirror等技术，确保数据的安全性和高可用性，同时实现远程数据冗灾。 淘宝还建立了一个开源平台，这不仅有助于内部技术的共享与迭代，也促进了整个行业的技术交流与进步。通过开源项目，淘宝能够利用社区的智慧优化软件基础设施，同时推动技术标准的建立和提升。 淘宝的软件基础设施构建实践展示了在大数据时代，如何通过结合开源技术与自主技术创新，构建出能够支撑大规模业务、应对快速增长并保证高可用性的基础设施。这一实践对于其他大型互联网企业和寻求技术转型的传统企业具有重要的参考价值。