淘宝商品库MySQL优化实践：硬件与技术方案解析

"这篇文档是关于在QCon2011北京会议上，余锋（褚霸）分享的商品库MySQL优化实践。主要讲述了在淘宝的商品数据库系统中，如何进行硬件选择和软件配置，以确保高可用性、高性能和数据安全性。" 在硬件选择方面，他们选择了Dell PowerEdge C2100服务器，该服务器配备2颗物理处理器，每颗有12个核心，总共支持24个虚拟核心，以满足高并发处理需求。内存配置为96GB，确保了大型数据库所需的存储空间。使用LSI MegaSAS 9260 RAID卡，提供了高速的数据存取能力。此外，他们还引入了PCI-E Flash卡Fusion-io ioDrive 320GB/MLC，利用其高速读写性能来提升系统IO性能。存储设备选择了12块300GB的SEAGATE ST3300657SS硬盘，构建出一个高容量且快速响应的存储系统。 软件配置上，操作系统选用的是Red Hat Enterprise Linux Server release 5.4，内核版本为2.6.18-164.el5，文件系统为Ext3，以提供稳定的基础运行环境。同时，他们还使用了Facebook内部版本的Flashcache来进一步优化存储性能。MySQL版本为5.1.48-log，这是为了保证数据库服务的稳定性和兼容性。 技术要求与解决方案中，首要目标是高可用性和安全性，因此采用了MySQL数据库集群，通过数据水平切割实现负载均衡，并配置主从复制以实现备份。他们选择了高性价比的PC服务器，强调大内存和强大CPU，以应对复杂的查询需求。利用高性能PCI-E Flash卡作为缓存，提升了系统的IO性能。在系统设计时，考虑到了容灾和数据安全性，合理分配了内存资源，如MySQL的InnoDB buffer pool、操作系统页缓存，以及应用程序的驱动IO能力。此外，还设置了多种类型的缓存，包括MySQL内部缓存和匿名/文件页缓存，充分利用了Flash卡的优势。 这一实践展示了在面对亿级数据量，高复杂度查询，且访问热键占比高的情况下，如何通过合理的硬件选型和软件配置来优化MySQL数据库的性能和稳定性，为大规模在线交易系统提供了有价值的参考。