携程分布式存储演进：从Ceph到Octopus的实践分享

"该文件是关于携程旅行网的分布式存储实践，主要聚焦于其采用的Ceph存储架构的演进历程。文中详细介绍了Ceph、FastDFS和Glusterfs这三种分布式存储系统的应用，以及携程在各个阶段的技术升级和面临的问题。" 在携程的分布式存储实践中，Ceph是最为核心的部分，它作为一款开源的统一存储系统，提供了块存储、对象存储和文件存储三种服务。随着携程业务的发展，其Ceph存储架构经历了多个版本的迭代： 1. **早期阶段**（0.94 hammer版本）：采用了8核24GB内存，每节点配置12块3TB硬盘，主要服务于文件存储，如FastDFS用于图片和视频数据，Glusterfs用于业务数据备份。 2. **中期阶段**（10.2.9 jewel版本）：升级硬件至32核64GB内存和12块8TB硬盘，并引入了Bucketshard集群部署和设备Crush类配置，以支持更多的bucketshard个数，提升了系统的可扩展性。 3. **进一步演进**（12.2.10 luminous版本）：增加了2块900GB SSD用于提高性能，引入了devicecrushclass和nginx的Ansible+ceph-deploy部署方式，优化了数据分布和读写效率。 4. **最新阶段**（15.2.14 octopus版本）：选择了更高的硬件规格，如32核64GB内存，12块8TB硬盘和2块1.8TB SSD，采用了bluestore存储引擎，用Beast替代civetweb提升性能，同时利用io_uring技术优化I/O，并计划升级到Kernel 5.10，但因依赖问题暂时未升级到16版本。 在携程的Ceph发展历程中，遇到了一些挑战，比如未选择Rook作为管理工具的原因可能是考虑到Rook在自动bucket重分区方面的不成熟。同时，单个OSD的bluestore数据库占用达到5GB，这是一个需要注意的问题，可能需要进行容量规划和优化。 总结来说，携程的分布式存储实践体现了其对高性能、高可用性和可扩展性的追求。Ceph的不断升级和优化，展示了在大型在线服务环境中应对海量数据存储和处理的需求。同时，携程也尝试了多种分布式存储解决方案，如FastDFS和Glusterfs，以满足不同业务场景下的存储需求。通过这样的技术实践，携程得以支撑其庞大的在线旅游业务，确保数据的安全和高效访问。