Ceph RADOS详解：计算PG ID与对象存储原理

本文档深入介绍了Ceph的分布式存储系统RADOS（Reliable, Autonomous, Distributed Object Store）及其关键组成部分。由京东虚拟化总监何雨撰写，主要内容涵盖了Ceph集群的基本架构和数据分布管理。 首先，Ceph系统由两大部分构成：一个由大量动态可扩展的Object Storage Devices (OSDs) 构成的存储集群，负责持久化存储对象数据；另一部分是小型、强耦合的Monitor集群，它们维护着至关重要的ClusterMap。ClusterMap是整个RADOS系统的核心数据结构，它记录了集群成员信息、数据分布策略以及元数据，包括MonitorMap（监控器的信息）、OSDMap（存储池、副本数量、分片组数和OSD状态）、PGMap（描述每个Placement Group的详细信息，如ID、状态和数据使用情况）、CRUSHMap（存储设备的故障域层次结构和数据布局规则）以及MDSMap（元数据服务器的状态和配置）。 用户在Ceph系统中进行操作时，通过客户端向集群提交请求。例如，当用户指定一个pool（如'liverpool'）和对象ID（如'john'），这些信息会被CRUSH算法处理。CRUSH算法会根据对象ID进行哈希，并基于预设的OSD数量进行取模运算，得到 Placement Group (PG) 的ID。对于预命名的pool，CRUSH还会考虑pool ID与PG ID之间的关联性，确保数据均匀分布。 数据在Ceph中的存放遵循CRUSH算法的规则，该算法决定了数据如何在OSDs上进行冗余存储，以实现高可用性和容错性。具体过程涉及对存储设备的故障域（如device、host、rack等）的划分，以及在存储数据时按照规则在这些层次中进行遍历和分配。 在管理方面，MDSMap记录了元数据的版本信息、存储元数据的池以及哪些元数据服务器是活动且可用的。通过不断更新Epoch来保持数据的一致性，确保信息的实时同步。 本文详细解释了Ceph RADOS的底层设计原理，从用户交互到数据分布，再到系统管理，全面展示了这个分布式存储解决方案的强大和复杂性。这对于理解Ceph如何实现高效、可靠的数据存储和管理至关重要。