Ceph安装配置指南:从零开始部署多节点架构

需积分: 20 9 下载量 34 浏览量 更新于2024-09-09 收藏 260KB PDF 举报
Ceph配置文档是一份详细介绍Ceph分布式存储系统安装和配置的指南,适用于特定版本的源码,适用于Linux用户。Ceph由多个组件组成,包括客户端(client)、监控器(Monitor)、元数据服务器(Mds)和对象存储设备(Osd)。以下是对这些组件的详细配置说明: 1. **整体说明** - Ceph客户端:自内核版本2.6.34起,client功能已被集成到Linux内核,无需单独配置,仅需更新到支持的内核版本。 - **监控器**(Monitor):负责集中式集群管理,状态监控和配置。这些线程相对轻量级,数据存储在本地文件系统。集群中应保证监控器数量为奇数。 - **元数据服务器(Mds)**:作为一致性分布式元数据缓存,所有元数据存储在存储节点上。Mds可以根据负载动态调整,配置文件中的maxmds参数控制活跃线程数量及standby备份。 - **对象存储设备(Osd)**:负责实际的数据和元数据存储,建议至少运行两个osd,其中一个作为备份。Osd作为服务线程,每个osd与本地磁盘交互。 2. **配置步骤** - **非客户端节点配置**: - 下载Ceph源码:从官方站点<http://ceph.newdream.net/download/>获取,以较早版本(如ceph-0.20.tar.gz)开始,以减少依赖库。 - 对于非client节点,进行以下操作: - 安装必要的依赖库(具体依赖取决于所选版本)。 - 构建和安装Ceph源码包,包括Monitor、Mds和Osd组件。 - 配置文件设置:根据集群规模调整Mds的数量,确保maxmds参数合理,配置osd的备份策略和文件系统类型(推荐使用BTRFS,但也可用ext3等)。 - 启动服务,并监控集群状态,根据需要调整和优化性能。 总结来说,这份文档旨在帮助读者了解Ceph的基本架构和配置流程,适合有一定Linux基础的用户参考。通过遵循文档中的步骤,用户可以在特定版本的Ceph环境中部署和维护一个高效、可靠的分布式存储系统。
2015-09-28 上传
简介: 4 一:安装配置环境介绍 5 1:系统版本: 5 2:内核版本: 5 3:ceph版本: 5 4:ceph-deploy版本: 5 4:网络拓扑图 6 5:设备位置图 6 6:服务器配置信息及运行服务统计 7 二:系统软件基础包初始化: 10 1:安装 EPEL 软件源: 10 2:常用软件包、常用工具等(非必须、推荐安装) 10 三:集群主机系统初始化准备 10 1:规范系统主机名; 11 2:添加hosts文件实现集群主机名与主机名之间相互能够解析 11 3:每台 ssh-copy-id 完成这些服务器之间免ssh密码登录; 11 4:关闭防火墙或者开放 6789/6800~6900端口、关闭SELINUX; 11 5:关闭防火墙及开机启动 12 5:配置ntp服务,保证集群服务器时间统一; 12 6:系统优化类 12 四:集群优化配置 12 1:优化前提 12 2: 开启VT和HT 13 3:关闭CPU节能 13 4:关闭NUMA 13 5:网络优化 15 6:修改read_ahead 15 7:关闭swap 16 8:调整Kernel pid max 16 9:修改I/O Scheduler 16 五:安装部署主机(ceph-deploy)安装环境准备 17 1:建立主机列表 17 2:为所有集群主机创建一个 ceph 工作目录 17 3:同步hosts文件 17 4:测试主机名解析 17 5:ceph-deploy安装配置 18 六:创建mon 节点 18 1:安装部署集群软件包: 18 2:在安装部署节使用ceph-deploy创建,生成MON信息: 18 3:添加初始monitor节点和收集秘钥 18 4:验证集群mon节点安装成功 19 七:安装集群osd服务 19 1:查看一下 Ceph 存储节点的硬盘情况: 19 2:批量格式化磁盘 20 3:执行osd初始化命令 21 4:验证日志写入位置在ssd 硬盘分区成功 22 5:验证osd启动状态 22 6:PGs per OSD (2 < min 30)报错解决: 23 7:官方推荐pg计算公式 24 八:添加元数据服务器 24 1:添加元数据服务器 24 2:验证mds服务 24 3:删除mds节点 26 4:同步集群配置文件 26 九:crush 规则配置 26 1:ceph crush规则介绍 26 2:集群crush规则配置 27 3:修改crushmap信息 28 十:集群配置清理 29 1:清理软件包 29 2:卸载之前挂载的osd磁盘 29 3:将写入分区表的分区挂载 29 4:查看一下状态,仅剩余系统盘 30 5:清理残余key文件和残余目录 30 6:新建安装目录 30 7:重新部署集群 30 十一:集群配置参数优化 30 1:配置参数优化 30 2:同步集群配置文件 49 十二:ceph集群启动、重启、停止 49 1:ceph 命令的选项 49 2:启动所有守护进程 50 3:启动单一实例 50 十三:维护常用命令 50 1:检查集群健康状况 50 1:检查集群健康状况 50 2:检查集群的使用情况 51 3:检查集群状态 51 4:检查MONITOR状态 52 5:检查 MDS 状态: 52 十四:集群命令详解 52 1:mon 相关 52 2: msd 相关 53 4:ceph auth 相关 54 5:osd 相关 54 6:pool 相关 56 7:rados命令相关 57 8:PG 相关 59 9: rbd命令相关 61 十五:ceph 日志和调试设置 63 1:配置文件修改 63 2:在线修改日志输出级别 63 3:修改集群子系统,日志和调试设置 64 4:日志输出级别默认值 65