Centos 7下搭建与运维CEPH集群实战指南

需积分: 18 25 下载量 126 浏览量 更新于2024-07-17 2 收藏 3.12MB DOCX 举报
本篇文档详细介绍了在Centos 7环境下搭建CEPH集群的全过程,包括实验背景、环境准备、系统安装以及运维测试。首先,CEPH是一个分布式文件系统,旨在提供高可用性和容错性,避免单点故障,支持大规模数据存储和复制。实验使用的是四个最小化安装形态的Linux主机,每个主机都配置了两张网络卡和两块硬盘,以满足集群的需求。 在硬件和软件环境准备阶段,作者设置了公共和私有网络,确保节点间的通信,并设置了root密码和NTP同步机制。为了简化管理,使用了YUM源配置,将ISO文件作为本地源,并通过挂载光驱安装基础包,如网络配置和基础软件包。SSH公钥的生成和分发也在此阶段完成,以实现安全的远程访问。 在CEPH安装部分,首先创建了集群管理目录,然后使用`ceph-deploy`工具安装并初始化monitor节点,这是集群的核心组成部分。配置了`ceph.conf`文件以适应集群需求,并确保所有节点都能自动挂载Ceph。此外,还独立安装了`ceph-mon`和`ceph-osd`组件,以构建完整的存储集群。最后,通过创建monitor实例,完成了整个集群的搭建过程。 整个文档不仅提供了步骤,还强调了每个环节的重要性,对于理解和实践CEPH在Centos 7集群环境中的运维和测试具有很高的参考价值。通过这个文档,读者可以学习如何从零开始搭建一个健壮且可扩展的分布式文件存储系统,提升IT团队的业务连续性和数据安全性。
2015-09-28 上传
简介: 4 一:安装配置环境介绍 5 1:系统版本: 5 2:内核版本: 5 3:ceph版本: 5 4:ceph-deploy版本: 5 4:网络拓扑图 6 5:设备位置图 6 6:服务器配置信息及运行服务统计 7 二:系统软件基础包初始化: 10 1:安装 EPEL 软件源: 10 2:常用软件包、常用工具等(非必须、推荐安装) 10 三:集群主机系统初始化准备 10 1:规范系统主机名; 11 2:添加hosts文件实现集群主机名与主机名之间相互能够解析 11 3:每台 ssh-copy-id 完成这些服务器之间免ssh密码登录; 11 4:关闭防火墙或者开放 6789/6800~6900端口、关闭SELINUX; 11 5:关闭防火墙及开机启动 12 5:配置ntp服务,保证集群服务器时间统一; 12 6:系统优化类 12 四:集群优化配置 12 1:优化前提 12 2: 开启VT和HT 13 3:关闭CPU节能 13 4:关闭NUMA 13 5:网络优化 15 6:修改read_ahead 15 7:关闭swap 16 8:调整Kernel pid max 16 9:修改I/O Scheduler 16 五:安装部署主机(ceph-deploy)安装环境准备 17 1:建立主机列表 17 2:为所有集群主机创建一个 ceph 工作目录 17 3:同步hosts文件 17 4:测试主机名解析 17 5:ceph-deploy安装配置 18 六:创建mon 节点 18 1:安装部署集群软件包: 18 2:在安装部署节使用ceph-deploy创建,生成MON信息: 18 3:添加初始monitor节点和收集秘钥 18 4:验证集群mon节点安装成功 19 七:安装集群osd服务 19 1:查看一下 Ceph 存储节点的硬盘情况: 19 2:批量格式化磁盘 20 3:执行osd初始化命令 21 4:验证日志写入位置在ssd 硬盘分区成功 22 5:验证osd启动状态 22 6:PGs per OSD (2 < min 30)报错解决: 23 7:官方推荐pg计算公式 24 八:添加元数据服务器 24 1:添加元数据服务器 24 2:验证mds服务 24 3:删除mds节点 26 4:同步集群配置文件 26 九:crush 规则配置 26 1:ceph crush规则介绍 26 2:集群crush规则配置 27 3:修改crushmap信息 28 十:集群配置清理 29 1:清理软件包 29 2:卸载之前挂载的osd磁盘 29 3:将写入分区表的分区挂载 29 4:查看一下状态,仅剩余系统盘 30 5:清理残余key文件和残余目录 30 6:新建安装目录 30 7:重新部署集群 30 十一:集群配置参数优化 30 1:配置参数优化 30 2:同步集群配置文件 49 十二:ceph集群启动、重启、停止 49 1:ceph 命令的选项 49 2:启动所有守护进程 50 3:启动单一实例 50 十三:维护常用命令 50 1:检查集群健康状况 50 1:检查集群健康状况 50 2:检查集群的使用情况 51 3:检查集群状态 51 4:检查MONITOR状态 52 5:检查 MDS 状态: 52 十四:集群命令详解 52 1:mon 相关 52 2: msd 相关 53 4:ceph auth 相关 54 5:osd 相关 54 6:pool 相关 56 7:rados命令相关 57 8:PG 相关 59 9: rbd命令相关 61 十五:ceph 日志和调试设置 63 1:配置文件修改 63 2:在线修改日志输出级别 63 3:修改集群子系统,日志和调试设置 64 4:日志输出级别默认值 65