小米电商MongoDB分片集群配置与维护详解(v1.0.1)

5星 · 超过95%的资源 需积分: 9 34 下载量 86 浏览量 更新于2024-07-27 2 收藏 415KB PDF 举报
本文档详细介绍了小米电商Mongodb集群的搭建和配置过程,适用于v1.0.1版本。MongoDB分片集群(sharding cluster)是将大型数据库分散到多个物理服务器上,以提高性能和可扩展性的一种策略。以下是关键知识点: 1. 变更记录: - 初始版本由袁立强在2012年9月8日编写,主要针对小米电商DBA组,后续在9月12日根据运维建议进行了更新。 2. 硬件配置: - 集群节点采用2颗CPU,每颗8核心,共16个进程,通过numactl优化多核资源分配。 - 内存充足,64GB,通过`/etc/security/limits.conf`进行内存限制,避免多实例间的内存竞争。 - 硬盘规划: - 数据文件存储在RAID5的4.2TB磁盘上,以节省空间并提供数据冗余。 - journal local moveChunk目录为了保证性能,放在系统盘上的RAID1+0,大小为300GB,但文件操作频繁,数据增长不大。 3. 系统设置: - 操作系统选用的是CentOS 6.0,版本号为2.6.32-220.el6.x86_64,确保系统的稳定性和兼容性。 4. 安装与配置流程: - 创建特定的mongodb用户。 - 安装必要的软件,如yum支持包、MongoDB本身、V8引擎和GYP等。 - 设置Mongodb目录结构,包括主程序目录、数据目录、日志文件和集群中间目录。 - 配置步骤包括创建安装目录、配置mongod服务、配置mongos(分片路由器)、测试分片功能和V8引擎。 - 还有详细的安装和配置步骤,如在`/etc/hosts`中添加主机名、配置文件的修改和测试等。 5. 维护与注意事项: - 提供了维护命令,可能涉及监控、备份和故障恢复等方面。 - 附录中包含op同学提供的iptables脚本,用于网络安全,以及一个测试脚本(test.js),用于验证集群配置。 6. 附件: - 除了上述内容,文档还提供了iptables脚本和一个测试用例(test.js),用于辅助管理和测试集群。 总结起来,这份文档是一个全面的指南,涵盖了从基础配置到高级管理的各个方面,对于小米电商在实际运营中的MongoDB集群管理具有很高的参考价值。