去哪儿网Ops打造Elasticsearch容器化私有云：基于Mesos与Docker

"去哪儿网OPS团队利用Mesos和Docker构建了一套Elasticsearch的容器化私有云平台，旨在解决传统ES使用中的弊端，提高资源利用率和工作效率。平台设计目标包括自动化部署、弹性扩展、成本优化及高效监控。平台上线后，资源利用率显著提升，并支持多个重要系统的数据存储。技术实现上，平台借鉴了ElasticCloud和Amazon Elasticsearch Service的特性，但最终选择了基于Mesos和Docker的自定义方案，通过Marathon进行任务调度。" 1. 背景与问题 在2015年底至2016年初，去哪儿网面临公司业务线对Elasticsearch（ES）需求的急剧增长，传统部署方式暴露出诸如手动运维繁琐、资源浪费、扩展性差等问题。为解决这些问题，OPS团队设定了以下目标：自动化部署、弹性伸缩、提高资源利用率以及实现全面的监控和报警。 2. 解决方案 团队设计并实施了一个基于Mesos资源管理和Docker容器技术的Elasticsearch私有云平台。该平台旨在满足设计目标，通过容器化实现快速部署和扩展，同时降低成本。平台上线后，数据显示资源利用率有显著提升。 3. 技术架构 平台的核心是Mesos，它统一管理底层的服务器资源。Marathon作为Mesos上的调度框架，负责调度以Docker容器形式运行的所有组件。采用双层Marathon架构，即Root Marathon和上层的Marathon，以实现更灵活的管理。在调研了ElasticCloud、Amazon Elasticsearch Service以及基于Mesos的开源框架后，团队定制了自己的技术方案，支持多角色节点配置、自助化设置和插件安装。 4. 应用规模与效益 该平台的规模已经相当可观，支撑着包括重要系统在内的多个后端数据存储需求。平台的实施带来了工作效率的显著提高，资源利用率得到显著提升，减少了运维负担。 5. 持续构建与监控 除了基础架构的构建，团队还关注持续构建流程和监控报警体系。他们分享了如何实现高效的持续集成和构建流程，以及如何建立全面的监控系统，确保平台稳定运行并及时响应异常情况。 总结，去哪儿网OPS团队通过创新性地将Mesos和Docker应用于Elasticsearch私有云，成功地解决了传统部署方式的痛点，实现了自动化、弹性、效率和监控的全面提升，为公司的业务发展提供了强大的数据存储和检索支持。