携程ES跨集群搜索实践:解决大集群痛点的有效方案

需积分: 5 0 下载量 160 浏览量 更新于2024-06-21 收藏 457KB PDF 举报
藏经阁-ES Cross Cluster Search生产实践 本文档主要介绍了携程ES跨集群搜索实践,讨论了大集群痛点、需求、指导思想、架构简介、利弊分析、项目不足和注意点等方面的内容。 **大集群痛点** 在大集群环境中,meta信息太多,导致全量更新压力大,经常超时;单节点过载,影响整个集群的状态更新;master切换时无法响应,集群不能正常工作。 **需求** 为了解决大集群痛点,我们需要对用户透明,满足并发量(5千万/天),不侵入ES,多版本兼容,不影响日后升级。 **指导思想** 我们的指导思想是尽量不造轮子(nginx+cross-cluster-search+ESProxy),满足需求就可以,不需要更加高大上,不做数据处理,只做权限验证+请求转发,结构最好清楚明了,便于日后维护。 **Cross-Cluster Search** Cross-Cluster Search是Elasticsearch的一个功能,可以实现跨集群搜索,解决大集群痛点。Cross-Cluster Search允许用户在多个集群之间进行搜索,提高搜索效率和准确性。 **架构简介** 我们的架构简介包括Proxy配置和Nginx配置一览。Proxy配置主要用于转发请求,Nginx配置一览用于负载均衡和反向代理。 **利弊分析** Cross-Cluster Search的利弊分析表明,解决大集群痛点的同时,也带来了更多可能的隐患,额外的开发和运维成本。 **项目不足** 我们的项目不足在于太多转发,配置偏复杂。 **注意点** 在使用Cross-Cluster Search时,需要注意其中一个集群挂掉,Cross-Cluster Search会不可用,需要ignore_unavailable。 **结论** 本文档介绍了携程ES跨集群搜索实践,讨论了大集群痛点、需求、指导思想、架构简介、利弊分析、项目不足和注意点等方面的内容,为读者提供了一份详细的生产实践报告。