58大数据平台:Elasticsearch应用与集群优化实战
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
《Elasticsearch应用及平台建设实践》是一份由58大数据平台的分享人于伯伟在直播中分享的内容,针对58同城、赶集网等多家公司内部的Elasticsearch应用进行了深入探讨和实践经验分享。该文档涵盖了数据库部门的详细介绍,其业务范围广泛,包括使用多种数据库技术如MySQL、Redis、MongoDB等,服务规模庞大,每天处理海量请求。 Elasticsearch作为分布式搜索和分析引擎,是58的核心应用场景之一,主要应用于数据搜索服务、大规模数据实时OLAP(在线分析处理)等方面。在58的日常运营中,Elasticsearch被用于处理日志流水、用户标签画像、数据库二级缓存、安全风控数据、图数据库索引以及监控数据等多个关键领域。 文档重点讨论了集群优化治理的问题,由于业务增长迅速、场景复杂且存在版本过低、应用混合部署、缺乏有效监控等诸多挑战,集群面临的问题包括索引性能下降(如索引变红、写入速度慢、查询超时)、内存使用过多(OOM)以及Master节点故障等。针对这些问题,提出了一系列优化措施: 1. 索引治理:关注索引的生命周期管理,确保合理的分片数量,避免单分片过大或索引过大导致的性能问题;同时,实行规范化管理,控制索引接入流程,明确责任归属。 2. 写入性能优化:评估写入需求,确定是否所有信息都需写入,调整分片数量和副本设置,优化Translog刷新策略以提高性能。 3. 日志类应用开发规范:强调提供容量和吞吐量预估,确保Logstash处理能力不过度受限。 4. 硬件资源利用:关注硬件IO性能,选择合适的磁盘配置,并考虑多集群共享服务器节点的合理分配。 通过这些优化实践,58大数据平台致力于提升Elasticsearch的稳定性、可扩展性和效率,为支撑业务发展提供了坚实的基础。文档最后还提及了后续的平台化建设规划,旨在构建一个一站式的数据库基础服务平台,以更系统化的方式进行管理和运维。
![](https://csdnimg.cn/release/download_crawler_static/84998627/bg6.jpg)
![](https://csdnimg.cn/release/download_crawler_static/84998627/bg7.jpg)
剩余32页未读,继续阅读
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/1bb767fabf5a4071ba4a6158fff1f94b_wenyusuran.jpg!1)
- 粉丝: 12w+
- 资源: 9195
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- 多模态联合稀疏表示在视频目标跟踪中的应用
- Kubernetes资源管控与Gardener开源软件实践解析
- MPI集群监控与负载平衡策略
- 自动化PHP安全漏洞检测:静态代码分析与数据流方法
- 青苔数据CEO程永:技术生态与阿里云开放创新
- 制造业转型: HyperX引领企业上云策略
- 赵维五分享:航空工业电子采购上云实战与运维策略
- 单片机控制的LED点阵显示屏设计及其实现
- 驻云科技李俊涛:AI驱动的云上服务新趋势与挑战
- 6LoWPAN物联网边界路由器:设计与实现
- 猩便利工程师仲小玉:Terraform云资源管理最佳实践与团队协作
- 类差分度改进的互信息特征选择提升文本分类性能
- VERITAS与阿里云合作的混合云转型与数据保护方案
- 云制造中的生产线仿真模型设计与虚拟化研究
- 汪洋在PostgresChina2018分享:高可用 PostgreSQL 工具与架构设计
- 2018 PostgresChina大会:阿里云时空引擎Ganos在PostgreSQL中的创新应用与多模型存储
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)