小米Elasticsearch成本治理实践:冷热分层与存储压缩
需积分: 0 66 浏览量
更新于2024-06-14
1
收藏 1.62MB PDF 举报
"周明裕在2024年3月30日的分享中,详细介绍了小米在Elasticsearch服务成本治理方面的实践。小米的Elasticsearch服务涵盖了手机、IOT、互联网、企业IT、汽车和AI等多个领域,拥有数十个集群、成百上千的实例、PB级别的存储空间以及千万级别的QPS。为了降低成本并优化服务,小米实施了数据分层、数据压缩和部署架构优化等策略。"
小米集团Elasticsearch服务现状:小米的Elasticsearch服务广泛应用于各个业务线,具有大规模的实例和数据存储。服务包括手机业务的日志处理、IOT设备的数据分析、互联网服务的搜索需求,以及企业IT、汽车和AI领域的复杂数据处理。
日志场景的成本治理:小米采用了冷热分层架构来管理日志数据。热数据存储在SSD上,以确保高速的读写性能和低延迟;温数据存储在HDD上,保持一定的读取性能;冷数据依然存储在HDD,但访问频率降低,不再加载索引数据以节省内存;冻结数据则存放在HDFS外部存储,作为长期冷备,极少访问。这种架构减少了HDD存储节点的数量,降低了35%的成本。
存储压缩优化:小米探索了不同的压缩算法,如LZ4、Deflate和ZSTD。ZSTD由于其高效压缩和解压缩速度,以及更高的压缩率,成为小米的选择。通过自定义ZstandardDictCompressionMode和修改ES内核支持ZSTDCodec,小米成功地实现了存储空间的进一步优化。
未来展望:小米在Elasticsearch服务成本治理方面还有更多的规划和展望。可能涉及的领域包括持续优化存储效率、提升查询性能、进一步精简计算资源,以及探索新的数据治理策略来适应不断增长的业务需求和数据量。
总结来说,小米通过智能的数据分层策略和高效的压缩技术,有效地控制了Elasticsearch服务的成本,并提升了整体的系统效率。这些实践对于其他大规模使用Elasticsearch的企业来说,提供了宝贵的参考经验。
2023-07-15 上传
2023-04-04 上传
2023-04-04 上传
2023-06-07 上传
2023-07-13 上传
2023-06-07 上传
2023-06-13 上传
![](https://profile-avatar.csdnimg.cn/bcd6692d51414af2a8c1900c9d344d46_ubuntutouch.jpg!1)
![](https://csdnimg.cn/release/wenkucmsfe/public/img/user-vip.1c89f3c5.png)
Elastic中国社区官方博客
- 粉丝: 4w+
- 资源: 57
最新资源
- Lombok 快速入门与注解详解
- SpringSecurity实战:声明式安全控制框架解析
- XML基础教程:从数据传输到存储解析
- Matlab实现图像空间平移与镜像变换示例
- Python流程控制与运算符详解
- Python基础:类型转换与循环语句
- 辰科CD-6024-4控制器说明书:LED亮度调节与触发功能解析
- AE particular插件全面解析:英汉对照与关键参数
- Shell脚本实践:创建tar包、字符串累加与简易运算器
- TMS320F28335:浮点处理器与ADC详解
- 互联网基础与结构解析:从ARPANET到多层次ISP
- Redhat系统中构建与Windows共享的Samba服务器实战
- microPython编程指南:从入门到实践
- 数据结构实验:顺序构建并遍历链表
- NVIDIA TX2系统安装与恢复指南
- C语言实现贪吃蛇游戏基础代码