小米Elasticsearch成本治理实践：冷热分层与存储压缩

"周明裕在2024年3月30日的分享中，详细介绍了小米在Elasticsearch服务成本治理方面的实践。小米的Elasticsearch服务涵盖了手机、IOT、互联网、企业IT、汽车和AI等多个领域，拥有数十个集群、成百上千的实例、PB级别的存储空间以及千万级别的QPS。为了降低成本并优化服务，小米实施了数据分层、数据压缩和部署架构优化等策略。" 小米集团Elasticsearch服务现状：小米的Elasticsearch服务广泛应用于各个业务线，具有大规模的实例和数据存储。服务包括手机业务的日志处理、IOT设备的数据分析、互联网服务的搜索需求，以及企业IT、汽车和AI领域的复杂数据处理。 日志场景的成本治理：小米采用了冷热分层架构来管理日志数据。热数据存储在SSD上，以确保高速的读写性能和低延迟；温数据存储在HDD上，保持一定的读取性能；冷数据依然存储在HDD，但访问频率降低，不再加载索引数据以节省内存；冻结数据则存放在HDFS外部存储，作为长期冷备，极少访问。这种架构减少了HDD存储节点的数量，降低了35%的成本。 存储压缩优化：小米探索了不同的压缩算法，如LZ4、Deflate和ZSTD。ZSTD由于其高效压缩和解压缩速度，以及更高的压缩率，成为小米的选择。通过自定义ZstandardDictCompressionMode和修改ES内核支持ZSTDCodec，小米成功地实现了存储空间的进一步优化。 未来展望：小米在Elasticsearch服务成本治理方面还有更多的规划和展望。可能涉及的领域包括持续优化存储效率、提升查询性能、进一步精简计算资源，以及探索新的数据治理策略来适应不断增长的业务需求和数据量。 总结来说，小米通过智能的数据分层策略和高效的压缩技术，有效地控制了Elasticsearch服务的成本，并提升了整体的系统效率。这些实践对于其他大规模使用Elasticsearch的企业来说，提供了宝贵的参考经验。