京东HBase应用实践：规模、场景与高可用优化

"《HBase在京东的应用》是一篇深入探讨了京东如何在其庞大的IT基础设施中采用HBase这一分布式列式存储系统的文章。该报告主要关注了以下几个关键方面： 1. 规模现状：京东的HBase部署涉及4个数据中心，拥有超过3000台服务器，分布在30多个集群中，其中最大的单集群可达400多台服务器。业务实例数量庞大，涵盖用户量超过1000万，显示出其在京东业务中的广泛应用。 2. 应用业务场景：HBase被广泛应用于京东的多个核心业务领域，包括但不限于： - 商智：支持数据罗盘，处理大量数据（600TB），涉及620多张表，能够支持类SQL查询，并且达到每秒1100万次读写操作（TPS）。 - 推荐系统：服务于首页、商品详情页和购物车等功能，存储量达130TB，有700多张表，确保TP999延迟小于200毫秒，同时处理300万TPS的流量。 - MDC（监控中心）：作为统一监控平台，处理大量的物理机（5.8万个）和容器（近10万个）的数据，服务于约2700万用户，每日增量达到1.6TB。 - 监控大屏：提供实时数据展示和决策支持。 3. 高可用性改进：HBase在京东的应用注重高可用性，通过RSGroup实现了多租户业务的分级管理，包括独立和共享模式；引入差异化配置管理，支持移动分组滚动重启和资源弹性调度；同时，还进行了成本核算。在安全方面，京东采用了Hadoop集群安全措施，包括Hadoop版本定制、白名单、黑名单策略以及HBase权限管理，通过SASL+IP和InstanceID+AccessKey实现认证和授权。 4. 复制功能优化：报告列举了多个HBase相关问题的改进，如批量加载HFile复制、基本复制Web界面的增强、基于命名空间的复制配置等，以及对复制表列族类型进行优化，提高数据一致性。 总结来说，京东对HBase的使用深度和广度都显示出其在大数据处理和实时分析中的核心地位，不断的技术改进和优化确保了系统的稳定性和性能，满足了京东复杂业务场景的需求。"