"HBase2.0在360的技术改进与应用实践" 在360公司,HBase作为核心的数据存储系统,承担着关键业务的支持角色。从描述中可以看出,360拥有大规模的HBase集群,总计27个,包括9个在线集群和3个综合集群,总计12500个节点,单个集群的最大RegionServer数量达到2184个。这表明HBase在360的部署规模非常庞大,服务的业务涵盖了搜索、安全、金融和IoT等多个领域。 针对不同的业务需求,360将HBase的应用场景分为三类: 1. **在线业务**:这类业务对响应时间有高要求,通常涉及实时数据存取。它们被部署在配置较高的在线集群上,以保证服务质量,并避免运行可能影响性能的计算作业。 2. **离线业务**:这类业务主要处理大量定期写入的数据,适合周期性离线分析和备份。离线集群配置大硬盘,但CPU和内存配置较低,使用自研的MR作业来支持大数据量的读写和分析。 3. **综合业务**:介于在线和离线之间,对磁盘容量和响应时间有一定需求但不极端敏感,例如监控、缓存和报表等。这类业务部署在综合集群,允许在线读写和离线分析,但也可能导致资源竞争和相互影响。 在功能和改进方面,360在HBase0.89-Facebook版本上实现了二级索引,以增强查询能力。HBase的基础查询方式包括get和scan,get操作速度快,但仅支持基于RowKey的查询。通过二级索引,360扩展了查询的灵活性,使得用户可以根据非RowKey的列进行查询,增强了HBase在复杂查询场景下的适用性。 此外,尽管未在描述中详细说明,但可以推测360可能还进行了其他优化,如性能调优、容错机制的增强、数据分布策略的改进等,以应对大规模数据和高并发请求的挑战。HBase的高可用性、水平扩展性和强大的实时大数据处理能力,使其成为360处理海量数据的关键技术之一。通过持续的技术改进和实践经验,360成功地利用HBase支撑了其多元化的业务需求。
下载后可阅读完整内容,剩余4页未读,立即下载
- 粉丝: 4
- 资源: 924
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 十种常见电感线圈电感量计算公式详解
- 军用车辆:CAN总线的集成与优势
- CAN总线在汽车智能换档系统中的作用与实现
- CAN总线数据超载问题及解决策略
- 汽车车身系统CAN总线设计与应用
- SAP企业需求深度剖析:财务会计与供应链的关键流程与改进策略
- CAN总线在发动机电控系统中的通信设计实践
- Spring与iBATIS整合:快速开发与比较分析
- CAN总线驱动的整车管理系统硬件设计详解
- CAN总线通讯智能节点设计与实现
- DSP实现电动汽车CAN总线通讯技术
- CAN协议网关设计:自动位速率检测与互连
- Xcode免证书调试iPad程序开发指南
- 分布式数据库查询优化算法探讨
- Win7安装VC++6.0完全指南:解决兼容性与Office冲突
- MFC实现学生信息管理系统:登录与数据库操作