阿里HBase:八年发展历程与云上新篇章
《藏经阁 - HBaseCon Asia 2018:八年磨一剑,HBase在阿里巴巴和云上新征程》是一篇演讲稿,由Chunhui Shen 和 Long Cao 在2018年8月17日的会议上分享。该演讲详细回顾了阿里巴巴如何选择并采用HBase技术,以及在八年的时间里HBase在阿里巴巴内部的发展和在云计算环境中的新旅程。 演讲首先介绍了阿里巴巴HBase的历史背景。自2010年开始,阿里巴巴出于对大数据存储的需求,特别是因为活跃的社区支持、Hadoop生态系统以及Facebook的成功案例(包括Google的著名论文《BigTable》),选择了HBase作为主要的大数据存储系统。阿里巴巴最初使用的是HBase 0.20版本,随着时间的推移,逐步升级到了2.0版本,应用场景广泛,包括早期的搜索引擎索引(如SearchStore)、淘宝历史订单处理和支付宝风险管理系统。 在演讲中,作者着重讨论了HBase在阿里巴巴遇到的关键挑战与改进。这些挑战包括全局缓存问题(GCTrouble)、计算与存储的分离、冷热数据管理、诊断系统的优化,以及迁移和备份策略的升级。为了应对这些挑战,阿里巴巴开发了定制化的HBase分支(AliHB),旨在提高性能,如通过高性能的数据结构设计、无锁操作和批量IO来提升处理能力;同时引入了SQL支持、二级索引、多租户模式以及冷热数据的分离机制,以满足不同业务场景的需求。 此外,演讲还探讨了HBase生态系统在阿里巴巴的扩展,涵盖了多种数据模型,如键值存储(KV)、表格型数据、SQL查询支持、图数据库、时间序列数据、地理空间数据、搜索功能以及混合工作负载的处理。随着云计算的发展,HBase在阿里云上实现了更广泛的部署和云化服务,支持分布式数据库和云环境中的多样化需求。 这篇演讲提供了阿里巴巴如何将HBase融入其基础设施,并随着技术发展和业务变化进行迭代和优化的过程,展示了HBase在阿里巴巴及其云业务中的重要角色和持续演进的故事。
![](https://csdnimg.cn/release/download_crawler_static/88254189/bg7.jpg)
剩余34页未读,继续阅读
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)