HBase 0.96发展:阿里实践与国内外应用案例

需积分: 0 0 下载量 56 浏览量 更新于2024-07-25 收藏 1.1MB PDF 举报
"《HBase近期的发展及实践》是一份关于HBase技术的深度报告,由沈春辉在2013年4月的DTCC2013会议上分享。HBase作为一款重要的分布式存储系统,其核心特性包括高可靠性、高性能、面向列式存储、可扩展性、实时读写能力以及对结构化和非结构化数据的兼容处理。HBase起源于2007年,经历了多个关键版本的发展,如早期的HBASE-287,到Facebook基于的0.89版本,再到阿里基于的0.90.2版本,以及后续的0.92、0.94和0.95版本,其中0.96是当时的一个预发版,引入了protobuf、TableSnapshot和PrefixTreeCompression等功能。 在阿里巴巴的应用实践上,自2011年3月开始研究并于同年5月上线首个应用以来,阿里巴巴采用的是基于0.94版本的定制化HBase,其稳定性已经达到了生产环境的标准,支撑了近百个业务场景,这些业务的特点多样,显示了HBase在实际业务中的广泛应用。 国内外众多知名企业也选择HBase作为其数据存储解决方案,包括Cloudera、Hortonworks等提供Hadoop生态系统服务的公司,Facebook、Yahoo、eBay等大型互联网公司,以及科技巨头如Intel和IBM,以及中国的企业如阿里巴巴、华为、小米和360等。这反映出HBase在全球范围内正在得到广泛的认可和深入的部署,成为大数据处理领域不可或缺的一部分。 报告中还强调了HBase在处理复杂查询时的优势,尽管它不支持SQL、事务、Join、多维索引等高级特性,但通过灵活的数据模型和设计,可以应对许多实际场景中的高效数据操作。这份报告深入剖析了HBase的技术发展路径、阿里巴巴的实践经验以及其在全球市场上的广泛应用,对于理解HBase在现代IT行业的地位和作用具有重要意义。"

org.apache.hadoop.hbase.DoNotRetryIOException: Unable to load configured region split policy 'org.apache.phoenix.schema.MetaDataSplitPolicy' for table 'SYSTEM.CATALOG' Set hbase.table.sanity.checks to false at conf or table descriptor if you want to bypass sanity checks at org.apache.hadoop.hbase.util.TableDescriptorChecker.warnOrThrowExceptionForFailure(TableDescriptorChecker.java:296) at org.apache.hadoop.hbase.util.TableDescriptorChecker.sanityCheck(TableDescriptorChecker.java:109) at org.apache.hadoop.hbase.master.HMaster.createTable(HMaster.java:2025) at org.apache.hadoop.hbase.master.MasterRpcServices.createTable(MasterRpcServices.java:657) at org.apache.hadoop.hbase.shaded.protobuf.generated.MasterProtos$MasterService$2.callBlockingMethod(MasterProtos.java) at org.apache.hadoop.hbase.ipc.RpcServer.call(RpcServer.java:413) at org.apache.hadoop.hbase.ipc.CallRunner.run(CallRunner.java:133) at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:338) at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:318) org.apache.hadoop.hbase.DoNotRetryIOException: Unable to load configured region split policy 'org.apache.phoenix.schema.MetaDataSplitPolicy' for table 'SYSTEM.CATALOG' Set hbase.table.sanity.checks to false at conf or table descriptor if you want to bypass sanity checks at org.apache.hadoop.hbase.util.TableDescriptorChecker.warnOrThrowExceptionForFailure(TableDescriptorChecker.java:296) at org.apache.hadoop.hbase.util.TableDescriptorChecker.sanityCheck(TableDescriptorChecker.java:109) at org.apache.hadoop.hbase.master.HMaster.createTable(HMaster.java:2025) at org.apache.hadoop.hbase.master.MasterRpcServices.createTable(MasterRpcServices.java:657) at org.apache.hadoop.hbase.shaded.protobuf.generated.MasterProtos$MasterService$2.callBlockingMethod(MasterProtos.java) at org.apache.hadoop.hbase.ipc.RpcServer.call(RpcServer.java:413) at org.apache.hadoop.hbase.ipc.CallRunner.run(CallRunner.java:133) at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:338) at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:318)

2023-07-14 上传