HBase官方文档中文版:分布式数据库详解

5星 · 超过95%的资源 需积分: 13 4 下载量 152 浏览量 更新于2024-07-27 收藏 1.69MB PDF 举报
HBase 官方文档.pdf 高清版 HBase 是一个分布式、版本化(versioned)、构建在 Apache Hadoop 和 Apache ZooKeeper 之上的列数据库。下面是 HBase 官方文档中的重要知识点: **入门** * 介绍:HBase 是一个开源的、分布式的、面向列的数据库管理系统,提供了高性能、可扩展、可靠的数据存储解决方案。 * 快速开始:本章节将指导用户快速开始使用 HBase,包括安装、配置和基本操作。 **配置** * Java 配置:HBase 需要 Java 1.6 或更高版本,用户需要配置 Java 环境变量。 * 操作系统配置:HBase 可以在多种操作系统上运行,包括 Linux、Windows 和 Mac OS X。 * Hadoop 配置:HBase 需要 Hadoop 环境,用户需要配置 Hadoop 集群。 * HBase 运行模式:HBase 可以在单机模式或分布式模式下运行,用户需要根据需要选择合适的模式。 * ZooKeeper 配置:HBase 需要 ZooKeeper 集群,用于管理分布式锁和配置信息。 * 配置文件:HBase 的配置文件是 hbase-site.xml,用户需要根据需要配置相应的参数。 * 配置示例:本章节提供了多种配置示例,帮助用户快速配置 HBase。 * 重要配置:本章节介绍了 HBase 的一些重要配置参数,例如 region 服务器、数据块大小等。 * BloomFilter:BloomFilter 是一种快速查找算法,HBase 使用 BloomFilter 来加速数据查找。 **升级** * 从 HBase 0.20.x 或 0.89.x 升级到 HBase 0.90.x:本章节指导用户如何从低版本升级到 HBase 0.90.x。 * 从 0.90.x 到 0.92.x:本章节指导用户如何从 HBase 0.90.x 升级到 0.92.x。 **HBase Shell** * 使用脚本:HBase Shell 提供了多种脚本命令,帮助用户快速操作 HBase。 * Shell 技巧:本章节介绍了 HBase Shell 的一些高级技巧,例如如何使用常用命令、如何编写 Shell脚本等。 **数据模型** * 概念视图:HBase 的数据模型基于概念视图,提供了行、列族、列和单元格等概念。 * 物理视图:HBase 的数据模型也基于物理视图,提供了 Region 服务器、数据块和存储文件等概念。 * 表:HBase 的表是数据的基本存储单位,用户可以创建多种类型的表。 * 行:HBase 的行是表中的基本数据单位,用户可以插入、更新和删除行。 * 列族:HBase 的列族是表中的基本结构单位,用户可以创建多种类型的列族。 * 列:HBase 的列是表中的基本数据单位,用户可以插入、更新和删除列。 * 单元格:HBase 的单元格是表中的基本数据单位,用户可以插入、更新和删除单元格。 * 数据模型操作:HBase 提供了多种数据模型操作,例如插入、更新、删除和查询等。 **Schema 设计** * Schema 创建:HBase 的 Schema 是数据模型的蓝图,用户需要根据需要创建合适的 Schema。 * column families 的数量:HBase 的列族数量对性能和存储空间有着重要影响,用户需要根据需要选择合适的数量。 * Rowkey 设计:HBase 的 Rowkey 是表中的基本索引,用户需要根据需要设计合适的 Rowkey。 * 数量设计:HBase 的数量设计对性能和存储空间有着重要影响,用户需要根据需要选择合适的数量。 * 支持的数据类型:HBase 支持多种数据类型,例如整数、字符串、日期等。 * Joins:HBase 支持 Joins 操作,用户可以使用 Joins 实现复杂的数据查询。 * 生存时间(TTL):HBase 支持生存时间机制,用户可以根据需要设置合适的生存时间。 * Keeping Data:HBase 提供了多种数据保持机制,例如数据压缩、数据加密等。

org.apache.hadoop.hbase.DoNotRetryIOException: Unable to load configured region split policy 'org.apache.phoenix.schema.MetaDataSplitPolicy' for table 'SYSTEM.CATALOG' Set hbase.table.sanity.checks to false at conf or table descriptor if you want to bypass sanity checks at org.apache.hadoop.hbase.util.TableDescriptorChecker.warnOrThrowExceptionForFailure(TableDescriptorChecker.java:296) at org.apache.hadoop.hbase.util.TableDescriptorChecker.sanityCheck(TableDescriptorChecker.java:109) at org.apache.hadoop.hbase.master.HMaster.createTable(HMaster.java:2025) at org.apache.hadoop.hbase.master.MasterRpcServices.createTable(MasterRpcServices.java:657) at org.apache.hadoop.hbase.shaded.protobuf.generated.MasterProtos$MasterService$2.callBlockingMethod(MasterProtos.java) at org.apache.hadoop.hbase.ipc.RpcServer.call(RpcServer.java:413) at org.apache.hadoop.hbase.ipc.CallRunner.run(CallRunner.java:133) at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:338) at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:318) org.apache.hadoop.hbase.DoNotRetryIOException: Unable to load configured region split policy 'org.apache.phoenix.schema.MetaDataSplitPolicy' for table 'SYSTEM.CATALOG' Set hbase.table.sanity.checks to false at conf or table descriptor if you want to bypass sanity checks at org.apache.hadoop.hbase.util.TableDescriptorChecker.warnOrThrowExceptionForFailure(TableDescriptorChecker.java:296) at org.apache.hadoop.hbase.util.TableDescriptorChecker.sanityCheck(TableDescriptorChecker.java:109) at org.apache.hadoop.hbase.master.HMaster.createTable(HMaster.java:2025) at org.apache.hadoop.hbase.master.MasterRpcServices.createTable(MasterRpcServices.java:657) at org.apache.hadoop.hbase.shaded.protobuf.generated.MasterProtos$MasterService$2.callBlockingMethod(MasterProtos.java) at org.apache.hadoop.hbase.ipc.RpcServer.call(RpcServer.java:413) at org.apache.hadoop.hbase.ipc.CallRunner.run(CallRunner.java:133) at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:338) at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:318)

2023-07-14 上传

23/07/23 16:19:48 ERROR AsyncProcess: Failed to get region location org.apache.hadoop.hbase.DoNotRetryIOException: java.lang.NoClassDefFoundError: Could not initialize class org.apache.hadoop.hbase.util.ByteStringer at org.apache.hadoop.hbase.client.RpcRetryingCaller.translateException(RpcRetryingCaller.java:241) at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithoutRetries(RpcRetryingCaller.java:214) at org.apache.hadoop.hbase.client.ScannerCallableWithReplicas$RetryingRPC.call(ScannerCallableWithReplicas.java:364) at org.apache.hadoop.hbase.client.ScannerCallableWithReplicas$RetryingRPC.call(ScannerCallableWithReplicas.java:338) at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithRetries(RpcRetryingCaller.java:137) at org.apache.hadoop.hbase.client.ResultBoundedCompletionService$QueueingFuture.run(ResultBoundedCompletionService.java:65) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748) Caused by: java.lang.NoClassDefFoundError: Could not initialize class org.apache.hadoop.hbase.util.ByteStringer at org.apache.hadoop.hbase.protobuf.RequestConverter.buildRegionSpecifier(RequestConverter.java:1041) at org.apache.hadoop.hbase.protobuf.RequestConverter.buildScanRequest(RequestConverter.java:492) at org.apache.hadoop.hbase.client.ClientSmallReversedScanner$SmallReversedScannerCallable.call(ClientSmallReversedScanner.java:291) at org.apache.hadoop.hbase.client.ClientSmallReversedScanner$SmallReversedScannerCallable.call(ClientSmallReversedScanner.java:276) at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithoutRetries(RpcRetryingCaller.java:212) ... 7 more

2023-07-24 上传