Hadoop 1.3.6在CentOS 7上搭建HBase环境教程

需积分: 9 2 下载量 33 浏览量 更新于2024-09-03 收藏 1.1MB PDF 举报
本篇文档主要介绍了在Linux CentOS 7环境下搭建大数据Hadoop环境的过程,特别关注了HBase 1.3.6的安装和配置。Hadoop是一个开源的分布式计算框架,常用于处理海量数据,而HBase是其NoSQL数据库组件,用于存储和管理大规模数据。由于Hive和HBase版本之间的兼容性问题,文档强调了Hive 2.x版本与HBase 1.x版本的兼容性,指出Hive 0.90与HBase 0.92、Hive 1.x与HBase 0.98及以下版本存在兼容性。 在安装步骤中,首先从Apache官网下载HBase 1.3.6的二进制包hbase-1.3.6-bin.tar.gz,然后在用户hadoop的home目录下解压。接下来,文档指导用户创建hbase-1.3.6的pid目录,这是为了管理HBase服务的进程标识符。配置HBase通常涉及修改核心配置文件,如hbase-site.xml,以设置集群的属性,如Zookeeper地址、数据目录等。 值得注意的是,Hadoop版本对HBase的兼容性有所不同,特别是从Hadoop 2.1.0开始,对于HBase的更高版本,如1.3.x系列,推荐使用Hadoop 2.4.x及以上版本,以确保兼容性和性能。在选择和配置Hadoop时,需根据实际项目需求和系统资源来决定。 此外,文档没有提供完整的安装和配置教程,但提供了基本的步骤,如下载、解压和创建目录。对于更详细的配置过程,读者可能需要参考Apache HBase的官方文档或者在线教程,以便根据具体情况进行调整。整个过程中,Scala和Spark作为其他大数据工具也可能被集成到这个环境中,它们与Hadoop和HBase一起构建了一个强大的大数据处理平台。 这篇文档为Hadoop环境在Linux CentOS 7上的搭建提供了一个初步指南,适合有一定基础的IT专业人士或学习者作为入门参考。然而,实战操作时还需要根据最新的软件版本和实际环境进行适当的调整。

23/07/23 16:19:48 ERROR AsyncProcess: Failed to get region location org.apache.hadoop.hbase.DoNotRetryIOException: java.lang.NoClassDefFoundError: Could not initialize class org.apache.hadoop.hbase.util.ByteStringer at org.apache.hadoop.hbase.client.RpcRetryingCaller.translateException(RpcRetryingCaller.java:241) at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithoutRetries(RpcRetryingCaller.java:214) at org.apache.hadoop.hbase.client.ScannerCallableWithReplicas$RetryingRPC.call(ScannerCallableWithReplicas.java:364) at org.apache.hadoop.hbase.client.ScannerCallableWithReplicas$RetryingRPC.call(ScannerCallableWithReplicas.java:338) at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithRetries(RpcRetryingCaller.java:137) at org.apache.hadoop.hbase.client.ResultBoundedCompletionService$QueueingFuture.run(ResultBoundedCompletionService.java:65) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748) Caused by: java.lang.NoClassDefFoundError: Could not initialize class org.apache.hadoop.hbase.util.ByteStringer at org.apache.hadoop.hbase.protobuf.RequestConverter.buildRegionSpecifier(RequestConverter.java:1041) at org.apache.hadoop.hbase.protobuf.RequestConverter.buildScanRequest(RequestConverter.java:492) at org.apache.hadoop.hbase.client.ClientSmallReversedScanner$SmallReversedScannerCallable.call(ClientSmallReversedScanner.java:291) at org.apache.hadoop.hbase.client.ClientSmallReversedScanner$SmallReversedScannerCallable.call(ClientSmallReversedScanner.java:276) at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithoutRetries(RpcRetryingCaller.java:212) ... 7 more

2023-07-24 上传

org.apache.hadoop.hbase.DoNotRetryIOException: Unable to load configured region split policy 'org.apache.phoenix.schema.MetaDataSplitPolicy' for table 'SYSTEM.CATALOG' Set hbase.table.sanity.checks to false at conf or table descriptor if you want to bypass sanity checks at org.apache.hadoop.hbase.util.TableDescriptorChecker.warnOrThrowExceptionForFailure(TableDescriptorChecker.java:296) at org.apache.hadoop.hbase.util.TableDescriptorChecker.sanityCheck(TableDescriptorChecker.java:109) at org.apache.hadoop.hbase.master.HMaster.createTable(HMaster.java:2025) at org.apache.hadoop.hbase.master.MasterRpcServices.createTable(MasterRpcServices.java:657) at org.apache.hadoop.hbase.shaded.protobuf.generated.MasterProtos$MasterService$2.callBlockingMethod(MasterProtos.java) at org.apache.hadoop.hbase.ipc.RpcServer.call(RpcServer.java:413) at org.apache.hadoop.hbase.ipc.CallRunner.run(CallRunner.java:133) at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:338) at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:318) org.apache.hadoop.hbase.DoNotRetryIOException: Unable to load configured region split policy 'org.apache.phoenix.schema.MetaDataSplitPolicy' for table 'SYSTEM.CATALOG' Set hbase.table.sanity.checks to false at conf or table descriptor if you want to bypass sanity checks at org.apache.hadoop.hbase.util.TableDescriptorChecker.warnOrThrowExceptionForFailure(TableDescriptorChecker.java:296) at org.apache.hadoop.hbase.util.TableDescriptorChecker.sanityCheck(TableDescriptorChecker.java:109) at org.apache.hadoop.hbase.master.HMaster.createTable(HMaster.java:2025) at org.apache.hadoop.hbase.master.MasterRpcServices.createTable(MasterRpcServices.java:657) at org.apache.hadoop.hbase.shaded.protobuf.generated.MasterProtos$MasterService$2.callBlockingMethod(MasterProtos.java) at org.apache.hadoop.hbase.ipc.RpcServer.call(RpcServer.java:413) at org.apache.hadoop.hbase.ipc.CallRunner.run(CallRunner.java:133) at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:338) at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:318)

2023-07-14 上传