HBase官方文档：分布式列式数据库详解

Hbase

需积分: 35 126 浏览量更新于2024-07-18 收藏 1.5MB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

Apache HBase 是一个开源的大数据分布式数据库系统，由 Apache Software Foundation 主管，它建立在 Apache Hadoop 和 Apache ZooKeeper 的基础上，提供了一种高效、可扩展的方式来存储和管理大规模的数据集。作为面向列的数据库，HBase 强调灵活性和实时性，适用于需要快速读取和写入大量半结构化或非结构化数据的应用场景。文档的"入门"部分引导用户了解 HBase 的基本概念，包括简介和快速上手指南，使新用户能够快速掌握这个系统的特性和用法。通过"Apache HBase (TM)配置"章节，作者详细阐述了运行 HBase 所需的基本条件，如操作系统支持、网络设置以及 Hadoop 和 ZooKeeper 的安装和配置。这部分内容还涵盖了不同运行模式（独立模式和分布式模式）的区别以及配置文件的管理和示例。 "升级"章节对于已经在使用早期版本的用户来说至关重要，提供了从不同版本（如0.94.x到0.96.x，0.90.x到0.92.x等）升级的具体步骤和注意事项，确保平滑过渡到新版本，减少中断服务的风险。 "HBaseShell"部分介绍了如何通过命令行工具进行操作，包括脚本使用和高级技巧，这有助于用户深入了解 HBase 的交互方式，进行数据管理和查询。 "数据模型"深入剖析了 HBase 的核心组件，如概念视图、物理视图、表、行、列族和 Cells。这些概念构成了 HBase 数据存储和访问的基础，理解它们对于开发人员设计和优化数据架构至关重要。此外，还介绍了 DataModelOperations，即数据模型操作，涵盖了创建、修改和删除表、列族以及执行复杂的查询操作。这份官方文档是 HBase 用户和开发者的重要参考资源，它不仅包含了系统的安装、配置和管理指南，还包括了深入的数据模型分析和实用工具的使用方法，为用户提供了全面且实用的知识体系。无论是初学者还是经验丰富的开发者，都能从中找到所需的信息，以便充分利用 HBase 在大数据处理中的强大功能。

资源详情

资源推荐

hbase.coprocessor.master.classes

⼀个逗号分隔的org.apache.hadoop.hbase.coprocessor.MasterObserver 微处理器列表，主HMaster进程默认加载。对于任何实现的

协处理器⽅法，列出的类将按顺序调⽤。实现你⾃⼰的MasterObserver后，就把它放在HBase的路径，在此处添加完全限定名

称（fully qualiﬁed class name）。

默认:

hbase.zookeeper.quorum

Zookeeper集群的地址列表，⽤逗号分割。例如："host1.mydomain.com,host2.mydomain.com,host3.mydomain.com".默认是

localhost,是给伪分布式⽤的。要修改才能在完全分布式的情况下使⽤。如果在hbase-env.sh设置了HBASE_MANAGES_ZK，这

些ZooKeeper节点就会和HBase⼀起启动。

默认: localhost

hbase.zookeeper.peerport

ZooKeeper节点使⽤的端⼜。详细参见：

http://hadoop.apache.org/zookeeper/docs/r3.1.1/zookeeperStarted.html#sc_RunningReplicatedZooKeeper

默认: 2888

hbase.zookeeper.leaderport

ZooKeeper⽤来选择Leader的端⼜，详细参见：

http://hadoop.apache.org/zookeeper/docs/r3.1.1/zookeeperStarted.html#sc_RunningReplicatedZooKeeper

默认: 3888

hbase.zookeeper.useMulti

指⽰HBase使⽤ZooKeeper的多更新功能。这让某些管理员操作完成更迅速，防⽌⼀些问题与罕见的复制失败的情况下（见例

hbase-2611版本说明）。重要的是：只有设置为true，如果集群中的所有服务器上的管理员3.4版本不会被降级。ZooKeeper管

理员3.4之前的版本不⽀持多更新不优雅地失败如果多更新时把它放在HBase的路径，在这⾥添加完全限定名称。 (参考

ZOOKEEPER-1495).

默认: false

hbase.zookeeper.property.initLimit

ZooKeeper的zoo.conf中的配置。初始化synchronization阶段的ticks数量限制

默认: 10

hbase.zookeeper.property.syncLimit

ZooKeeper的zoo.conf中的配置。发送⼀个请求到获得承认之间的ticks的数量限制

默认: 5

hbase.zookeeper.property.dataDir

ZooKeeper的zoo.conf中的配置。快照的存储位置

默认: ${hbase.tmp.dir}/zookeeper

hbase.zookeeper.property.clientPort

ZooKeeper的zoo.conf中的配置。客户端连接的端⼜

默认: 2181

hbase.zookeeper.property.maxClientCnxns

ZooKeeper的zoo.conf中的配置。 ZooKeeper集群中的单个节点接受的单个Client(以IP区分)的请求的并发数。这个值可以调⾼

⼀点，防⽌在单机和伪分布式模式中出问题。

默认: 300

hbase.rest.port

HBase REST server的端⼜

默认: 8080

hbase.rest.readonly

定义REST server的运⾏模式。可以设置成如下的值： false: 所有的HTTP请求都是被允许的 - GET/PUT/POST/DELETE. true:只

有GET请求是被允许的

默认: false

hbase.defaults.for.version.skip

设置为true，跳过 'hbase.defaults.for.version' 检查。设置为 true 相对maven ⽣成很有⽤，例如ide环境. 你需要将该布尔值设为

true，避免看到RuntimException 抱怨: "hbase-default.xml ﬁle seems to be for and old version of HBase (\${hbase.version}), this

version is X.X.X-SNAPSHOT"

默认: false

hbase.coprocessor.abortonerror

Set to true to cause the hosting server (master or regionserver) to abort if a coprocessor throws a Throwable object that is not

IOException or a subclass of IOException. Setting it to true might be useful in development environments where one wants to terminate

the server as soon as possible to simplify coprocessor failure analysis.

默认: false

hbase.online.schema.update.enable

Set true to enable online schema changes. This is an experimental feature. There are known issues modifying table schemas at the same

time a region split is happening so your table needs to be quiescent or else you have to be running with splits disabled.

默认: false

hbase.table.lock.enable

Set to true to enable locking the table in zookeeper for schema change operations. Table locking from master prevents concurrent

schema modiﬁcations to corrupt table state.

默认: true

dfs.support.append

Does HDFS allow appends to ﬁles? This is an hdfs conﬁg. set in here so the hdfs client will do append support. You must ensure that

this conﬁg. is true serverside too when running hbase (You will have to restart your cluster after setting it).

默认: true

hbase.thrift.minWorkerThreads

The "core size" of the thread pool. New threads are created on every connection until this many threads are created.

默认: 16

hbase.thrift.maxWorkerThreads

The maximum size of the thread pool. When the pending request queue overﬂows, new threads are created until their number reaches

this number. After that, the server starts dropping connections.

默认: 1000

hbase.thrift.maxQueuedRequests

The maximum number of pending Thrift connections waiting in the queue. If there are no idle threads in the pool, the server queues

requests. Only when the queue overﬂows, new threads are added, up to hbase.thrift.maxQueuedRequests threads.

默认: 1000

hbase.offheapcache.percentage

The amount of off heap space to be allocated towards the experimental off heap cache. If you desire the cache to be disabled, simply set

this value to 0.

默认: 0

hbase.data.umask.enable

Enable, if true, that ﬁle permissions should be assigned to the ﬁles written by the regionserver

默认: false

hbase.data.umask

hbase.data.umask.enable为真时，⽤于写数据⽂件⽂件的权限

默认: 000

hbase.metrics.showTableName

Whether to include the preﬁx "tbl.tablename" in per-column family metrics. If true, for each metric M, per-cf metrics will be reported

for tbl.T.cf.CF.M, if false, per-cf metrics will be aggregated by column-family across tables, and reported for cf.CF.M. In both cases, the

aggregated metric M across tables and cfs will be reported.

默认: true

hbase.metrics.exposeOperationTimes

是否报告有关在区域服务器上执⾏操作的时间的度量。 Get, Put, Delete, Increment, 及 Append 都可以有他们的时间，每CF和每

个区域都可以通过Hadoop metrics暴露出来。

默认: true

hbase.master.hﬁlecleaner.plugins

⼀个以逗号分隔的HFileCleanerDelegate HFileCleaner调⽤的服务。这些HFile清除服务被按顺序调⽤,所以把清除⼤部分⽂件的

清除服务放在最前⾯。实现⾃⼰的HFileCleanerDelegate,需把它放在HBase的类路径,并在此添加完全限定类名。总是添加上述

⽇志清除服务，因为会被hbase-site.xml的配置覆盖。

默认: org.apache.hadoop.hbase.master.cleaner.TimeToLiveHFileCleaner

hbase.regionserver.catalog.timeout

Catalog Janitor从regionserver到 META的超时值.

默认: 600000

hbase.master.catalog.timeout

Catalog Janitor从master到 META的超时值.

默认: 600000

hbase.conﬁg.read.zookeeper.conﬁg

设置为true，允许HBaseConﬁguration读取 zoo.cfg ⽂件，获取ZooKeeper配置。切换为true是不推荐的，因为从zoo.cfg⽂件读取

ZK配置功能已废弃。

默认: false

hbase.snapshot.enabled

设置为true允许快照被取/恢复/克隆。

默认: true

hbase.rest.threads.max

REST服务器线程池的最⼤线程数。池中的线程被重⽤以处理REST请求。该值控制同时处理的最⼤请求数。这可能有助于控

制REST服务器内存，避免OOM问题。如果线程池已满，传⼊的请求将被排队等待⼀些空闲线程。默认值是100.

默认: 100

hbase.rest.threads.min

REST服务器线程池的最⼩线程数。线程池始终具有该数量的线程，以便REST服务器准备好为传⼊的请求服务。默认值是 2.

默认: 2

2.3.2. hbase-env.sh

在这个⽂件⾥⾯设置HBase环境变量。⽐如可以配置JVM启动的堆⼤⼩或者GC的参数。你还可在这⾥配置HBase的参数，如Log位

置，niceness(译者注:优先级)，ssh参数还有pid⽂件的位置等等。打开⽂件conf/hbase-env.sh细读其中的内容。每个选项都是有详尽

的注释的。你可以在此添加⾃⼰的环境变量。

这个⽂件的改动系统HBase重启才能⽣效。

2.3.3. log4j.properties

编辑这个⽂件可以改变HBase的⽇志的级别，轮滚策略等等。

这个⽂件的改动系统HBase重启才能⽣效。⽇志级别的更改会影响到HBase UI

2.3.4. 连接HBase集群的客户端配置和依赖

因为HBase的Master有可能转移，所有客户端需要访问ZooKeeper来获得现在的位置。ZooKeeper会保存这些值。因此客户端必须知

道Zookeeper集群的地址，否则做不了任何事情。通常这个地址存在 hbase-site.xml ⾥⾯，客户端可以从CLASSPATH取出这个⽂件.

如果你是使⽤⼀个IDE来运⾏HBase客户端，你需要将conf/放⼊你的 classpath,这样 hbase-site.xml就可以找到了，(或者把hbase-

site.xml放到 src/test/resources，这样测试的时候可以使⽤).

HBase客户端最⼩化的依赖是 hbase, hadoop, log4j, commons-logging, commons-lang, 和 ZooKeeper ，这些jars 需要能在 CLASSPATH 中

找到。

下⾯是⼀个基本的客户端 hbase-site.xml 例⼦：

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<name>hbase.zookeeper.quorum</name>

<value>example1,example2,example3</value>

<description>The directory shared by region servers.

</description>

</property>

</configuration>

2.3.4.1. Java客户端配置

Java是如何读到hbase-site.xml 的内容的

Java客户端使⽤的配置信息是被映射在⼀个HBaseConﬁguration 实例中. HBaseConﬁguration有⼀个⼯⼚⽅法,

HBaseConfiguration.create();,运⾏这个⽅法的时候，他会去CLASSPATH,下找hbase-site.xml，读他发现的第⼀个配置⽂件的内

容。 (这个⽅法还会去找hbase-default.xml ; hbase.X.X.X.jar⾥⾯也会有⼀个an hbase-default.xml). 不使⽤任何hbase-site.xml⽂件

直接通过Java代码注⼊配置信息也是可以的。例如，你可以⽤编程的⽅式设置ZooKeeper信息，只要这样做:

Configuration config = HBaseConfiguration.create();

config.set("hbase.zookeeper.quorum", "localhost"); // Here we are running zookeeper locally

如果有多ZooKeeper实例，你可以使⽤逗号列表。(就像在hbase-site.xml ⽂件中做得⼀样). 这个 Configuration 实例会被传递到

HTable, 之类的实例⾥⾯去.

2.4. 配置⽰例

2.4.1. 简单的分布式HBase安装

这⾥是⼀个10节点的HBase的简单⽰例，这⾥的配置都是基本的，节点名为 example0, example1... ⼀直到 example9 . HBase Master 和

HDFS namenode 运作在同⼀个节点 example0上. RegionServers 运⾏在节点 example1-example9. ⼀个 3-节点 ZooKeeper 集群运⾏

在example1, example2, 和 example3，端⼜保持默认. ZooKeeper 的数据保存在⽬录 /export/zookeeper. 下⾯我们展⽰主要的配置⽂

件-- hbase-site.xml, regionservers, 和 hbase-env.sh -- 这些⽂件可以在 conf⽬录找到.

2.4.1.1. hbase-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<name>hbase.zookeeper.quorum</name>

<value>example1,example2,example3</value>

<description>The directory shared by RegionServers.

</description>

</property>

<name>hbase.zookeeper.property.dataDir</name>

<value>/export/zookeeper</value>

<description>Property from ZooKeeper's config zoo.cfg.

The directory where the snapshot is stored.

</description>

</property>

<name>hbase.rootdir</name>

<value>hdfs://example0:9000/hbase</value>

<description>The directory shared by RegionServers.

</description>

</property>

<name>hbase.cluster.distributed</name>

<description>The mode the cluster will be in. Possible values are

false: standalone and pseudo-distributed setups with managed Zookeeper

true: fully-distributed with unmanaged Zookeeper Quorum (see hbase-env.sh)

</description>

</property>

</configuration>

2.4.1.2. regionservers

这个⽂件把RegionServer的节点列了下来。在这个例⼦⾥⾯我们让所有的节点都运⾏RegionServer,除了第⼀个节点 example1，它要

运⾏ HBase Master 和 HDFS namenode

example1

example3

example4

example5

example6

example7

example8

example9

2.4.1.3. hbase-env.sh

下⾯我们⽤diff 命令来展⽰ hbase-env.sh ⽂件相⽐默认变化的部分. 我们把HBase的堆内存设置为4G⽽不是默认的1G.

$ git diff hbase-env.sh

diff --git a/conf/hbase-env.sh b/conf/hbase-env.sh

index e70ebc6..96f8c27 100644

--- a/conf/hbase-env.sh

+++ b/conf/hbase-env.sh

@@ -31,7 +31,7 @@ export JAVA_HOME=/usr/lib//jvm/java-6-sun/

# export HBASE_CLASSPATH=

# The maximum amount of heap to use, in MB. Default is 1000.

-# export HBASE_HEAPSIZE=1000

+export HBASE_HEAPSIZE=4096

# Extra Java runtime options.

# Below are what we set by default. May only work with SUN JVM.

你可以使⽤ rsync 来同步 conf ⽂件夹到你的整个集群.

2.5. 重要的配置

下⾯我们会列举

重要

的配置. 这个章节讲述必须的配置和那些值得⼀看的配置。(译者注:淘宝的博客也有本章节的内容，HBase性能

调优，很详尽)。

2.5.1. 必须的配置

参考 Section 2.2, “操作系统” 和 Section 2.3, “Hadoop” 节.

2.5.2. 推荐配置

2.5.2.1. zookeeper.session.timeout

这个默认值是3分钟。这意味着⼀旦⼀个server宕掉了，Master⾄少需要3分钟才能察觉到宕机，开始恢复。你可能希望将这个超时

调短，这样Master就能更快的察觉到了。在你调这个值之前，你需要确认你的JVM的GC参数，否则⼀个长时间的GC操作就可能导

致超时。（当⼀个RegionServer在运⾏⼀个长时间的GC的时候，你可能想要重启并恢复它）.

要想改变这个配置，可以编辑 hbase-site.xml, 将配置部署到全部集群，然后重启。

我们之所以把这个值调的很⾼，是因为我们不想⼀天到晚在论坛⾥回答新⼿的问题。“为什么我在执⾏⼀个⼤规模数据导⼊的时候

Region Server死掉啦”，通常这样的问题是因为长时间的GC操作引起的，他们的JVM没有调优。我们是这样想的，如果⼀个⼈对

HBase不很熟悉，不能期望他知道所有，打击他的⾃信⼼。等到他逐渐熟悉了，他就可以⾃⼰调这个参数了。

2.5.2.2. ZooKeeper 实例个数

参考 Section 2.5, “ZooKeeper”.

2.5.2.3. hbase.regionserver.handler.count

这个设置决定了处理⽤户请求的线程数量。默认是10，这个值设的⽐较⼩，主要是为了预防⽤户⽤⼀个⽐较⼤的写缓冲，然后还有

很多客户端并发，这样region servers会垮掉。有经验的做法是，当请求内容很⼤(上MB，如⼤puts, 使⽤缓存的scans)的时候，把这个

值放低。请求内容较⼩的时候(gets, ⼩puts, ICVs, deletes)，把这个值放⼤。

当客户端的请求内容很⼩的时候，把这个值设置的和最⼤客户端数量⼀样是很安全的。⼀个典型的例⼦就是⼀个给⽹站服务的集

群，put操作⼀般不会缓冲,绝⼤多数的操作是get操作。

把这个值放⼤的危险之处在于，把所有的Put操作缓冲意味着对内存有很⼤的压⼒，甚⾄会导致OutOfMemory.⼀个运⾏在内存不⾜

的机器的RegionServer会频繁的触发GC操作，渐渐就能感受到停顿。(因为所有请求内容所占⽤的内存不管GC执⾏⼏遍也是不能回

收的)。⼀段时间后，集群也会受到影响，因为所有的指向这个region的请求都会变慢。这样就会拖累集群，加剧了这个问题。

你可能会对handler太多或太少有感觉，可以通过 Section 12.2.2.1, “启⽤ RPC级⽇志” ，在单个RegionServer启动log并查看log末尾

(请求队列消耗内存)。

2.5.2.4. ⼤内存机器的配置

HBase有⼀个合理的保守的配置，这样可以运作在所有的机器上。如果你有台⼤内存的集群-HBase有8G或者更⼤的heap,接下来的配

置可能会帮助你. TODO.

2.5.2.5. 压缩

应该考虑启⽤ColumnFamily 压缩。有好⼏个选项，通过降低存储⽂件⼤⼩以降低IO，降低消耗且⼤多情况下提⾼性能。

参考 Appendix C, HBase

压缩

获取更多信息.

2.5.2.6. 较⼤ Regions

更⼤的Region可以使你集群上的Region的总数量较少。⼀般来⾔，更少的Region可以使你的集群运⾏更加流畅。(你可以⾃⼰随时

⼿⼯将⼤Region切割，这样单个热点Region就会被分布在集群的更多节点上)。

较少的Region较好。⼀般每个RegionServer在20到⼩⼏百之间。调整Region⼤⼩以适合该数字。

0.90.x 版本, 默认情况下单个Region是256MB。Region ⼤⼩的上界是 4Gb. 0.92.x 版本, 由于 HFile v2 已经将Region⼤⼩⽀持得⼤很

多， (如, 20Gb).

可能需要实验，基于硬件和应⽤需要进⾏配置。

可以调整hbase-site.xml中的 hbase.hregion.max.filesize属性. RegionSize 也可以基于每个表设置： HTableDescriptor.

2.5.2.7. 管理 Splitting

除了让HBase⾃动切割你的Region,你也可以⼿动切割。

[12]

随着数据量的增⼤，splite会被持续执⾏。如果你需要知道你现在有⼏个

region,⽐如长时间的debug或者做调优，你需要⼿动切割。通过跟踪⽇志来了解region级的问题是很难的，因为他在不停的切割和重

命名。data ofﬂineing bug和未知量的region会让你没有办法。如果⼀个 HLog 或者 StoreFile由于⼀个奇怪的bug，HBase没有执⾏

它。等到⼀天之后，你才发现这个问题，你可以确保现在的regions和那个时候的⼀样，这样你就可以restore或者replay这些数据。你

还可以调优你的合并算法。如果数据是均匀的，随着数据增长，很容易导致split / compaction疯狂的运⾏。因为所有的region都是差

不多⼤的。⽤⼿的切割，你就可以交错执⾏定时的合并和切割操作，降低IO负载。

为什么我关闭⾃动split呢？因为⾃动的splite是配置⽂件中的 hbase.hregion.max.filesize决定的. 你把它设置成Long.MAX_VALUE是不

推荐的做法，要是你忘记了⼿⼯切割怎么办.推荐的做法是设置成100GB，⼀旦到达这样的值，⾄少需要⼀个⼩时执⾏ major

compactions。

那什么是最佳的在pre-splite regions的数量呢。这个决定于你的应⽤程序了。你可以先从低的开始，⽐如每个server10个pre-splite

regions.然后花时间观察数据增长。有太少的region⾄少⽐出错好，你可以之后再rolling split.⼀个更复杂的答案是这个值是取决于你

剩余108页未读，继续阅读

jhua80

粉丝: 0
资源: 1

HBase官方文档：分布式列式数据库详解

HBase API帮助文档

hbase官方文档

Hbase 官方中文文档

hbase学习文档来份

HBase 3、HBase练习题

java springboot3 集成hbase配置

如何使用使用 HBase 客户端 API 将hdfs中的csv文件导入到hbase

jmeter连接hbase怎么连

hbase的api接口

查看hbase 表结构的命令

hbase安装与配置

hbase的shell命令全

在hbase内部怎么退出hbase

hbase的regionservers配置

hbase 开发：使用java操作hbase

windows下安装hbase

hbase安装及环境配置

如何将HDFS中的文件读入到Hbase

我们应该如何学习好HBASE

jmx采集hbase监控指标的官网介绍网址是什么 如何从linux机器上访问hbase的jmx监控地址

最新资源

jmx采集hbase监控指标的官网介绍网址是什么如何从linux机器上访问hbase的jmx监控地址