HBase分页查询性能优化与压测：模拟多节点场景

该PPT文档专注于HBase在特定场景下的分页查询性能测试，针对的是一个投注记录查询案例，该查询涉及两次与HBase集群的交互：首先获取记录总数，然后根据页号获取指定页面的数据。测试环境配置为一台具有64GB内存、24个核心、6块500GB SAS/SATA RAID 0硬盘和三张千兆网卡的服务器，同时配备了优化的JVM参数和HBase配置。 JVM参数设置有： - `-Xmx40g` 和 `-Xms40g`：设定最大和最小堆内存，确保有足够的空间进行并发处理。 - `XX:+UseConcMarkSweepGC`：启用并发标记清除垃圾回收器，提高垃圾回收效率。 - `XX:CMSInitiatingOccupancyFraction=70`：触发CMS垃圾回收的初始占用率阈值。 - `XX:PermSize=512M`：设置永久代大小，以支持大量元数据操作。 HBase参数配置： - 数据量为单表6亿条记录，总存储量600GB，每次查询限制在50条左右。 - Region数量为239个，每个Region大小不超过2.5GB，每个节点大约拥有50个Region。 - Cache大小设为24GB，有助于提高读取速度。 - 数据块采用64k压缩存储，降低存储空间占用。 - 使用100个处理线程执行并发任务。 测试环境使用了多个实例（如2326585957Uus等），模拟不同的负载压力。例如，在单个节点（wxlab26）上进行测试时，达到了每秒9000次事务处理（TPS），平均响应时间（RT）为35毫秒，网络流量控制在pkgin170464 pkgout163052，内存使用率较高但IO操作占比很低，主要由文件系统缓存占据。 当增加到两个节点（wxlab26和wxlab23）的压力时，TPS提升到了16500次/秒，响应时间保持在36毫秒，其他性能指标变化不大。 这个PPT文档提供了有用的性能基准和调优策略，对于理解和优化HBase在大规模分页查询场景下的性能至关重要。通过这些数据，可以分析和调整HBase的配置，以满足特定业务需求，比如提高查询响应速度和吞吐量，同时保持良好的资源利用率。