360 HBase二级索引设计：挑战与实践

《HBASE二级索引的设计与实践.ppt》是赵健博于2015年4月24日针对奇虎360在实际业务场景中对HBase进行二级索引设计和应用的一份分享。HBase作为一种NoSQL数据库，主要用于海量数据存储，其原生设计并不支持高效的多维度查询，这在奇虎360的网络行为特征分析和病毒样本分析等实时查询需求中显得不足。 背景部分提到，传统的HBase索引问题主要表现在以下几个方面：一是单一的行键(Row Key，RK)作为索引导致无法处理多维度查询，每次查询需要写入多次，不仅效率低下，而且设计上缺乏灵活性；二是未经过索引的并行扫描会消耗大量资源，无法实现有效的过滤，对于大规模数据的查询性能大打折扣；三是随着网络行为和病毒样本分析等场景的需求，多维度实时查询成为必要。 为了解决这些问题，作者提出了一个通用模式，即对数据进行结构化存储，并针对多个列或列间关系建立索引。索引支持多种条件，如单列等值、范围查询，以及多列间的逻辑运算（与、或）。目标是获取满足特定条件的记录、记录数量，或者对某些列进行统计。 设计部分详细讨论了二级索引的整体架构，包括不同类型的索引（可能是B树、哈希或其他类型）、写入和读取路径的设计，以及如何处理数据分裂、索引重建、优化和模糊查询。整体设计强调了分布式和并发处理，以适应大规模数据的查询与索引构建。 在索引设计上，作者提出将索引数据与原始数据分开存储，例如在RegionServer中独立存储索引，这样可以提高查询效率。具体示例展示了如何通过创建列族（Column Family，cf）中的列级索引来支持高效查找，比如`cf1:col2`列的值作为索引，用于快速定位到包含特定值的行。 最后，演示了索引与数据的组织方式，比如在Region1和Region2中，每个区域都有自己的索引结构，且可能使用`INDEX=`这样的形式来指示索引的存在，便于查询时定位。 这份PPT深入探讨了奇虎360在HBase中如何通过设计二级索引解决大规模数据的查询挑战，提供了实用的策略和方法，对理解和优化HBase在实际场景中的性能具有很高的参考价值。