360 HBase二级索引设计：海量数据的多维度查询与实践

"《总体设计-HBASE二级索引的设计与实践》是一篇由赵健博撰写的关于在大规模分布式数据库HBase中实现二级索引的文章，针对奇虎360的实际业务场景进行探讨。文章背景部分阐述了使用HBase时遇到的问题，如单一基于Row Key(RK)的索引限制了多维度查询，导致数据冗余写入、复杂度高以及扫描性能低下。随着公司对多维度实时查询的需求增强，如网络行为特征分析和病毒样本分析，对更高效、灵活的索引解决方案的需求变得迫切。 总体设计部分，作者提出了一种分布式的、并发的数据查询与索引构建方法，通过设计不同类型的索引（如单列等值、范围索引，以及多列之间的逻辑运算索引），解决了查询性能瓶颈。索引被设计成独立于数据存储，以提高效率。例如，使用复合Row Key (RK) 和列族cf1中的col2值来创建二级索引，通过`INDEX=`和`INDEX:`标记明确区分索引和实际数据。 索引的存储采用分片策略，如Region1、Region2等，每个Region负责一部分数据和其对应的索引。同时，文中还讨论了索引的写入路径（即数据更新如何同步到索引）、读取路径、分裂（当数据量增大时调整索引结构）、索引重建以及优化策略，如汇聚操作，以支持模糊查询。 文章的重点在于如何在HBase中实现高效且可扩展的二级索引，以适应实时多维度查询的需求，减少数据扫描的开销，并确保在处理海量数据时保持良好的性能。这种设计为其他面临类似挑战的组织提供了有价值的参考案例。"