阿里工程师代志远探讨：Wasp——海量数据分布式数据库解决方案

"代志远在HBTC2012大会上分享了阿里巴巴对于海量数据分布式数据库的探索，重点介绍了Wasp项目。Wasp是为解决HBase存在的问题，如缺乏跨行事务、多维索引以及复杂的API等而设计的新型数据库系统。" 在大数据应用的背景下，阿里巴巴的工程师代志远提出，尽管NoSQL系统如HBase提供了强一致性、高扩展性和快速写入等优势，但其不足之处在于不支持事务处理和多维索引，这对业务人员来说学习成本高，迁移复杂，使得某些业务无法充分利用NoSQL的性能。因此，阿里巴巴着手开发了Wasp项目，旨在改进这些问题。 HBase在阿里的应用现状显示，HBase具有强一致性、高扩展性等优点，但同时也存在跨行事务缺失、无内置索引及复杂API等挑战。阿里巴巴拥有700-800台的HBase集群规模，并计划进一步扩大，但随着大数据时代的到来，对多维查询、一致性的需求以及简化用户接口的需求日益增长，这促使了Wasp的诞生。 Wasp的设计目标是满足客户对于多维查询的需求，通过二级索引实现更高效的筛选和过滤。同时，它追求索引与实体之间的一致性，确保数据的准确性和可靠性。为降低用户的学习成本，Wasp致力于提供一个简单的用户入口，减少因不熟悉HBase API而导致的问题。此外，为了应对大规模数据的处理，Wasp力求具备更强的线性扩展能力。 Wasp的架构未在摘要中详述，但可以推测它可能包含了优化的事务处理机制、更友好的用户接口以及改进的扩展性设计。未来的路线图（RoadMap）也未公开，但可以预想它将围绕解决HBase的局限性和满足客户需求的方向进行。 Wasp是阿里巴巴为适应大数据环境，解决HBase存在的问题，提升用户体验和业务处理能力的一项重要创新。它的出现，标志着在大数据存储和处理领域，阿里巴巴持续探索和优化的决心，以更好地服务内部业务和外部客户。