KV与小文件存储：NoSQL系统解析及Tair详解

“kv和小文件存储分享” 本文主要探讨了两种非关系型数据库（NoSQL）存储类型：Key-Value（KV）存储和小文件存储，并以淘宝自研的分布式KV存储引擎Tair为例进行了详细介绍。 首先，我们了解NoSQL存储，它与传统的关系型数据库（SQL）不同，不遵循严格的RDBMS规则，而是侧重于CAP（一致性、可用性、分区容错性）原则。NoSQL存储特别适用于处理大量Web级别的数据，对于模式不固定、松散的稀疏数据、频繁的读写操作以及包含大量二进制大对象（blob/clob）的情况。Google的BigTable和Amazon的Dynamo是NoSQL的成功实践，此外还有Membase、MongoDB、Cassandra、BeansDB、Redis和Oceanbase等开源解决方案。 接着，我们深入到Key-Value存储，这是一种NoSQL存储方式，数据以键值对的形式组织、索引和存储。KV存储适用于那些不涉及复杂数据关系的业务场景，能够减少读写磁盘的次数，提高效率。例如，Tair是一个由淘宝开发的分布式KV存储引擎，它提供了持久化和非持久化两种使用模式。非持久化的Tair可作为分布式缓存使用，而持久化的Tair则将数据存储在磁盘中。 Tair的架构包括ConfigServer和DataServer两部分。ConfigServer负责维护集群中DataServer的心跳，获取存活节点信息，构建数据分布表，并调度数据迁移和复制。DataServer则提供存储引擎，处理客户端的put、get、remove等操作，执行数据迁移、复制，并具有插件机制以实现自定义功能和访问统计。 Tair的设计具有几个显著特点： 1. DataServer采用了MySQL的设计思想，拥有统一接口的上层设计和可更换的底层存储引擎，如TC、bdb、mdb（redis）、leveldb等。 2. 使用轻量级的ConfigServer，降低了整体系统的复杂性。 3. 支持内存性和持久化存储，满足不同业务需求。 KV存储和小文件存储在处理大规模、高并发和特定类型的数据时，表现出色。Tair作为KV存储的一个实例，展示了其在分布式环境下的高效和灵活性。