云存储系统与大数据存储标准探讨

"这篇文档主要讨论了大数据存储技术及其标准化问题，特别关注了云存储系统，特别是基于对象和表存储的系统。文档提到了Amazon S3作为基于对象存储的典型例子，强调了它的功能和易用性。另一方面，基于表存储的云存储系统，如GreenPlum、HugeTable和Hive，提供了结构化的数据存储和高并发处理能力。文档还介绍了SNIA的大数据存储参考模型CDMI，这是一个面向云存储的标准，包括对象和桶的概念，并支持REST接口协议。此外，文档指出当前大数据存储标准化工作尚处于初级阶段，SNIA、ITU-T、NIST和OASIS等组织正在开展相关研究。" 在大数据存储领域，对象存储和表存储是两种重要的技术。Amazon S3作为一个成功的案例，展示了对象存储如何通过桶和对象的层次结构实现数据存储，支持REST和SOAP协议，便于开发者集成。其丰富的功能，如大文件存储和第三方支付支持，使得S3成为广泛应用的云存储服务。同时，S3的开源项目简化了编程工作，降低了非HTTP开发者使用的难度。 另一方面，基于表存储的系统如GreenPlum、HugeTable和Hive，这些系统通常采用MPP架构，以实现大规模数据存储和处理能力。它们提供了SQL接口和MapReduce处理接口，适应结构化数据的需求，适合高并发的数据读写操作。 SNIA的CDMI标准作为云存储的第一个标准，为大数据存储提供了一个参考模型，定义了四种存储接口类型：块存储、文件存储、对象存储和表存储。CDMI采用对象和桶的概念，通过五类对象（容器、数据、域、能力、队列）来管理和访问数据，每个对象由元数据描述，元数据包括安全信息和自定义元数据。 在标准化工作方面，虽然大数据存储的标准还在初期阶段，但SNIA、云标准客户委员会(CSCC)和其他国际组织已经开始着手研究，期望推动大数据存储的标准化进程，为未来的产业发展提供基础。