Hadoop分布式云存储：海量数据的存储与选型策略

在本篇文章中，主要探讨了针对一个大规模初始存储需求设计的Hadoop分布式云存储方案。Hadoop作为一种相对成熟且稳定的分布式计算框架，具有显著的优点，如能够处理海量数据（理论上可达1万个节点），并且提供了MapReduce计算模型，适用于大数据处理。然而，它也存在一些缺点，如Master服务的单点问题以及其Java编程语言基础。 在基本需求方面，存储系统需要满足海量数据和文件的需求。据统计，一个亿的用户，平均每个用户需要1G存储空间，总计75PB。文件数量庞大，根据易盘数据，假设平均文件大小为50MB，将有5亿个文件。文件分布特征显示，大部分是小文件（0~10MB），占据总文件数的70%但仅占用2.42%的容量，表明小文件数量众多但容量占用相对较少。 在I/O需求上，系统以写入为主，主要进行安全存储和本地加密备份，但具体的IO和带宽需求并未给出明确数值。存储方案选型时，首要原则是稳定性，其次是活跃度、社区支持、性能、成本和可维护性。考虑到存储需求的特点，文章建议采用分布式数据库和文件系统相结合的方式。 分布式数据库如Cassandra适合存储海量小文件，因为它无需为每个文件保留元数据，能有效提高IO并发能力，但可能在数据分布不均匀和大规模情况下稳定性有所下降。另一方面，分布式文件系统如Hadoop、MooseFS或LustreFS则适合存储大文件，提供高带宽和易扩展性，尤其对于大文件存储更为适用。然而，它们在处理小文件时存在性能瓶颈，如元数据管理和小文件写入性能问题。 因此，建议将小文件存储在Cassandra、MongoDB或TT这样的分布式数据库中，以充分利用其处理小文件的优势；而大文件则利用Hadoop或类似的分布式文件系统来确保大容量存储和高效的读取性能。同时，文章也提到了Cassandra的比较，包括其优点（如社区活跃度高，被Twitter、Facebook等大型公司使用）和潜在的问题（如在千万数据量以下的容量限制和性能下滑）。 在实际部署阶段，还需要考虑元数据管理、小文件过多可能导致的效率问题，以及如何通过扩展和运维优化来应对不同规模的存储需求。总体来说，这个初步存储方案是根据特定业务场景和需求，结合多种开源工具和技术进行权衡和优化的结果。