"DTCC2016-360云盘底层采用了Cassandra和Storm技术,构建了一个大规模的数据存储和处理系统。该系统由郭东东和倪传雷进行介绍,展示了Cassandra+Storm的整体架构,以及在360云盘中的应用实践。系统具有庞大的主机规模,包括13000台服务器用于主服务,8000台用于备份,数据总量达到了400PB,单日新增数据量为500TB。Cassandra集群由150台至600台不等的服务器组成,每台服务器配置有24个磁盘或36个磁盘,每个磁盘3TB到4TB的容量,总集群容量在9P到79P之间。系统分布在多个IDC,包括电信和联通的数据中心,通过业务接入层的Cassandra和Storm处理数据的读写和流处理。"
详细解释:
1. **Cassandra+Storm整体架构**: 360云盘的底层架构由分布式数据库Cassandra和实时计算框架Storm组成。Cassandra用于存储大量数据,而Storm则负责实时处理和分析数据流。这种结合提供了高效的数据处理能力和高可用性。
2. **Cassandra系统改进**: 针对数据可靠性的问题,Cassandra进行了多方面的优化。首先,引入了文件/磁盘自动摘除机制,通过统计异常访问次数来识别并隔离故障组件。其次,实施定期的数据节点扫描修复,一旦检测到磁盘或文件故障,立即启动修复过程,通过RowScan+Diff或KeyScan+Read(ALL)策略恢复数据。最后,针对新写入数据的副本不足问题,设计了增量数据的检查修复机制,通过proxycheck辅助表记录副本不足的情况,并进行读修复。
3. **数据分配策略**: 原有的数据分区策略可能无法满足所有Keyspace的需求,因此Cassandra系统改进还包括了数据分配策略的灵活性提升,以适应不同数据类型和访问模式。
4. **集群规模与分布**: 集群分布在多个IDC,如电信IDC1、IDC2和IDC3,以及联通的IDC21、IDC22和IDC23,形成分布式架构,提高了系统的容错性和稳定性。业务接入层的Cassandra和Storm共同承担了数据的读写和流处理任务,确保了服务的高可用性。
5. **数据处理能力**: 单日新增数据量达到500TB,表明系统需要具备强大的数据处理能力,而Cassandra和Storm的组合正好满足了这一需求。Cassandra的大规模集群设计能够处理海量数据,而Storm则可以实时处理数据流,提供快速响应。
360云盘底层的Cassandra+Storm架构是一个高效、可靠且具备扩展性的大数据解决方案,它在处理大规模数据存储和实时处理方面展现出了卓越的能力。通过不断的系统改进和优化,确保了数据的高可用性和一致性,同时适应了复杂的数据访问需求。