大数据导论复习重点：存储挑战与传统架构

"南开大学的大数据导论复习资料，涵盖了大数据的基本概念、特征、存储问题及挑战，以及传统存储系统架构的分类。" 在大数据领域，本复习资料详细介绍了几个核心知识点： 1. **大数据的四V特征**：大数据的四个基本特性是Volume（体积大），Variety（多样性），Velocity（速度快）和Value（价值高）。这些特征描述了大数据的海量规模、复杂类型、实时处理需求以及蕴含的潜在价值。 2. **NoSQL数据库**：复习资料列举了一些NoSQL数据库的例子，如MongoDB、HBase和Cassandra，并指出DB2不是NoSQL数据库。NoSQL数据库通常用于处理大规模非结构化或半结构化数据，提供高可扩展性和高性能。 3. **分布式计算系统**：资料提到了Hadoop、Spark和Storm作为主流的开源分布式计算系统，而Azure则不是。这些系统用于处理大数据的并行计算和流处理任务。 4. **数据挖掘算法**：Apriori算法被提及，这是一种用于关联规则学习的算法，主要用于发现数据集中的频繁项集和强关联规则。 5. **数据分类**：数据根据结构可以分为结构化数据、半结构化数据和非结构化数据，而无结构数据可能是一种错误表述，因为数据通常至少有一定的结构。此外，大数据按产生主体分为企业应用数据、个人用户数据和机器生成数据。 6. **大数据存储挑战**：大数据存储面临容量、延迟、安全、成本和灵活性等问题。例如，需要存储系统具备高扩展性来应对PB级别的数据，同时要保证高I/O性能满足实时性需求。数据的安全性要求符合行业标准，成本控制是关键，且需要长期保存和高可用性技术。此外，存储系统的灵活性和扩展性也是设计时需要考虑的重要因素。 7. **传统存储系统架构**：传统的存储架构主要包括DAS、NAS和SAN。DAS是直接连接到服务器的存储，NAS通过网络提供文件级访问，而SAN则构建了一个专门用于存储的高速网络，提供了块级数据访问。 这些知识点构成了大数据学科的基础，对于理解和处理大数据问题至关重要。复习资料旨在帮助学生深入理解大数据的核心概念和技术，为后续的学习和实践打下坚实基础。