大数据基础：练习题解析

"该资源是一份关于大数据计算基础的练习题，主要涵盖了大数据的基本概念、技术框架、存储系统以及相关的计算模型。练习题包括对大数据特性的理解、HDFS的核心、Spark与大数据的关系、NoSQL数据库介绍等内容，并涉及到图算法、分布式系统的一致性等高级主题。" 1. 大数据的相似性计算通常指的是如何衡量两个数据集之间的相似程度，这可以通过各种距离度量（如欧氏距离、余弦相似性）或聚类算法来实现。优化代价可能涉及选择合适的算法和调整参数以平衡计算效率和结果准确性。 2. 在大数据处理中，解决“主存不足”的问题通常通过分布式计算和数据分区来实现，将大文件分解成小块存储在多台机器上。而解决“数据太大”则涉及数据压缩、采样和近似算法，以减少需要处理的数据量。 3. 众包是指利用大众的力量完成任务，例如通过网络平台将任务分配给大量非专业人员，如Google的街景地图就是通过众包收集的。应用包括图像标注、文本分类、翻译等。 4. Spark是大数据处理的快速通用计算引擎，它与大数据的关系在于提供了高效的批处理、交互式查询（如Spark SQL）和实时流处理能力。Spark相比Hadoop MapReduce具有更快的速度和更易于使用的API。 5. 大数据的“三个V”指的是Volume（大量）、Velocity（高速）和Variety（多样），后来有的扩展还包括Value（价值）和Veracity（真实性）。 6. HDFS（Hadoop Distributed File System）的核心块包括NameNode（管理元数据）、DataNode（存储数据块）以及Block（数据分块机制），通常每个块的大小为128MB或256MB。 7. MapReduce是一种编程模型，用于大规模数据集的并行计算，由“Map”阶段（数据映射）和“Reduce”阶段（数据聚合）组成。 8. MapReduce可以用来实现简单的WordCount程序，统计文本中各个单词的出现次数。Map阶段将输入文件切分成键值对，Reduce阶段则对相同键的值进行聚合。 9. NoSQL（Not Only SQL）是非关系型数据库，适用于处理大规模分布式数据，常见的NoSQL类型有键值对存储、列族数据库、文档数据库和图形数据库。 10. 图算法问题涉及到图的遍历和最小生成树（Minimum Spanning Tree, MST）。在内存不足以存储整个图时，可以通过块划分策略进行分治处理，以减少I/O操作。 11. Redis作为内存数据库，常用于缓存以提高数据访问速度。在设计高可用性系统时，数据复制和一致性策略是关键，如Redis支持的主从复制和分布式锁机制。 12. 并发读写时，系统的一致性模型包括强一致性（strong consistency）和最终一致性（eventual consistency）。在不使用分布式事务或特殊一致性协议的情况下，可能无法保证强一致性，但通常可以实现最终一致性，即所有节点在一段时间后会达到相同状态。 13. 在外部存储上维护数据序列的安全性涉及日志记录、事务管理和备份恢复策略，确保在系统故障时能恢复数据的完整性。