大数据考试复习：HDFS与数据寻址详解

大数据复习题4.0版包含了丰富的IT专业知识，主要针对大数据领域的重要知识点进行整理，适合开卷考试前的准备。以下是部分关键知识点的详细解析： 1. 大数据特征： - 数据规模巨大：单台机器难以处理和存储大量数据。 - 时间属性：数据随时间变化，如设备状态、事件发生时间。 - 多维度属性：数据包含多个维度的信息。 2. 数据存储技术： - HDFS：全称为Hadoop Distributed File System，分布式文件系统，用于存储大量数据。 - 文件复制与冗余：HDFS通过将文件复制到不同机架的随机节点，减少同一故障影响。 - 一致性访问： - 文件加锁：确保多用户访问数据一致性，防止冲突。 - 集中式本地锁：单一节点控制访问权限。 - 分布式锁：多个节点协作管理锁，提高可靠性。 3. 数据寻址： - 计算寻址：根据策略计算数据存储位置，效率高但易受单点故障影响，与节点数量相关。 - 集中查询：存储位置集中管理，但易成单点故障，与节点数量无关。 - Hadoop选择：采用集中查询方式，存在单点风险。 4. 哈希函数： - H(M)=D：M的取值空间远大于D（通常是固定长度），需通过取模运算调整哈希结果至实际存储位置。 5. 哈希数据寻址缺点与改进： - 单节点变化导致位置剧变：通过一致性哈希或约会哈希技术解决，保持稳定性。 6. 一致性哈希工作原理： - 将服务器和文件映射到环形数字空间，通过哈希算法均匀分布。 - 即使添加或移除服务器，只需少量调整即可维持数据分布的平衡，提高了系统的动态扩展性和容错性。 通过复习这些知识点，考生可以掌握大数据的基本概念、存储技术以及数据寻址方法，理解一致性哈希在分布式系统中的应用，有助于提升对大数据处理的理解和应对考试的能力。