Hadoop HDFS

Hadoop HDFS (Hadoop Distributed File System) 是Apache Hadoop项目的核心组件，它是一个分布式文件系统，专为大规模数据集设计，尤其适合处理超大数据集的存储和处理需求。HDFS的设计目标是在廉价硬件上实现高吞吐量的数据访问。

**原理与操作**[^4]:
1. **冗余存储**: 数据通常会被复制到不同的节点上，以提高容错性和可扩展性。默认情况下，每个块会在三个不同的节点上保存。

   fs.defaultReplication = 3 # 块副本数

2. **分片（Block）**: 大文件被分成称为“块”的小部分，每个块大小一般为128MB或256MB。

3. **名称节点（NameNode）**: 是整个系统的元数据管理者，负责跟踪文件系统中文件的位置和它们的副本。

4. **数据节点（DataNodes）**: 存储实际的数据块，当数据写入时，会由名称节点分配给最近可用的数据节点。

**特点**[^5]:
1. **高容错性**: 即使有节点失败，数据仍可通过其他副本恢复。
2. **大文件处理**: 适合大量小文件的并行读取和写入。
3. **可伸缩性**: 容易添加更多存储节点来增加存储容量。

**应用场景**[^6]:
- 大规模数据分析任务如MapReduce作业执行。
- 海量日志存储和分析。
- 存储结构化和非结构化的数据。