hadoop分布式文件系统hdfs

### Hadoop分布式文件系统 (HDFS) 介绍

#### 概述
HDFS（Hadoop Distributed File System）是一种用于存储大型数据集的分布式文件系统，设计目标是在低成本硬件上运行并具备高容错能力[^1]。该系统能够处理大规模的数据集合，默认情况下支持GB至TB级别的数据量。

#### 工作原理
HDFS通过将单个文件切分成固定大小的数据块（blocks），通常为64MB或更大，并将其分布存储于集群中的不同节点上来实现高效管理与访问[^2]。为了提高可靠性，这些数据块会被复制多份——通常是三份——分布在不同的物理位置以防止因单一节点故障而导致的数据丢失。

#### 系统架构
HDFS主要由两类组件构成：

- **NameNode**: 负责维护整个文件系统的命名空间以及控制客户端对文件的操作；它还记录着各个DataNodes上的block位置信息。

- **DataNode**: 实际负责存储数据的具体服务器实例；它们定期向NameNode汇报状态更新和心跳信号来保持通信连接正常工作。

这种主从结构使得即使某个特定部分出现问题也不会影响整体服务继续运作的能力。

#### 主要特性
- 高度冗余：每个文件都会被分割成若干个小片段并保存至少三个以上的副本来确保安全性；
- 成本效益好：可以部署在普通的商用计算机之上而无需昂贵的专业设备投资；
- 大规模数据处理能力强：特别适用于需要频繁读写的海量静态资源场景；
- 数据本地性优化：尽可能让计算靠近实际存放的位置执行从而减少网络传输开销提升效率。

# Python伪代码展示如何创建一个简单的HDFS客户端程序
from hdfs import InsecureClient

client = InsecureClient('http://localhost:9870', user='hadoop')
with client.write('/example.txt') as writer:
    writer.write(b'Hello, world!\n')

print(client.read("/example.txt").read())