hdfs和HBASE读写流程

HDFS (Hadoop Distributed File System) 和 HBase 是 Apache Hadoop 生态系统中的两个重要组件，它们在分布式数据存储和处理中有各自的角色。

HDFS 读写流程大致如下：

1. **客户端发起请求**：用户通过 HDFS API 向 NameNode 发出文件操作请求（如读取或写入），NameNode 负责全局文件系统的元数据管理。

2. **元数据查询**：NameNode 接收请求后，验证权限并返回文件块的位置信息给客户端。

3. **数据定位**：客户端根据 NameNode 提供的信息找到 DataNode 的地址列表。

4. **数据传输**：客户端将数据分片（Block）发送到相应的 DataNode，并记录副本数以保证数据冗余。

5. **DataNode 数据接收和处理**：当 DataNode 收到数据后，将其写入磁盘并更新自身的块列表。

6. **读取过程**：如果需要读取数据，客户端同样先向 NameNode 查询文件位置，然后从 DataNode 获取数据。

HBase 的读写流程：

1. **客户端连接**：客户端通过 Java API 或其他客户端库连接到 ZooKeeper 集群获取 HBase Master 的地址。

2. **表和行键查询**：客户端将表名、行键发送到 Master，Master 返回 RegionServer 的位置。

3. **RegionServer定位**：客户端找到负责该 Region 的 RegionServer。

4. **数据读写**：对于写入操作，客户端将请求发送到 RegionServer，RegionServer 将数据写入 MemStore，之后可能会触发 Compaction 过程，将 MemStore 中的数据刷入 HFile 到硬盘；读取操作则直接从 HFile 中查找数据。

5. **结果返回**：读写完成后，结果通过网络返回给客户端。