hadoop hdfs3.4.0配置

Hadoop HDFS (Hadoop Distributed File System) 是一个分布式文件系统，用于大规模数据存储和处理。在Hadoop 3.4.0版本中配置，以下是基本步骤：

1. **环境准备**：
- 安装Java JDK：因为Hadoop需要Java运行环境。
- 安装Hadoop：从Apache官网下载Hadoop 3.4.0的安装包并按照文档进行安装。

2. **配置核心文件**：
- 修改`conf/core-site.xml`：
- 设置`fs.defaultFS`：指定默认的文件系统地址，如`hdfs://localhost:9000`。
- 配置`hadoop.tmp.dir`：临时目录路径。

3. **配置名称节点**：
- 在`conf/hdfs-site.xml`中：
- 设置`dfs.nameservices`：如果集群有多个名称节点，这里定义服务名。
- `dfs.ha.namenodes.<service_name>`：设置主备名称节点的主机名和端口。
- 配置`dfs.client.failover.proxy.provider.<service_name>`，指定连接代理提供者。

4. **启动守护进程**：
- 启动NameNode (`bin/start-dfs.sh`) 和 DataNodes (`bin/start-datanode.sh`)。
- 使用`bin/hadoop haadmin`命令初始化高可用名称节点。

5. **安全模式**：
- HDFS会进入安全模式，直到所有DataNode报告它们已成功同步到NameNode。

6. **验证配置**：
- 使用`hdfs dfsadmin -report`检查集群状态。