配置hadoop完全分布式

配置 Hadoop 完全分布式环境主要包括以下几个步骤，假设你正在安装的是 Hadoop 2.x 或更高版本：

1. **安装 Hadoop**：首先，你需要在每个计算节点上安装 Hadoop 包含 HDFS、MapReduce 和 YARN 等组件。可以从 Hadoop官方网站下载合适的版本，如 tarball 格式，然后解压并按照说明文档进行安装。

2. **环境变量设置**：为每个节点设置环境变量，包括 `JAVA_HOME`、`HADOOP_INSTALL_DIR`、`HADOOP_CONF_DIR` 等，特别是在 `/etc/profile` 或者用户特定的 `.bashrc` 文件中添加这些路径。

3. **配置核心文件**：修改 `core-site.xml`，设置集群名称 (`<property><name>fs.default.name</name><value>hdfs://master:9000</value></property>`) 和其他的配置项，如 namenode和datanode的数量等。在这里，“master”是你的Hadoop集群的主节点地址。

4. **配置 HDFS**：修改 `hdfs-site.xml`，设置 block size、replication factor、datanode 数量以及副本策略等。对于完全分布，通常不需要指定 datanode 地址，因为它们会在启动时自动加入。

5. **配置 MapReduce**：在 `mapred-site.xml` 中配置 yarn相关的属性，比如队列管理和资源调度策略。

6. **启动服务**：在每个节点上，分别启动 Namenode、Datanodes、ResourceManager、NodeManager 和 JobHistoryServer 服务。启动命令通常是 `start-dfs.sh` 和 `start-yarn.sh`。

7. **验证配置**：通过 Hadoop CLI 工具，如 `hdfs dfsadmin -report` 或 `yarn nodes` 来验证各个服务是否正常启动并且互相连接成功。

8. **安全配置（可选）**：如果你的集群涉及到敏感信息或者网络通信，可能还需要配置 Kerberos 或者 SSL/TLS 加密。