搭建hadoop完全分布式集群具体步骤

搭建Hadoop完全分布式集群的步骤如下：

1. 安装Java环境
首先需要在所有节点上安装Java环境，建议使用Java 8或以上版本。

2. 安装Hadoop
下载Hadoop的稳定版本，然后将其解压到一个合适的位置。接着，需要在所有节点上配置Hadoop的环境变量，例如将Hadoop的bin目录添加到PATH中，将Hadoop的主目录添加到HADOOP_HOME中。

3. 配置Hadoop
在所有节点上的Hadoop主目录下，有一个conf目录，其中包含了Hadoop的配置文件。需要根据实际情况修改hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml这些文件。其中，hadoop-env.sh主要用于设置环境变量，core-site.xml主要用于设置Hadoop的核心配置，hdfs-site.xml主要用于设置HDFS相关的配置，mapred-site.xml主要用于设置MapReduce相关的配置，yarn-site.xml主要用于设置YARN相关的配置。

4. 配置SSH免密登录
为了方便管理Hadoop集群，需要配置SSH的免密登录。在所有节点上，需要生成SSH密钥文件，并将密钥文件拷贝到所有节点上。此外，需要在所有节点上的SSH配置文件~/.ssh/config中添加如下内容：

Host *
    StrictHostKeyChecking no
    UserKnownHostsFile=/dev/null

5. 格式化HDFS
在Hadoop集群中，HDFS是一个重要的组件。在使用HDFS之前，需要对其进行格式化。在NameNode节点上执行如下命令：

hdfs namenode -format

6. 启动Hadoop
在所有节点上启动Hadoop，具体命令如下：

start-dfs.sh
start-yarn.sh

7. 验证Hadoop
可以通过Web界面验证Hadoop是否正常工作。在浏览器中输入http://<NameNode>:50070，可以查看HDFS的状态。在浏览器中输入http://<ResourceManager>:8088，可以查看YARN的状态。

以上就是搭建Hadoop完全分布式集群的具体步骤。