hadoop伪分布式搭建

Hadoop伪分布式搭建，可以在一台机器上模拟多个节点的环境，以下是基本的搭建步骤：

1. 下载Hadoop安装包并解压缩到指定目录。

2. 配置Hadoop环境变量，在~/.bashrc文件中添加以下内容：

   export HADOOP_HOME=/path/to/hadoop
   export PATH=$PATH:$HADOOP_HOME/bin

然后在终端中执行source ~/.bashrc命令使配置生效。

3. 配置Hadoop的核心文件，包括core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml，这些文件位于Hadoop的conf目录中。

- 配置core-site.xml，添加以下内容：

     <configuration>
       <property>
         <name>fs.defaultFS</name>
         <value>hdfs://localhost:9000</value>
       </property>
     </configuration>

- 配置hdfs-site.xml，添加以下内容：

     <configuration>
       <property>
         <name>dfs.replication</name>
         <value>1</value>
       </property>
     </configuration>

- 配置mapred-site.xml，添加以下内容：

     <configuration>
       <property>
         <name>mapreduce.framework.name</name>
         <value>yarn</value>
       </property>
     </configuration>

- 配置yarn-site.xml，添加以下内容：

     <configuration>
       <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
       </property>
     </configuration>

4. 配置SSH服务，允许本地免密登录，这样可以避免每次执行Hadoop命令都需要输入密码。使用以下命令生成SSH密钥对：

   $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

然后将公钥添加到授权文件中：

   $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

5. 格式化Hadoop文件系统，使用以下命令：

   $ hdfs namenode -format

6. 启动Hadoop集群，使用以下命令：

   $ start-all.sh

7. 检查Hadoop集群是否正常运行，使用以下命令：

   $ jps

如果出现以下进程，则表示Hadoop集群已经启动成功：

   NameNode
   DataNode
   SecondaryNameNode
   ResourceManager
   NodeManager

以上是在一台机器上搭建Hadoop伪分布式环境的基本步骤，如果需要添加更多的节点，可以在不同的机器上按照相同的步骤安装Hadoop并配置，然后在每个节点上启动相应的服务即可。