hadoop系统伪分布式搭建

Hadoop系统的伪分布式搭建步骤如下：

1. 首先，确保已经正确安装和配置了Hadoop系统。这包括正确设置JAVA_HOME和HADOOP_HOME环境变量，并在Hadoop配置文件中正确配置相关参数。

2. 然后，需要在Hadoop配置文件中进行以下设置：
a. 在core-site.xml文件中，设置fs.defaultFS属性为hdfs://localhost:9000，以指定HDFS的默认文件系统。
b. 在hdfs-site.xml文件中，设置dfs.replication属性为1，以确保数据的冗余备份为1份。
c. 在mapred-site.xml文件中，设置mapreduce.framework.name属性为yarn，以指定使用YARN作为MapReduce的资源管理器。
d. 在yarn-site.xml文件中，设置yarn.nodemanager.aux-services属性为mapreduce_shuffle，以启用MapReduce的Shuffle服务。

3. 接下来，需要格式化HDFS文件系统。在命令行中输入"hdfs namenode -format"命令，以格式化HDFS。

4. 启动Hadoop集群。首先启动HDFS，使用命令"hadoop-daemon.sh start namenode"启动NameNode服务，使用命令"hadoop-daemon.sh start datanode"启动DataNode服务。然后启动YARN，使用命令"start-yarn.sh"启动ResourceManager和NodeManager服务。

5. 验证Hadoop集群是否成功启动。可以通过访问http://localhost:50070/来查看Hadoop集群的Web界面，确认相关服务是否已经启动。