Hadoop安装与伪分布式集群搭建

Hadoop安装与伪分布式集群搭建步骤如下：

1.下载Hadoop安装包并解压缩到指定目录，例如/opt/module/hadoop-2.7.3。

2.配置环境变量，打开/etc/profile文件并添加以下内容：

export HADOOP_HOME=/opt/module/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3.修改Hadoop配置文件，进入Hadoop安装目录下的/etc/hadoop目录，修改以下配置文件：

core-site.xml：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

mapred-site.xml：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

4.格式化Hadoop文件系统，执行以下命令：

hdfs namenode -format

5.启动Hadoop集群，执行以下命令：

start-all.sh

6.验证Hadoop集群是否正常运行，执行以下命令：

jps

如果输出结果中包含NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager等进程，则说明Hadoop集群已经成功启动。