hadoop安装与配置centos7

Hadoop安装与配置CentOS7的步骤如下：

1. 安装Java环境

Hadoop需要Java环境支持，因此需要先安装Java环境。可以通过以下命令安装：

yum install java-1.8.0-openjdk-devel

2. 下载Hadoop

可以从官网下载Hadoop，也可以使用以下命令下载：

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz

3. 解压Hadoop

使用以下命令解压Hadoop：

tar -zxvf hadoop-3.3.0.tar.gz

4. 配置Hadoop环境变量

在/etc/profile文件中添加以下内容：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后执行以下命令使环境变量生效：

source /etc/profile

5. 配置Hadoop

进入Hadoop的conf目录，编辑hadoop-env.sh文件，设置JAVA_HOME环境变量：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

然后编辑core-site.xml文件，添加以下内容：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

接着编辑hdfs-site.xml文件，添加以下内容：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop/hadoop_data/hdfs/datanode</value>
    </property>
</configuration>

最后编辑mapred-site.xml文件，添加以下内容：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

6. 格式化Hadoop文件系统

使用以下命令格式化Hadoop文件系统：

hdfs namenode -format

7. 启动Hadoop

使用以下命令启动Hadoop：

start-all.sh

8. 验证Hadoop是否正常运行

使用以下命令查看Hadoop运行状态：

jps

如果输出类似以下内容，则表示Hadoop正常运行：

NameNode
SecondaryNameNode
DataNode
ResourceManager
NodeManager
Jps