centos7安装hadoop详细步骤
时间: 2023-09-06 21:08:19 浏览: 38
以下是CentOS 7上安装Hadoop的详细步骤:
1. 安装Java
Hadoop需要Java运行环境,因此需要先安装Java。执行以下命令:
```
sudo yum install java-1.8.0-openjdk-devel
```
2. 下载Hadoop
从Hadoop官网下载Hadoop二进制文件,或者使用以下命令下载Hadoop 3.2.1:
```
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz
```
3. 解压Hadoop
使用以下命令解压Hadoop:
```
tar -xzvf hadoop-3.2.1.tar.gz
```
4. 配置环境变量
将以下配置添加到`~/.bashrc`文件中:
```
export HADOOP_HOME=/path/to/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
```
然后执行以下命令使配置生效:
```
source ~/.bashrc
```
5. 配置Hadoop
进入`$HADOOP_HOME/etc/hadoop`目录,编辑`hadoop-env.sh`文件,设置JAVA_HOME:
```
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.292.b10-1.el7_9.x86_64
```
接着编辑`core-site.xml`文件,添加以下内容:
```
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
```
然后编辑`hdfs-site.xml`文件,添加以下内容:
```
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/path/to/hadoop-3.2.1/data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/path/to/hadoop-3.2.1/data/datanode</value>
</property>
</configuration>
```
最后编辑`mapred-site.xml`文件,添加以下内容:
```
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
```
6. 格式化HDFS
执行以下命令格式化HDFS:
```
hdfs namenode -format
```
7. 启动Hadoop
执行以下命令启动Hadoop:
```
start-all.sh
```
8. 验证安装
执行以下命令查看Hadoop进程是否启动:
```
jps
```
如果输出类似以下内容,则表示Hadoop安装成功:
```
NameNode
SecondaryNameNode
ResourceManager
DataNode
NodeManager
Jps
```