在 centos7 上怎么安装hadooop
时间: 2024-05-01 09:16:25 浏览: 6
以下是在 CentOS 7 上安装 Hadoop 的步骤:
1. 安装 Java:
```
sudo yum install java-1.8.0-openjdk-devel
```
2. 下载 Hadoop:
```
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
```
3. 解压 Hadoop:
```
tar -xzf hadoop-3.3.1.tar.gz
```
4. 设置 Hadoop 环境变量:
```
export HADOOP_HOME=/path/to/hadoop-3.3.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
```
可以将上述命令添加到 /etc/profile 文件中,以便在每次登录时自动设置环境变量。
5. 配置 Hadoop:
进入 Hadoop 的配置目录:
```
cd $HADOOP_HOME/etc/hadoop
```
修改 core-site.xml 文件:
```
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
```
修改 hdfs-site.xml 文件:
```
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
```
修改 yarn-site.xml 文件:
```
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
```
修改 mapred-site.xml 文件:
```
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>localhost:54311</value>
</property>
</configuration>
```
6. 格式化 Hadoop 文件系统:
```
hdfs namenode -format
```
7. 启动 Hadoop:
```
start-all.sh
```
或者分别启动各个组件:
```
start-dfs.sh
start-yarn.sh
```
可以使用 jps 命令检查是否启动成功。
以上就是在 CentOS 7 上安装 Hadoop 的全部步骤。