hadoop安装详细步骤centos
时间: 2023-04-13 20:03:47 浏览: 154
hadoop安装步骤
以下是在CentOS上安装Hadoop的详细步骤:
1. 安装Java
Hadoop需要Java环境,因此需要先安装Java。可以使用以下命令安装OpenJDK:
```
sudo yum install java-1.8.-openjdk-devel
```
2. 下载Hadoop
可以从Hadoop官网下载最新版本的Hadoop。下载完成后,将文件解压缩到一个目录中。
3. 配置Hadoop环境变量
在.bashrc文件中添加以下内容:
```
export HADOOP_HOME=/path/to/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
```
4. 配置Hadoop
进入Hadoop目录,编辑etc/hadoop/hadoop-env.sh文件,将JAVA_HOME设置为Java安装路径:
```
export JAVA_HOME=/usr/lib/jvm/java-1.8.-openjdk
```
然后编辑etc/hadoop/core-site.xml文件,添加以下内容:
```
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:900</value>
</property>
</configuration>
```
接着编辑etc/hadoop/hdfs-site.xml文件,添加以下内容:
```
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/path/to/hadoop/data/dfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/path/to/hadoop/data/dfs/datanode</value>
</property>
</configuration>
```
最后编辑etc/hadoop/mapred-site.xml文件,添加以下内容:
```
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
```
5. 格式化Hadoop文件系统
在Hadoop目录中运行以下命令:
```
hdfs namenode -format
```
6. 启动Hadoop
在Hadoop目录中运行以下命令启动Hadoop:
```
sbin/start-all.sh
```
7. 验证Hadoop
在浏览器中访问http://localhost:50070/,应该能够看到Hadoop的Web界面。在终端中运行以下命令,应该能够看到Hadoop的文件系统:
```
hdfs dfs -ls /
```
以上就是在CentOS上安装Hadoop的详细步骤。
阅读全文