linux系统安装hadoop
时间: 2023-11-14 09:03:29 浏览: 120
linux安装Hadoop
1. 下载hadoop安装包
可以从Hadoop官方网站或者Apache软件基金会的官方网站下载到最新版本的Hadoop。
2. 配置Java环境
Hadoop是用Java编写的,因此需要先安装Java环境。可以使用以下命令检查Java是否已经安装:
```
java -version
```
如果Java环境未安装,则可以使用以下命令安装:
```
sudo apt-get update
sudo apt-get install default-jdk
```
3. 解压安装包
解压下载好的Hadoop安装包到指定的目录下,如:
```
tar -zxvf hadoop-2.9.2.tar.gz -C /usr/local/
```
4. 配置Hadoop环境变量
需要将Hadoop的bin目录添加到PATH环境变量中,可以使用以下命令:
```
export PATH=$PATH:/usr/local/hadoop-2.9.2/bin
```
还需要设置Hadoop的JAVA_HOME环境变量:
```
export JAVA_HOME=/usr/lib/jvm/default-java
```
可以将以上两个命令添加到~/.bashrc文件中,以保证每次登录自动加载。
5. 修改配置文件
Hadoop有多个配置文件,需要根据实际情况进行修改。其中,核心的配置文件是hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。
hadoop-env.sh文件中需要设置JAVA_HOME环境变量:
```
export JAVA_HOME=/usr/lib/jvm/default-java
```
core-site.xml文件中需要设置Hadoop的文件系统类型、Hadoop的默认文件系统、以及Hadoop的主机名和端口号:
```
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-2.9.2/tmp</value>
<description>A base for other temporary directories.</description>
</property>
</configuration>
```
hdfs-site.xml文件中需要设置Hadoop的数据存储路径:
```
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop-2.9.2/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop-2.9.2/hdfs/datanode</value>
</property>
</configuration>
```
mapred-site.xml文件中需要设置MapReduce框架的运行模式、框架名称和框架运行地址:
```
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>yarn.app.mapreduce.am.resource.mb</name>
<value>1024</value>
</property>
<property>
<name>mapreduce.map.memory.mb</name>
<value>512</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>512</value>
</property>
</configuration>
```
yarn-site.xml文件中需要设置YARN的资源管理器地址和端口号:
```
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
</configuration>
```
6. 格式化HDFS文件系统
在启动Hadoop之前,需要先格式化HDFS文件系统,使用以下命令:
```
hdfs namenode -format
```
7. 启动Hadoop
使用以下命令启动Hadoop:
```
start-all.sh
```
也可以使用以下命令分别启动Hadoop的各个服务:
```
start-dfs.sh
start-yarn.sh
```
8. 访问Hadoop
可以通过Web界面访问Hadoop,地址为http://localhost:50070/。如果看到了Hadoop的Web界面,则说明已经成功安装并启动了Hadoop。
阅读全文