ubuntu安装hadoop伪分布式教程
时间: 2023-07-02 15:20:25 浏览: 141
hadoop伪分布式安装教程
好的,下面是 Ubuntu 安装 Hadoop 伪分布式教程:
1. 安装 Java
首先需要安装 Java,可以使用以下命令:
```
sudo apt update
sudo apt install default-jdk
```
2. 下载 Hadoop
可以从 Hadoop 官网上下载最新版本的 Hadoop。
```
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz
```
3. 解压 Hadoop
使用以下命令解压:
```
tar xvf hadoop-3.2.2.tar.gz
```
4. 配置 Hadoop
进入 Hadoop 的目录,编辑 `etc/hadoop/hadoop-env.sh` 文件,设置 JAVA_HOME 环境变量:
```
export JAVA_HOME=/usr/lib/jvm/default-java
```
然后,编辑 `etc/hadoop/core-site.xml` 文件,设置 Hadoop 的数据存储位置:
```
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-3.2.2/data/tmp</value>
</property>
</configuration>
```
其中,`fs.defaultFS` 是 Hadoop 的默认文件系统地址,`hadoop.tmp.dir` 是 Hadoop 的临时目录。
接着,编辑 `etc/hadoop/hdfs-site.xml` 文件,设置 Hadoop 的副本数和数据块大小:
```
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.blocksize</name>
<value>128M</value>
</property>
</configuration>
```
最后,编辑 `etc/hadoop/mapred-site.xml` 文件,设置 MapReduce 的框架:
```
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
```
5. 启动 Hadoop
使用以下命令启动 Hadoop:
```
sbin/start-dfs.sh
sbin/start-yarn.sh
```
6. 验证 Hadoop
使用以下命令验证 Hadoop 是否正常运行:
```
jps
```
会显示以下进程:
```
DataNode
NameNode
SecondaryNameNode
ResourceManager
NodeManager
```
至此,Hadoop 伪分布式环境的安装和配置就完成了。
阅读全文