Ubuntu安装hadoop
时间: 2023-05-25 08:02:25 浏览: 135
在Ubuntu上安装hadoop
A:
安装hadoop之前,需要先安装Java环境,这里以OpenJDK为例:
1. 在Ubuntu终端中输入以下命令更新软件包列表
sudo apt update
2. 安装OpenJDK
sudo apt install -y openjdk-8-jdk
注:hadoop 2.x.x 和 hadoop 3.x.x 可以使用不同版本的Java,建议在官网上查看哪些版本的Java适用于你所下载的版本的Hadoop。
3. 下载hadoop
下载Hadoop官网上的最新版本:https://hadoop.apache.org/releases.html
例如:
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz
4. 解压hadoop
tar -xf hadoop-3.2.2.tar.gz
mv hadoop-3.2.2 /usr/local/hadoop
5. 配置环境变量
vim ~/.bashrc
在文件的最后添加以下语句:
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_CLASSPATH=$JAVA_HOME/lib/tools.jar
6. 重新加载环境变量
source ~/.bashrc
7. 配置Hadoop
cd /usr/local/hadoop/etc/hadoop
vim hadoop-env.sh
打开文件,将以下内容添加到文件的最后:
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
注:根据你在第2步中使用的Java版本进行更改。
8. 配置hdfs-site.xml
cd /usr/local/hadoop/etc/hadoop
vim hdfs-site.xml
添加以下内容:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/hdfs/datanode</value>
</property>
</configuration>
注:可以根据需要更改副本数量和hdfs数据存储位置配置。
9. 配置core-site.xml
cd /usr/local/hadoop/etc/hadoop
vim core-site.xml
添加以下内容:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
注:更改默认端口号,如果需要。
10. 启动Hadoop
开始启动hadoop:
cd /usr/local/hadoop/sbin/
./start-all.sh
运行完毕后,可以通过以下链接检查Hadoop是否正常工作:http://localhost:9870
如果遇到问题,请查看Hadoop日志文件,日志文件在:/usr/local/hadoop/logs目录下。
停止Hadoop:
./stop-all.sh
至此,Hadoop已经安装完毕。
阅读全文