ubuntu16.04安装hadoop3.1.3
时间: 2023-04-26 18:04:08 浏览: 219
大数据 hadoop-3.1.3 linux 安装包
以下是Ubuntu 16.04安装Hadoop 3.1.3的步骤:
1. 下载Hadoop 3.1.3的二进制文件,可以从官网下载:https://hadoop.apache.org/releases.html#Download
2. 解压缩下载的文件,将解压后的文件夹移动到/usr/local/hadoop目录下:
sudo tar -zxvf hadoop-3.1.3.tar.gz -C /usr/local/
sudo mv /usr/local/hadoop-3.1.3 /usr/local/hadoop
3. 配置Hadoop环境变量,打开/etc/profile文件,添加以下内容:
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
4. 配置Hadoop的核心文件,打开/usr/local/hadoop/etc/hadoop/hadoop-env.sh文件,将JAVA_HOME设置为JDK的安装路径:
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
5. 配置Hadoop的主节点和从节点,打开/usr/local/hadoop/etc/hadoop/core-site.xml文件,添加以下内容:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:900</value>
</property>
</configuration>
6. 配置Hadoop的HDFS,打开/usr/local/hadoop/etc/hadoop/hdfs-site.xml文件,添加以下内容:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop/hadoop_data/hdfs/datanode</value>
</property>
</configuration>
7. 配置Hadoop的YARN,打开/usr/local/hadoop/etc/hadoop/yarn-site.xml文件,添加以下内容:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
8. 格式化HDFS,执行以下命令:
hdfs namenode -format
9. 启动Hadoop,执行以下命令:
start-all.sh
以上就是Ubuntu 16.04安装Hadoop 3.1.3的步骤。
阅读全文