hadoop集群搭建ubuntu20

搭建Hadoop集群在Ubuntu 20上需要执行以下步骤：
1. 在Master节点上，使用以下命令下载Hadoop并解压缩到`/usr/local`目录：

sudo wget https://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz
sudo tar -zxf hadoop-3.3.0.tar.gz -C /usr/local
sudo mv /usr/local/hadoop-3.3.0 /usr/local/hadoop
sudo chown -R hadoop:hadoop /usr/local/hadoop

2. 配置Hadoop环境变量，在终端中运行以下命令：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source ~/.bashrc

3. 配置Hadoop集群的主节点和从节点，在`/usr/local/hadoop/etc/hadoop/slaves`文件中添加从节点的主机名或IP地址。
4. 配置Hadoop集群的核心文件，在`/usr/local/hadoop/etc/hadoop/core-site.xml`中添加以下内容：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
</configuration>

其中，`master`是主节点的主机名或IP地址。
5. 配置Hadoop集群的HDFS文件系统，在`/usr/local/hadoop/etc/hadoop/hdfs-site.xml`中添加以下内容：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
</configuration>

这里的`dfs.replication`表示数据副本的数量。
6. 配置Hadoop集群的YARN资源管理器，在`/usr/local/hadoop/etc/hadoop/yarn-site.xml`中添加以下内容：

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
</configuration>

7. 配置Hadoop集群的MapReduce框架，在`/usr/local/hadoop/etc/hadoop/mapred-site.xml`中添加以下内容：

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

8. 格式化HDFS文件系统，在终端中运行以下命令：

hdfs namenode -format

9. 启动Hadoop集群，在终端中运行以下命令：

start-dfs.sh
start-yarn.sh