Hadoop3.3.0集群配置详细步骤，已有hadoop01，hadoop02，hadoop03

下面是Hadoop 3.3.0集群配置的详细步骤：

1. 安装Java环境

确保每台服务器上都已安装Java环境，并设置JAVA_HOME环境变量。

2. 下载Hadoop 3.3.0

从官网下载Hadoop 3.3.0二进制包，解压到每台服务器的相同目录下，例如：/opt/hadoop-3.3.0。

3. 配置Hadoop集群

在每台服务器上，编辑Hadoop的配置文件，主要包括core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml。

core-site.xml：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop01:9000</value>
  </property>
</configuration>

hdfs-site.xml：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/data/hadoop/dfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/data/hadoop/dfs/data</value>
  </property>
</configuration>

mapred-site.xml：

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

yarn-site.xml：

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop01</value>
  </property>
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>2048</value>
  </property>
  <property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>2048</value>
  </property>
</configuration>

其中，dfs.replication表示数据副本数，dfs.namenode.name.dir和dfs.datanode.data.dir分别表示NameNode和DataNode的数据存储路径，yarn.nodemanager.resource.memory-mb和yarn.scheduler.maximum-allocation-mb表示每个NodeManager的内存大小。

4. 配置SSH免密码登录

在每台服务器上，使用ssh-keygen命令生成公钥和私钥，并将公钥拷贝到其他服务器的authorized_keys文件中，实现SSH免密码登录。

5. 启动Hadoop集群

在NameNode服务器上，使用start-dfs.sh和start-yarn.sh命令启动Hadoop集群。在DataNode服务器上，使用start-dfs.sh命令启动DataNode进程。

6. 验证Hadoop集群

使用jps命令查看每台服务器上的Hadoop进程，确保NameNode、DataNode、ResourceManager和NodeManager进程均已启动。使用hadoop fs -ls /命令验证Hadoop集群是否正常工作。

以上就是Hadoop 3.3.0集群配置的详细步骤，希望能对您有所帮助。