尚硅谷hadoop集群配置

尚硅谷hadoop集群配置可以按照以下步骤进行：

1. 配置hadoop-env.sh文件：打开hadoop-env.sh配置文件，路径为/environment/hadoop-2.8.3/etc/hadoop/hadoop-env.sh，使用vim命令进行编辑。在文件中添加以下内容：

   export JAVA_HOME=/environment/jdk1.8.0_261

这样可以指定Java的安装路径。

2. 配置core-site.xml文件：打开core-site.xml配置文件，路径为/environment/hadoop-2.8.3/etc/hadoop/core-site.xml，使用vim命令进行编辑。在文件中添加以下内容：

   <configuration>
     <property>
       <name>fs.defaultFS</name>
       <value>hdfs://Hadoop01:9000</value>
     </property>
   </configuration>

这样可以指定Hadoop的默认文件系统为HDFS，并设置HDFS的地址为Hadoop01:9000。

3. 配置hdfs-site.xml文件：打开hdfs-site.xml配置文件，路径为/environment/hadoop-2.8.3/etc/hadoop/hdfs-site.xml，使用vim命令进行编辑。在文件中添加以下内容：

   <configuration>
     <property>
       <name>dfs.replication</name>
       <value>2</value>
     </property>
   </configuration>

这样可以设置HDFS的副本数为2。

4. 配置mapred-site.xml文件：打开mapred-site.xml配置文件，路径为/environment/hadoop-2.8.3/etc/hadoop/mapred-site.xml，使用vim命令进行编辑。在文件中添加以下内容：

   <configuration>
     <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
     </property>
   </configuration>

这样可以指定MapReduce的框架为YARN。

5. 配置yarn-site.xml文件：打开yarn-site.xml配置文件，路径为/environment/hadoop-2.8.3/etc/hadoop/yarn-site.xml，使用vim命令进行编辑。在文件中添加以下内容：

   <configuration>
     <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
     </property>
     <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
     </property>
     <property>
       <name>yarn.resourcemanager.hostname</name>
       <value>Hadoop01</value>
     </property>
   </configuration>

这样可以设置YARN的辅助服务为mapreduce_shuffle，并指定YARN的资源管理器的主机名为Hadoop01。

6. 拷贝配置文件：将以上配置文件拷贝到其他Hadoop集群节点机器上，确保每台机器上的配置文件一致。

以上是尚硅谷hadoop集群配置的步骤。请根据实际情况进行配置。
#### 引用[.reference_title]
- *1* *2* *3* [Hadoop 尚硅谷笔记（一） 概述以及集群环境搭建](https://blog.csdn.net/qq_41143671/article/details/109903098)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]