hadoop hdfs和yarn集群配置

配置Hadoop HDFS和YARN集群涉及到几个重要的配置文件：

1. hdfs-site.xml：这个文件于配置HDFS相关的参数，如数据大小、副本数量、NameNode和Node的存储路径等。示例配置```xml
<configuration>
<!-- 设置数据块大小为128MB -->
<property>
<name>dfs.blocksize</name>
<value>134217728</value>
</property>

<!-- 设置副本数量为3 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>

<!-- 设置NameNode的存储路径 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>/path/to/namenode/directory</value>
</property>

<!--DataNode的存储路径 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>/path/to/datanode/directory</value>
</property>
</configuration>

2. yarn-site.xml：这个文件用于配置YARN相关的参数，如ResourceManager和NodeManager的内存大小、日志路径等。示例配置：

<configuration>
<!-- 设置ResourceManager的内存大小为4GB -->
<property>
<name>yarn.resourcemanager.memory.mb</name>
<value>4096</value>
</property>

<!-- 设置NodeManager的内存大小为2GB -->
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>2048</value>
</property>

<!-- 设置日志路径 -->
<property>
<name>yarn.nodemanager.log-dirs</name>
<value>/path/to/nodemanager/logs</value>
</property>

<!-- 设置YARN应用程序历史服务器的地址 -->
<property>
<name>yarn.timeline-service.address</name>
<value>hostname:port</value>
</property>
</configuration>

3. core-site.xml：这个文件用于配置Hadoop的核心参数，如HDFS的默认文件系统、YARN的默认资源管理器地址等。示例配置：

<configuration>
<!-- 设置HDFS的默认文件系统为hdfs://namenode:port -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://namenode:8020</value>
</property>

<!-- 设置YARN的默认资源管理器地址为resourcemanager:port -->
<property>
<name>yarn.resourcemanager.address</name>
<value>resourcemanager:8032</value>
</property>
</configuration>

这只是配置文件的基本示例，实际配置会根据你的集群规模和需求而有所不同。在配置文件中，你需要根据你的环境和需求修改相应的参数值。此外，还需要确保集群中所有节点上的配置文件保持一致。

配置完成后，将修改后的配置文件分发到集群中所有节点上，并重启HDFS和YARN服务，使配置生效。