hadoop集群配置文件

### Hadoop集群配置文件概述

Hadoop集群依赖多个核心配置文件来定义其运行参数和行为。这些配置文件通常位于`$HADOOP_HOME/etc/hadoop/`目录下，主要包括以下几个重要文件：

#### 1. core-site.xml 文件
此文件用于指定HDFS和YARN的核心默认配置[^4]。

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode_host:8020</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
    </property>
</configuration>

#### 2. hdfs-site.xml 文件
该文件主要用于设定HDFS的具体属性，如副本数量、存储位置等。

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/path/to/namenode/data</value>
    </property>
</configuration>

#### 3. yarn-site.xml 文件
负责管理资源调度器的行为以及节点间通信细节[^5]。

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>resourcemanager_host</value>
    </property>
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>8192</value>
    </property>
</configuration>

#### 4. mapred-site.xml 文件
用来控制MapReduce作业执行过程中的各种选项。

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.map.memory.mb</name>
        <value>1024</value>
    </property>
</configuration>

为了使上述更改生效，在修改完配置文件之后需要重启整个Hadoop集群服务[^2]。