hadoop配置文件详解

Hadoop配置文件是用来配置Hadoop集群的参数和属性的文件。它们位于Hadoop安装目录的`etc/hadoop`文件夹中。以下是一些常见的Hadoop配置文件及其详解：

1. **core-site.xml**: 这个配置文件包含了Hadoop核心的配置属性，比如文件系统的默认URI、I/O缓冲区大小和权限检查等。其中一个重要的属性是`fs.defaultFS`，它指定了默认的文件系统URI。

2. **hdfs-site.xml**: 这个配置文件包含了Hadoop分布式文件系统（HDFS）的配置属性。它定义了HDFS的数据块大小、副本数量、存储路径等。其中一个重要的属性是`dfs.replication`，它指定了数据块的副本数量。

3. **mapred-site.xml**: 这个配置文件包含了MapReduce框架的配置属性。它定义了作业跟踪器和任务跟踪器的地址、任务重试次数、任务并行度等。其中一个重要的属性是`mapreduce.framework.name`，它指定了使用的MapReduce框架。

4. **yarn-site.xml**: 这个配置文件包含了YARN（Yet Another Resource Negotiator）资源管理框架的配置属性。它定义了资源管理器和节点管理器的地址、任务分配策略、容器内存大小等。其中一个重要的属性是`yarn.resourcemanager.hostname`，它指定了资源管理器的主机名。

这些只是Hadoop配置文件的一部分，还有其他一些配置文件用于特定组件或插件的配置。每个配置文件都有其特定的作用，通过修改这些配置文件，可以根据集群的需求来定制Hadoop的行为和性能。