hadoop完全分布式配置文件怎么写

Hadoop完全分布式配置文件主要包括以下几个部分：

1. Hadoop集群的基本配置

在hadoop-env.sh文件中配置Hadoop的环境变量，例如JAVA_HOME、HADOOP_HOME等。

2. Hadoop集群的网络配置

在core-site.xml文件中配置Hadoop的网络参数，例如Hadoop的默认文件系统、Hadoop的数据存储路径、Hadoop的日志存储路径等。

3. Hadoop集群的数据节点配置

在hdfs-site.xml文件中配置Hadoop的数据节点参数，例如Hadoop的数据块大小、Hadoop的数据副本数、Hadoop的NameNode和DataNode的堆大小等。

4. Hadoop集群的任务调度配置

在mapred-site.xml文件中配置Hadoop的任务调度参数，例如Hadoop的Map任务和Reduce任务的数量、Hadoop的任务调度器类型等。

具体配置可以参考以下示例：

hadoop-env.sh：

export JAVA_HOME=/usr/local/jdk1.8.0_221
export HADOOP_HOME=/usr/local/hadoop-2.7.7

core-site.xml：

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-2.7.7/tmp</value>
</property>
</configuration>

hdfs-site.xml：

<configuration>
<property>
<name>dfs.blocksize</name>
<value>128m</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.heapsize</name>
<value>1024m</value>
</property>
<property>
<name>dfs.datanode.heapsize</name>
<value>1024m</value>
</property>
</configuration>

mapred-site.xml：

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobtracker.address</name>
<value>localhost:54311</value>
</property>
<property>
<name>mapreduce.map.memory.mb</name>
<value>1024</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>2048</value>
</property>
</configuration>