hadoop配置部署

Hadoop的配置部署可以按照以下步骤进行：

1. 进入到Hadoop安装目录中的etc/hadoop目录下：cd /usr/local/src/hadoop/etc/hadoop
2. 编辑core-site.xml文件：vi core-site.xml
3. 在文件中添加以下配置：

   <property>
     <name>fs.defaultFS</name>
     <value>hdfs://master:9000</value>
   </property>
   <property>
     <name>HADOOP.tmp.dir</name>
     <value>/usr/local/usr/hadoop/data/tmp</value>
   </property>

4. 保存并退出core-site.xml文件。
5. 编辑hdfs-site.xml文件：vi hdfs-site.xml
6. 在文件中添加以下配置：

   <property>
     <name>dfs.replication</name>
     <value>3</value>
   </property>
   <property>
     <name>dfs.namenode.name.dir</name>
     <value>/usr/local/usr/hadoop/data/dfs/name</value>
   </property>
   <property>
     <name>dfs.datanode.data.dir</name>
     <value>/usr/local/usr/hadoop/data/dfs/data</value>
   </property>

7. 保存并退出hdfs-site.xml文件。
8. 编辑mapred-site.xml文件：vi mapred-site.xml.template
9. 将文件另存为mapred-site.xml。
10. 在mapred-site.xml文件中添加以下配置：

    <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
    </property>

11. 保存并退出mapred-site.xml文件。
12. 复制hadoop-env.sh.template文件并命名为hadoop-env.sh：cp hadoop-env.sh.template hadoop-env.sh
13. 编辑hadoop-env.sh文件：vi hadoop-env.sh
14. 在文件中添加以下配置：

    export JAVA_HOME=/software/jdk/
    export HADOOP_HOME=/software/hadoop
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

15. 保存并退出hadoop-env.sh文件。