hadoop完全分布式模式

### Hadoop 完全分布式模式配置与运行操作指南

#### 1. 环境准备
为了确保Hadoop能够在完全分布式的环境中正常工作，需要预先准备好多台机器组成的集群环境。每台机器都需要安装相同版本的Java环境，并且能够通过SSH无密码登录其他节点。

#### 2. 下载并解压Hadoop包
在所有节点上下载相同的Hadoop压缩包，并将其解压到指定位置。假设解压后的路径为`/opt/module/hadoop-2.7.2/`[^2]。

#### 3. 修改核心配置文件core-site.xml
编辑`$HADOOP_HOME/etc/hadoop/core-site.xml`文件，在其中添加如下属性以设置NameNode地址：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode_host:9000</value>
    </property>
</configuration>

此处需替换`namenode_host`为主节点的实际主机名或IP地址。

#### 4. 设置YARN框架名称
继续在同一文件中追加用于指示MapReduce作业提交给YARN调度器的相关参数:

<!-- 指定mr运行在yarn上 -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

这一步骤对于启用YARN作为资源管理平台至关重要[^3]。

#### 5. 配置HDFS站点配置(hdfs-site.xml)
同样位于`$HADOOP_HOME/etc/hadoop/`目录下创建或修改名为`hdfs-site.xml`的XML文档，定义数据块副本数量以及两个Namenodes的具体信息(如果启用了HA特性):

<configuration>
    <!-- 数据冗余度，默认情况下保存三份拷贝 -->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>

    <!-- 如果开启了高可用(HA)，则还需要指明Active和Standby NameNodes的信息 -->
    <property>
        <name>dfs.nameservices</name>
        <value>mycluster</value>
    </property>
    
    <property>
        <name>dfs.ha.namenodes.mycluster</name>
        <value>nn1,nn2</value>
    </property>
    
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn1</name>
        <value>namenode1:8020</value>
    </property>
    
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn2</name>
        <value>namenode2:8020</value>
    </property>
</configuration>

这里需要注意的是，当涉及到高可用部署时，除了上述基本配置外，还需额外考虑JournalNodes的位置以及其他必要的安全性和性能优化选项[^4]。

#### 6. 初始化HDFS文件系统
回到主控节点（即被选作初始NameNode的那个），执行初始化命令来构建新的命名空间结构体：

hdfs namenode -format mycluster

此过程仅需执行一次即可完成整个集群内所有DataNodes上的元数据同步。

#### 7. 启动Hadoop服务
依次启动各个组件的服务进程，通常顺序是从Zookeeper开始，接着是HDFS，最后才是YARN ResourceManager及其附属的应用程序Master实例。具体可以通过脚本批量处理或者手动逐条输入相应指令实现自动化运维目标。

# 开始前先确认防火墙已关闭或开放必要端口通信权限
start-dfs.sh      # 启动Datanode和Namenode守护线程
start-yarn.sh     # 接着开启ResourceManager及相关辅助模块
mr-jobhistory-daemon.sh start historyserver   # 可选：使能历史记录服务器以便追踪已完成的任务详情

以上步骤完成后便标志着一个完整的Hadoop生态系统已经搭建完毕，接下来就可以按照实际需求编写应用程序并通过客户端API接口提交至集群进行大规模数据分析计算了。