配置Hadoop 2.0和Hadoop 3.0集群

### Hadoop 2.0 和 Hadoop 3.0 分布式集群配置对比

#### 主要差异概述
Hadoop 3.0 是对 Hadoop 2.x 的一次重要升级，在性能、稳定性和功能上都有显著改进。两者的主要区别体现在架构优化、新特性支持以及默认配置的不同。

#### 软件获取与解压
对于两个版本而言，首先都需要从官方站点下载对应版本的压缩包并将其放置到服务器节点上的相同目录下：

tar -zxvf hadoop-2.7.3.tar.gz    # 解压Hadoop 2.0版本
tar -zxvf hadoop-3.2.2.tar.gz    # 解压Hadoop 3.0版本

#### 环境变量设置
无论是哪个版本，都建议将 `JAVA_HOME` 及 `HADOOP_HOME` 添加至环境变量中以便于命令行操作。需要注意的是，自 Hadoop 3 开始，默认不再依赖 Oracle JDK，而是可以兼容 OpenJDK[^1]。

#### 配置文件修改
这是两版之间最明显的不同之处之一。以下是主要配置项的变化情况：

##### core-site.xml 文件
此文件用于定义基本参数如临时路径等。在 Hadoop 3 中引入了一些新的属性来增强安全性和支持更多平台特性。

##### hdfs-site.xml 文件
该文件主要用于设定 NameNode 和 DataNode 的具体行为。值得注意的是，Hadoop 3 改进了高可用机制(HA)，使得 HA 更加容易部署和管理；同时增加了 Erasure Coding 功能以提高存储效率[^2]。

##### yarn-site.xml 文件
YARN (Yet Another Resource Negotiator) 组件负责资源管理和调度工作负载的任务分配给各个计算节点执行。随着 Yarn API 接口不断成熟完善，Hadoop 3 提供了更好的多租户隔离能力和更灵活的应用程序框架集成方式。

##### mapred-site.xml 文件
MapReduce 编程模型的相关选项在此处指定。尽管 MapReduce 已经不是唯一的大数据分析工具，但在某些场景下仍然被广泛采用。新版继续沿用了旧有的大部分配置键名，但也增加了一些针对性能调优的新参数。

#### 启动服务
完成上述准备工作之后就可以依次启动各组件的服务进程了。这里给出了一种通用的方法适用于大多数情况下快速验证安装成果的有效性：

cd /opt/software/hadoop-2.7.3/sbin/
./start-dfs.sh      # 启动HDFS守护线程（NameNode/DataNodes）
./start-yarn.sh     # 启动ResourceManager/NodeManagers

# 或者对于Hadoop 3来说则是：
cd /opt/software/hadoop-3.2.2/sbin/
./start-all.sh       # 这会自动启动所有必要的后台进程

另外还有一点要注意的就是防火墙规则开放相应端口号允许外部访问这些内部网络通信接口。

#### 测试数据上传
最后一步就是向刚刚建立起来的小型实验环境中导入一些样本资料来进行初步的功能检测：

hdfs dfs -mkdir /user/root/input        # 创建输入目录
hdfs dfs -put etc/hadoop/*.xml input    # 将本地XML文档传入远端位置