git安装hadoop

### 使用 Git 安装配置 Hadoop 集群的方法

#### 下载并编译源码
为了从 Git 获取最新版本的 Apache Hadoop 并构建它，可以按照如下方式操作：

1. **克隆仓库**
如果想要获取最新的开发版或者特定分支上的代码，则可以从官方 GitHub 仓库中拉取：

   git clone https://github.com/apache/hadoop.git
   cd hadoop

2. **切换至目标标签或分支**
可能会希望基于某个稳定发布版本来部署生产环境中的服务；此时应该检出相应的 tag 或者 branch 而不是 master 分支。例如对于 Hadoop 3.x 版本系列来说，可以选择 `branch-3` 这个长期支持分支：

   git checkout branch-3

3. **准备 Maven 和其他依赖项**
构建过程需要用到 Apache Maven 来管理项目及其依赖关系。确保已经安装了 JDK (Java Development Kit)，Maven, CMake 等工具，并设置好 JAVA_HOME 环境变量。

4. **编译源码**
接下来就可以运行 maven 命令来进行本地化定制化的编译工作了。这一步可能会花费一些时间取决于机器性能以及网络状况。

   mvn package -Pdist,native -DskipTests -Dtar

5. **解压二进制文件**
编译完成后，在 `hadoop-dist/target/` 目录下将会找到打包好的 tarball 文件。将其解压缩到期望的位置，如 `/opt/hadoop-3.x.y/`[^1]。

#### 配置 Hadoop
完成上述步骤之后，还需要进一步调整几个重要的 XML 格式的配置文件以适应具体的硬件资源情况和业务需求。这些文件位于 `${HADOOP_HOME}/etc/hadoop/` 目录内，主要包括但不限于以下几个方面：

- 修改 `core-site.xml`, 设置 NameNode 地址和其他核心参数；
- 修改 `hdfs-site.xml`, 设定 DataNodes 数量、副本因子等选项；
- 修改 `mapred-site.xml`, 指明 MapReduce JobTracker 的主机名端口信息等等。

#### 发布配置与初始化
当所有的节点都完成了软件层面的基础准备工作以后，便可以通过编写 shell script 实现自动化批量推送功能，像这样：

# 将脚本复制到/bin 中，以便全局调用  
sudo cp xsync /bin/
# 分发/opt/module 
xsync /opt/module/
# 同步环境变量配置
sudo ./bin/xsync /etc/profile.d/my_env.sh
source /etc/profile

以上命令用于将必要的组件分发给集群内的所有成员机，并使新的环境变量生效[^3]。

最后不要忘记启动相关服务并对整个分布式系统做一次全面测试！