HADOOP编译步骤对于在 CentOS 64 位系统上安装 64 位版本的 Hadoop 是至关重要的。由于官网提供的通常是 32 位版本,如果你需要构建 64 位 Hadoop,你需要按照特定的步骤进行自定义编译。以下是一个详细的编译流程:
1. **环境准备**:
- 首先确保你的 CentOS 系统已经安装了必要的开发工具包,如 `svn`, `autoconf`, `automake`, `libtool`, `ncurses-devel`, `openssl-devel`, `gcc`, `lzo-devel`, `zlib-devel`, `protobuf`, `cmake`。这些库是 Hadoop 构建所必需的基础组件。
2. **下载 Maven**:
- Maven 是一个强大的项目管理和构建工具,对于 Hadoop 的构建至关重要。你需要从官方 Apache Maven 网站下载最新版本(在这个例子中是 3.2.3),解压并将其移动到 `/usr/local/apache-maven` 目录下。
- 在 `.bashrc` 或 `.bash_profile` 中添加 Maven 的路径,使系统能够在终端中全局访问 Maven。
3. **下载 Hadoop 源码**:
- 从镜像站点下载 Hadoop 2.5.1 的源代码 tar.gz 文件,然后使用 SVN 检出 Apache Hadoop 的最新版本到本地。
4. **构建 Hadoop**:
- 进入 Hadoop 源码目录,执行以下命令:
- `./configure`:这是配置阶段,会检查系统的兼容性并设置构建选项。
- `make`:开始编译 Hadoop 的核心组件。
- `makecheck`:执行测试,确保编译后的代码质量。
- `make install`:将编译好的 Hadoop 安装到系统中。
5. **验证 Protobuf**:
- Hadoop 依赖 Protobuf,确保你已经正确安装了 Protobuf(在这个例子中指定的是 2.5.0 版本),并通过 `protoc --version` 检查其版本。
6. **提交代码**:
- 如果使用 SVN,使用 `svn checkout` 命令检出指定的 Hadoop 版本到本地仓库,并进行清理、打包和编译操作。
7. **注意事项**:
- 请确保在进行编译之前,所有的依赖包都已经安装并且是最新的,否则可能会导致编译失败。
- `skipTests` 参数用于跳过测试,这可以加快编译速度,但请根据实际情况决定是否执行。
HADOOP的编译步骤涉及到了从源代码获取、环境配置、编译测试到安装的完整过程,需要注意的是,不同的 Hadoop 版本可能对某些库的依赖有所变化,因此在实际操作时,请根据最新的官方文档进行调整。